Une application a besoin de donner des acc\u00e8s aux m\u00e9tiers pour piloter des activit\u00e9s via des statistiques fournis par une application.
\nL'application doit envoyer ces donn\u00e9es au socle Data. Le socle Data pourra ETL dans un fichier ou base de donn\u00e9es, ensuite permettre aux plateforme de visualisation d'exploiter ces donn\u00e9es.<\/p>\n
Les organismes d'audit peuvent demander des statistiques ou des vues sur les donn\u00e9es d'un domaine sp\u00e9cifique<\/p>\n
Un service Marketing peut demander de sortir des statistiques pour l'aide \u00e0 la d\u00e9cision<\/p>\n
Besoin d'une brique de m\u00e9diation afin de consommer efficacement ces donn\u00e9es sans \u00eatre intrusif aux applications ma\u00eetres<\/p>\n
Ref adresse -> \u00b5s1\n -> API \u00b5s agregate -> consomateur\nRef Personne -> \u00b5s2<\/code><\/pre>\nAvantages : <\/p>\n
\n- Agilit\u00e9 car les \u00e9quipes productrices et consommatrices sont les seuls reponsables<\/li>\n
- Eligibilit\u00e9 : pas de probl\u00e9matique de fraicheur de donn\u00e9es et consommation des donn\u00e9es chaudes<\/li>\n
- Pas de r\u00e9plicas : pas de risque de d\u00e9synchronisation de donn\u00e9es<\/li>\n<\/ul>\n
Risques:<\/p>\n
\n- Mise sous tension des SIO Gestion d'un top 10<\/li>\n
- Gouvernance m\u00e9tier tr\u00e8s complexe et risque de duplication<\/li>\n
- Gestion d'historique \u00e0 mettre en place si besoin<\/li>\n<\/ul>\n
Pattern avec Optimized Data Layer<\/h4>\nRef adresse -> \u00b5s1\n ->Plateforme BigData (Raw -> ENhanced -> Optimized Data Layer -> API) -> consomateur\nRef Personne -> \u00b5s2<\/code><\/pre>\nAvantegs:<\/p>\n
\n- Mise en place des donn\u00e9es d\u00e9j\u00e0 existante dans le datawharehouse<\/li>\n
- Gestion d'historique d\u00e9j\u00e0 existante <\/li>\n<\/ul>\n
Risques :<\/p>\n
\n- Plusieurs \u00e9quipes responsables<\/li>\n
- Eligibilit\u00e9: pas tous les cas d'usage sont compatible car fraicheur de donn\u00e9es \u00e0 v\u00e9rifier<\/li>\n
- Manque de flux \u00e9gale incident ce qui contraint fortement l'aspect op\u00e9rationnel<\/li>\n
- Gouvernance m\u00e9tier fore <\/li>\n<\/ul>\n
Outils utilis\u00e9s<\/h1>\n
Extraction : des Batchs (Python) , API, KAFKA, FileMQ... pour r\u00e9cup\u00e9rer la datas
\nTransformation, Load : des Batchs (Python), Dataiku
\nVisualisation : Qlik, Jupyter, SAS
\nCollibra pour la datacatalog<\/p>\n
parfois on peut utiliser que SAS avec sa base de stockage pour faire ETL et la visu<\/p>\n
Pattern<\/h2>\n\n- Data Factory -> Stockage Oracle -> (Jupyter, Dataiku, Qlik, SAS)<\/li>\n
- Extraction avec Python -> Collibra pour le datacatolog et gouvernance -> Dataiku pour la tarnsformation -> Qlik pour visualisation ou gestion comme l'historisation et gestion des comit\u00e9s et reporting....<\/li>\n<\/ul>\n","protected":false},"excerpt":{"rendered":"
Pilotage \u00e0 froid Une application a besoin de donner des acc\u00e8s aux m\u00e9tiers pour piloter des activit\u00e9s via des statistiques fournis par une application. L’application doit envoyer ces donn\u00e9es au socle Data. Le socle Data pourra ETL dans un fichier ou base de donn\u00e9es, ensuite permettre aux plateforme de visualisation d’exploiter ces donn\u00e9es. Demandes organismes audit Les organismes d’audit peuvent demander des statistiques ou des vues sur les donn\u00e9es d’un domaine sp\u00e9cifique Demandes des services internes Un service Marketing peut demander de sortir des statistiques pour l’aide \u00e0 la d\u00e9cision SIO avec un usage lecture des donn\u00e9es agr\u00e9g\u00e9es complexes Besoin\u2026<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_uag_custom_page_level_css":""},"categories":[3],"tags":[],"blocksy_meta":{"styles_descriptor":{"styles":{"desktop":"","tablet":"","mobile":""},"google_fonts":[],"version":5}},"uagb_featured_image_src":{"full":false,"thumbnail":false,"medium":false,"medium_large":false,"large":false,"1536x1536":false,"2048x2048":false},"uagb_author_info":{"display_name":"admin","author_link":"https:\/\/devopsopen.com\/index.php\/author\/admin_bak\/"},"uagb_comment_info":0,"uagb_excerpt":"Pilotage \u00e0 froid Une application a besoin de donner des acc\u00e8s aux m\u00e9tiers pour piloter des activit\u00e9s via des statistiques fournis par une application. L'application doit envoyer ces donn\u00e9es au socle Data. Le socle Data pourra ETL dans un fichier ou base de donn\u00e9es, ensuite permettre aux plateforme de visualisation d'exploiter ces donn\u00e9es. Demandes organismes…","_links":{"self":[{"href":"https:\/\/devopsopen.com\/index.php\/wp-json\/wp\/v2\/posts\/469"}],"collection":[{"href":"https:\/\/devopsopen.com\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/devopsopen.com\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/devopsopen.com\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/devopsopen.com\/index.php\/wp-json\/wp\/v2\/comments?post=469"}],"version-history":[{"count":3,"href":"https:\/\/devopsopen.com\/index.php\/wp-json\/wp\/v2\/posts\/469\/revisions"}],"predecessor-version":[{"id":479,"href":"https:\/\/devopsopen.com\/index.php\/wp-json\/wp\/v2\/posts\/469\/revisions\/479"}],"wp:attachment":[{"href":"https:\/\/devopsopen.com\/index.php\/wp-json\/wp\/v2\/media?parent=469"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/devopsopen.com\/index.php\/wp-json\/wp\/v2\/categories?post=469"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/devopsopen.com\/index.php\/wp-json\/wp\/v2\/tags?post=469"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}