Pilotage à froid

Une application a besoin de donner des accès aux métiers pour piloter des activités via des statistiques fournis par une application.
L'application doit envoyer ces données au socle Data. Le socle Data pourra ETL dans un fichier ou base de données, ensuite permettre aux plateforme de visualisation d'exploiter ces données.

Demandes organismes audit

Les organismes d'audit peuvent demander des statistiques ou des vues sur les données d'un domaine spécifique

Demandes des services internes

Un service Marketing peut demander de sortir des statistiques pour l'aide à la décision

SIO avec un usage lecture des données agrégées complexes

Besoin d'une brique de médiation afin de consommer efficacement ces données sans être intrusif aux applications maîtres

Pattern avec µservice agregate

Ref adresse -> µs1
                        -> API µs agregate -> consomateur
Ref Personne -> µs2

Avantages :

• Agilité car les équipes productrices et consommatrices sont les seuls reponsables
• Eligibilité : pas de problématique de fraicheur de données et consommation des données chaudes
• Pas de réplicas : pas de risque de désynchronisation de données

Risques:

• Mise sous tension des SIO Gestion d'un top 10
• Gouvernance métier très complexe et risque de duplication
• Gestion d'historique à mettre en place si besoin

Pattern avec Optimized Data Layer

Ref adresse -> µs1
                    ->Plateforme BigData (Raw -> ENhanced -> Optimized Data Layer -> API) -> consomateur
Ref Personne -> µs2

Avantegs:

• Mise en place des données déjà existante dans le datawharehouse
• Gestion d'historique déjà existante

Risques :

• Plusieurs équipes responsables
• Eligibilité: pas tous les cas d'usage sont compatible car fraicheur de données à vérifier
• Manque de flux égale incident ce qui contraint fortement l'aspect opérationnel
• Gouvernance métier fore

Outils utilisés

Extraction : des Batchs (Python) , API, KAFKA, FileMQ... pour récupérer la datas
Transformation, Load : des Batchs (Python), Dataiku
Visualisation : Qlik, Jupyter, SAS
Collibra pour la datacatalog

parfois on peut utiliser que SAS avec sa base de stockage pour faire ETL et la visu

Pattern

• Data Factory -> Stockage Oracle -> (Jupyter, Dataiku, Qlik, SAS)
• Extraction avec Python -> Collibra pour le datacatolog et gouvernance -> Dataiku pour la tarnsformation -> Qlik pour visualisation ou gestion comme l'historisation et gestion des comités et reporting....