Lignage de Données & Observabilité : De la Source à la Consommation
Pourquoi le Lignage Compte
Quand un dashboard affiche de mauvais chiffres, la première question est toujours : "D'où vient cette donnée ?" Sans lignage, répondre à cette question nécessite de tracer manuellement à travers pipelines, scripts et transformations. Cela peut prendre des heures ou des jours.
Le lignage de données cartographie le parcours des données de la source à la destination, incluant chaque transformation.
Niveaux de Lignage
| Niveau | Ce Qui Est Suivi | Valeur |
|---|---|---|
| Table | Quelles tables alimentent quelles tables | Analyse d'impact basique |
| Colonne | Quelles colonnes dérivent de quelles colonnes | Analyse de cause racine précise |
| Ligne | Quels enregistrements spécifiques ont contribué | Audit et conformité |
| Métier | Comment les métriques métier se relient aux données | Confiance de la direction |
La plupart des organisations commencent par le lignage au niveau table et progressent vers le niveau colonne.
Méthodes de Collecte du Lignage
| Méthode | Fonctionnement | Avantages | Inconvénients |
|---|---|---|---|
| Parsing SQL | Analyse des instructions SQL | Fonctionne rétroactivement | Limité aux workloads SQL |
| Intégration API/Hook | Les orchestrateurs émettent des événements | Temps réel, précis | Intégration par outil requise |
| Standard OpenLineage | Spec commune pour les événements de lignage | Vendor-neutral, composable | Adoption en croissance |
| Annotation manuelle | Les ingénieurs documentent les dépendances | Fonctionne pour tout système | Rapidement obsolète |
L'Écosystème OpenLineage
OpenLineage est un standard ouvert pour la collecte d'événements de lignage :
- Producteurs : Airflow, Spark, dbt, Flink émettent des événements OpenLineage
- Transport : Événements envoyés via HTTP, Kafka ou fichier
- Consommateurs : Marquez, DataHub, Atlan ingèrent et affichent le lignage
Cela découple la collecte du lignage de sa visualisation.
Extrait de la fiche « Lineage and Catalogs » · Demander la fiche complète
Observabilité des Données
L'observabilité des données étend le monitoring au-delà de l'exécution des pipelines. Les cinq piliers :
- Fraîcheur : La donnée est-elle à jour ?
- Volume : Le nombre de lignes attendu est-il arrivé ?
- Schéma : La structure a-t-elle changé de manière inattendue ?
- Distribution : Les valeurs des colonnes sont-elles dans les plages attendues ?
- Lignage : Qu'est-ce qui est affecté en amont/aval ?
| Pillar | Monitor | Typical signal |
|---|---|---|
| Freshness | time since last commit or max(event_time) | nightly load did not land by 06:00 |
| Volume | row count per partition vs seasonal baseline | Monday rows down 40 % |
| Schema | column set and types vs contract | column dropped or retyped |
| Distribution | null rate, distinct count, mean, quantiles per column | country code null rate 0.1 % → 12 % |
| Lineage | upstream and downstream graph (sheet 04) | which models read the broken table |
Extrait de la fiche « Data Quality SLAs and Observability » · Demander la fiche complète
Analyse d'Impact et Analyse de Cause Racine
Analyse d'impact (lignage avant) : "Si je change cette table, quels dashboards, modèles et rapports en aval cassent ?"
Analyse de cause racine (lignage arrière) : "Cette métrique est fausse -- quel pipeline ou source amont en est la cause ?"
Extrait de la fiche « Lineage and Catalogs » · Demander la fiche complète
Feuille de Route d'Implémentation
- Instrumenter les orchestrateurs en premier : Airflow/dbt émettent le lignage avec effort minimal
- Déployer un store de lignage : Marquez ou DataHub
- Ajouter le lignage au niveau colonne : Activer le parsing SQL
- Connecter au catalogue : Le lignage doit être visible là où les gens découvrent les données
- Construire des moniteurs d'observabilité : Fraîcheur, volume, distribution sur les tables critiques
- Intégrer dans le workflow d'incidents : Analyse d'impact alimentée par le lignage dans les alertes