L'autre jour, j'ai entendu un analyste se plaindre que l'équipe d'ingénierie des données en amont produisait de mauvaises données. À leur tour, ces ingénieurs de données ont blâmé les ingénieurs logiciels en amont pour avoir expédié des changements problématiques. Ça vous semble familier ?
À présent, la plupart d'entre nous savent que l'amélioration de la qualité des données est un sport d'équipe. Au lieu de se rejeter la faute, les équipes de données doivent plutôt consacrer leur énergie à améliorer la communication inter-équipes, dans le but de prévenir les erreurs dès le départ.
Alors, comment et par où commencer ? Commencez bien et shift-left là où cela a du sens. Capturez les exigences métier grâce à une interface facile à utiliser, et transférez ces exigences pour pouvoir briser le circuit des nouvelles données (Airflow) ou des publications de code (Github).
Commencez bien, car votre client est roi/reine
Toutes les données ne se valent pas ; seules quelques défaillances requièrent finalement votre attention immédiate. Pour déterminer ce qui est important, vous devez impliquer vos clients (c'est la pensée produit de données) pour établir des exigences de qualité des données et des SLO. Pour que les producteurs de données puissent tester et surveiller ce qui compte, ils doivent savoir ce que leurs clients recherchent.
Pour vous protéger contre les problèmes de données, Soda introduit son interface sans code pour la collaboration commerciale. Disponible dès aujourd'hui dans Soda Cloud. L'environnement sans code de Soda permet aux équipes de produits de données de mettre leurs clients aux commandes pour définir des vérifications de qualité des données. Regardez par vous-même.
Shift-left vers la source
Exécuter des vérifications de la qualité des données en dehors de votre pipeline est un excellent point de départ pour surveiller et observer les changements, mais la surveillance ne vous indique que lorsque c'est trop tard. Là où la visibilité des données s'arrête, la gouvernance des données en shift-left commence.
Utilisez les Data Contracts de Soda en combinaison avec l'interface utilisateur sans code pour résoudre la Gouvernance des Données de bout en bout. Intégrez Soda directement dans votre outil d'orchestration (Airflow) pour empêcher les mauvaises données de se transposer dans votre entrepôt de données. Intégrez Soda dans votre processus CI (Github) pour éviter que les mauvaises publications de code ne créent des changements problématiques.
Les propriétaires/gestionnaires de produits de données devraient conduire la définition des contrats de données selon les cas d'utilisation et les exigences métiers. Utilisez Soda Cloud pour définir ces exigences, et transférez-les aux producteurs de données là où cela compte. Soda vous aide à trouver les données qui valent la peine d'être corrigées.
Commencez dès aujourd'hui avec les vérifications sans code et les Data Contracts !
Nouveau sur Soda ? Inscrivez-vous pour un compte gratuit Soda Cloud.
Clients et utilisateurs existants, connectez-vous ici.
La création de compte en libre-service pour Soda Cloud est temporairement suspendue car nous préparons la disponibilité générale de plusieurs mises à jour majeures. Si vous souhaitez essayer Soda Cloud entre-temps, veuillez prévoir un appel avec notre équipe d'experts, discuter de votre cas d'utilisation et commencer.
Regardez les vérifications sans code en action
Regardez aussi la vidéo sur Soda Data Contracts.
Et lisez-en plus sur comment Définir les vérifications CL de Soda dans nos documents.
