Nous avons été ravis de parrainer une hackathon organisée mondialement chez HelloFresh, qui a mis au défi des équipes inter-marchés (mondiales) d'employés de HelloFresh de construire un ‘Tableau de Bord Standard de Qualité des Données’.

Sous-titré “In Data We Trust?!”, le hackathon faisait partie des efforts de HelloFresh pour améliorer la culture des données et la qualité des données à travers l'organisation de manière engageante et amusante. Bien que l'organisation ait développé ses capacités en matière de données, maintenir la confiance dans la qualité et l'intégrité des données reste toujours une priorité.

Avec le département de gouvernance des données, dirigé par Dr Kinda El Maarry, cherchant à garantir une méthode standard de rapport sur la qualité des données tout en assurant des taux d'adoption élevés, les équipes de hackathon ont eu pour mission de créer un tableau de bord qui :

• a diminué la charge mentale nécessaire pour comprendre divers formats de rapports sur la qualité des données,

• a permis des comparaisons faciles des actifs de données, et

• a libéré des ressources et du temps consacré à réagir aux problèmes de qualité des données.

Désormais, du temps et des ressources sont consacrés à l'ajout de valeur grâce à une analyse et un aperçu plus approfondis.

Pourquoi un Hackathon pour la Confiance dans les Données ?

Soda était ravi de pouvoir soutenir et parrainer ce hackathon - nous croyons que la qualité des données est un sport d'équipe et que toute personne ayant un intérêt dans les données devrait pouvoir leur faire confiance et les comprendre. C'était fascinant de voir ce que les équipes ont proposé !

Donc, avec six équipes luttant pour un prix fantastique pour chaque membre de l'équipe, en plus de quelques produits dérivés très cool de HelloFresh/Soda à gagner, nos concurrents ont proposé des perspectives importantes et des idées très créatives.

Voyons-les.

Comment les Équipes ont Construit des Tableaux de Bord pour la Qualité des Données

Les équipes ont toutes identifié les six dimensions utilisées pour évaluer la qualité des données au sein d'un ensemble de données : précision, exhaustivité, cohérence, opportunité, unicité et validité.

Les équipes ont compris que le tableau de bord devait être capable de fournir un résumé exécutif de haut niveau de la performance des ensembles de données sélectionnés par rapport à chacune de ces dimensions, mettant en évidence d'un coup d'œil si et où les données ne respectaient pas le seuil de qualité approuvé.

Être capable de comprendre en termes simples où la qualité des données fait défaut est un moyen puissant de permettre à une organisation d'accroître la sensibilisation aux données parmi ceux qui ne travaillent pas dans une équipe spécialisée en données.

La possibilité de plonger plus profondément dans la qualité des données et de voir exactement où les ensembles de données échouent était une autre fonctionnalité clé que toutes les équipes ont intégrée à leurs tableaux de bord :

• L'équipe “Fruit Salad” a identifié que son tableau de bord devrait être compréhensible par un Chef de Production ou d'Opérations, offrant des informations de haut niveau qui n'étaient pas si granulaires que seuls les ingénieurs et analystes de données pouvaient comprendre, mais n'étaient pas non plus si générales qu'elles convenaient davantage à un public de niveau cadre supérieur.

• L'équipe “Data Chefs” a suggéré d'intégrer la capacité de repérer les dates et heures exactes auxquelles des données ne respectant pas les 6 piliers ont été ajoutées à un ensemble de données, permettant une traçabilité et une mise en quarantaine rationalisées des mauvaises données.

• “Two Nordic Guys” a proposé un tableau de bord permettant aux ingénieurs de données de visualiser les règles de chaque dimension de qualité des données pour tester et valider les règles spécifiques et les métriques qui causent la majorité des problèmes de qualité des données.

• L'équipe “Tricolour Kiwis” a poussé cela encore plus loin, et a suggéré la capacité de pondérer l'importance de chaque dimension de qualité des données spécifique à chaque actif de données.

Encourager des Interactions Significatives avec les Données

La capacité de détailler ces niveaux de détail granulaire et de revenir à une vue d'ensemble est essentielle pour encourager des interactions significatives avec les données à tous les niveaux et fonctions d'une organisation.

👏🏻 Applaudissements pour tous les participants et félicitations à l'équipe gagnante, Lauren Yiu et Julien Varin, surnommée l'équipe “Tricolour Kiwis”.

Ce qui était absolument clair dans toutes ces présentations était l'importance de rendre la surveillance des données accessible à chaque partie d'une organisation, créant une transparence totale et fournissant une observabilité de bout en bout — c'est un concept que nous soutenons pleinement !

Le Rôle de la Plateforme d'Observabilité des Données de Soda

Sous-tendant les métriques de qualité des données affichées par ces tableaux de bord, il y a la Plateforme d'Observabilité des Données de Soda.

J'ai été heureux de pouvoir présenter mes réflexions sur les meilleures pratiques et conseils pour lier les métriques aux dimensions de la qualité des données, basées sur mon expérience en fournissant des solutions de surveillance des données à des organisations comme HelloFresh. J'ai également partagé notre conception de produit et nos idées autour des rapports et visualisations de la qualité des données, une fonctionnalité que nous lançons plus tard cette année.

La capacité à surveiller les données pour assurer une bonne qualité des données est cruciale pour prendre de bonnes décisions commerciales.

Ma présentation lors du hackathon a abordé notre premier projet open-source, Soda SQL, qui nous aide à défendre les principes d'ingénierie du Test Driven Development et à les appliquer aux principes et cadre de notre plateforme de surveillance des données.

Être capable de surveiller ces résultats de tests n’a jamais été aussi simple, grâce à la capacité de visualiser et collaborer via une application web rendue possible par un compte Soda Cloud gratuit.

Et Après : Apporter le Hackathon dans Votre Organisation

Chez Soda, nous croyons que la fondation de la prise de décisions basée sur les données est une bonne qualité des données.

Si vous souhaitez vous impliquer directement avec vos données et tirer parti du Hackathon-in-a-Box de Soda comme l'équipe HelloFresh, veuillez contacter notre équipe d'événements, qui sera ravie de vous installer (y compris les produits dérivés).

Pour voir la différence que cela pourrait faire pour votre organisation, visitez notre Page Github de Soda SQL, et inscrivez-vous pour votre compte Soda Cloud gratuit aujourd'hui !