Optimisation de la gestion de la qualité des données dans un data mesh
Optimisation de la gestion de la qualité des données dans un data mesh
9 sept. 2022
Tom Baeyens
Tom Baeyens
Tom Baeyens
CTO et co-fondateur chez Soda
CTO et co-fondateur chez Soda
CTO et co-fondateur chez Soda
Table des matières
Investir dans la qualité des données est essentiel pour que les équipes interfonctionnelles prennent des décisions précises et complètes avec moins de risques et des retours plus importants, en utilisant des initiatives telles que la pensée produit, la gouvernance des données, et des plateformes en libre-service.
Investir dans la qualité des données est essentiel pour que les équipes interfonctionnelles prennent des décisions précises et complètes avec moins de risques et des retours plus importants, en utilisant des initiatives telles que la pensée produit, la gouvernance des données, et des plateformes en libre-service.
Investir dans la qualité des données est essentiel pour que les équipes interfonctionnelles prennent des décisions précises et complètes avec moins de risques et des retours plus importants, en utilisant des initiatives telles que la pensée produit, la gouvernance des données, et des plateformes en libre-service.
Mario Konschake
Mario Konschake
Directeur du Produit - Plateforme de Données
Directeur du Produit - Plateforme de Données
Directeur du Produit - Plateforme de Données
à
HelloFresh
HelloFresh
HelloFresh
HelloFresh est en mission pour révolutionner la façon dont les gens mangent. Avec des recettes délicieuses, des ingrédients de haute qualité et des solutions repas pratiques pour chaque occasion, l'entreprise s'appuie sur les données comme un atout stratégique clé pour optimiser les dépenses marketing, améliorer l'expérience client, optimiser les chaînes d'approvisionnement et réduire les coûts opérationnels.
L'organisation des données de l'entreprise, avec 100 professionnels travaillant dans des équipes de domaine interfonctionnelles et 50 autres dans des fonctions centrales, joue un rôle critique pour garantir que l'entreprise opère sur des données fiables et de haute qualité.
En 2021, HelloFresh a commencé la transition d'une organisation de données centralisée vers un data mesh, un modèle organisationnel conçu pour autonomiser les équipes à produire, accéder et utiliser des données fiables à grande échelle.
Le défi : étendre l'accès aux données et la fiabilité dans une organisation en croissance
Il y a moins de dix ans, la configuration des données de HelloFresh était familière à de nombreuses organisations en croissance : une équipe spécialisée et centralisée se concentrait sur l'entreposage des données et la production de rapports pour les analystes et les dirigeants. Ce modèle isolé faisait de l'équipe de données le seul gardien du savoir : quelles données existaient, comment elles étaient gérées et à quel point elles étaient fiables.
Cependant, à mesure que le volume de données et la demande d'accès augmentaient, cette structure devenait un goulot d'étranglement. Alors que l'équipe peinait à répondre à la demande, la qualité des données en souffrait, et le manque de fiabilité et d'accès rapide aux données commençait à freiner l'innovation.
Début 2020, l'équipe a reconnu que le fait de toujours éteindre les feux à cause du manque de standardisation de la qualité des données et de la propriété incertaine n'était pas durable. Pour libérer les données analytiques à grande échelle, ils devaient cesser de résoudre les mêmes problèmes de qualité de données à répétition et créer une base pour un accès de données évolutif, fiable et décentralisé.
Pour permettre cela, l'équipe centrale a décidé de passer du stockage de données à un modèle de data mesh, qui met l'accent sur la propriété de domaine, les capacités en libre-service et la responsabilité partagée de la qualité des données.
La solution : établir une base de confiance
Pour garantir le succès de leur initiative de data mesh, HelloFresh devait améliorer la qualité des données et introduire une approche produit pour les données, traitant les ensembles de données comme des produits avec une propriété définie, des niveaux de service et une valeur pour leurs consommateurs.
Cela nécessitait une plateforme de qualité des données en libre-service qui puisse :
S'intégrer parfaitement à l'infrastructure existante
Inclure des capacités de gouvernance intégrées
Prendre en charge la surveillance des politiques mondiales
Permettre la mise en place rapide de tests de qualité des données sur les domaines
Cela permettrait aux équipes de domaine d'être autonomes tout en alignant la surveillance de la qualité des données à travers l'entreprise pour améliorer les boucles de rétroaction, innover plus rapidement et renforcer la confiance des affaires.
Après un vaste processus de sélection, HelloFresh a choisi Soda Cloud comme sa plateforme en libre-service pour les tests de qualité des données, la surveillance et la gouvernance. L'objectif de l'équipe était de donner aux analystes et aux data scientists, à l'aise avec SQL mais pas nécessairement avec le codage, la possibilité de gérer la qualité des données de manière autonome.
En adoptant Soda au lieu de développer une solution interne, HelloFresh a accéléré l'implémentation tout en bénéficiant d'une interface prête à l'usage, de fonctionnalités d'automatisation et d'outils de surveillance. De l'évaluation au déploiement bêta à la mise en œuvre de l'outil à travers les équipes interfonctionnelles, l'implémentation n'a pris que trois trimestres fiscaux.
Construire le data mesh : composants clés
L’initiative de data mesh de HelloFresh est construite autour de quatre éléments principaux :
Équipes de données orientées domaine, décentralisées
Produits de données
Gouvernance des données fédérée et incitative
Une plateforme de données en libre-service
1. Équipes de données orientées domaine
Pour décentraliser la propriété, HelloFresh a formé des Équipes de Domaine de Données composées d'Ingénieurs Données, d'Analystes de Données, de Data Scientists et de Chefs de Produit de Données. Chaque équipe est devenue responsable de la construction et de la maintenance des produits de données, de la garantie de conformité, et de rendre leurs données accessibles à travers l'organisation.
Ces équipes ne relèvent pas d'une autorité centralisée mais fonctionnent selon des normes de gouvernance fédérées. Elles utilisent des outils comme Soda pour surveiller et maintenir la qualité tout en respectant des attentes partagées.
Pour soutenir cette transition, le groupe original d'entreposage de données :
A géré les engagements existants tout en construisant une nouvelle infrastructure cloud
A permis le rapport de données en libre-service
A progressivement retiré les systèmes anciens et redéfini les Objectifs de Niveau de Service (SLOs)
2. Les données comme produit
HelloFresh a redéfini sa relation avec les données en les traitant comme un produit : un actif intentionnel et consommable géré avec la même rigueur que n'importe quel produit destiné au client.
Chaque produit de données est détenu par un Chef de Produit de Données qui :
Identifie les consommateurs internes et leurs besoins
Définit un Objectif de Niveau de Service (SLO) pour garantir la qualité et la fiabilité
Les SLOs chez HelloFresh ne sont pas des contrats stricts, mais plutôt des outils d'alignement qui clarifient les attentes entre les propriétaires des produits de données et les consommateurs de données pour favoriser la confiance. Un exemple pourrait être aussi simple que : « Assurez-vous que cet ensemble de données est mis à jour chaque matin à 8h00. » L'objectif principal est de décrire explicitement ce que le produit de données fournit tout en s'assurant que les données sont adaptées à leur objectif.
Les Chefs de Produit de Données et les équipes d'ingénierie utilisent Soda pour effectuer des tests de qualité des données, surveiller leurs produits de données, et fournir des preuves de la fiabilité des données aux parties prenantes.
3. Gouvernance des données fédérée et incitative
HelloFresh a réimaginé la gouvernance des données pour encourager la responsabilité plutôt que le contrôle. Leur approche s'est concentrée sur le développement d'un cadre de normes de qualité des données qui s'applique à tous les produits de données, aidant les équipes à comprendre le cadre, et fournissant un soutien et de la clarté sur les attentes impliquant les produits de données.
L'équipe centrale de Gouvernance des Données définit les normes mondiales de qualité des données, offre des lignes directrices, et soutient les équipes de domaine à travers un programme de Certification de Produit de Données. Ce programme volontaire gamifie la gouvernance en décernant des insignes bronze, argent et or aux équipes qui atteignent des critères spécifiques de qualité, de sécurité, et de documentation des données. Cette approche, décrite en interne comme « gouvernance par commodité », assure que la bonne manière de tester et valider la qualité des données est aussi la plus facile.
Soda est utilisé comme l'outil de test de qualité des données dans ce processus, et l'entreprise prévoit d'automatiser la certification en utilisant les capacités de Soda à l'avenir.
4. Plateforme de données en libre-service
HelloFresh a découvert que dans un data mesh, une plateforme de données en libre-service doit respecter l'alignement des équipes d'opérations autonomes et décentralisées et leur besoin d'accès aux données rapide et fiable. La dernière étape a donc été de construire une plateforme de données en libre-service qui rend les données découvrables, interopérables, sécurisées et fiables, démocratisant l'accès afin que chacun ait les données dont il a besoin pour faire son travail.
Pour parvenir à cela, HelloFresh a priorisé des outils qui s'intégreraient aux systèmes existants et permettraient aux équipes de créer et surveiller les tests facilement. L'entreprise voulait éviter les frais généraux et l'investissement nécessaires pour mettre en œuvre et maintenir un autre outil de pipeline de données. Cela valait donc la peine de tirer parti du produit d'experts tiers en qualité de données.
L'interface accessible de Soda, la configuration basée sur YAML et les métriques prêtes à l'emploi en ont fait un choix idéal. Les analystes et scientifiques de données pouvaient définir des contrôles de qualité des données en utilisant des requêtes SQL familières, tandis que Soda gérait les couches de gouvernance et de visibilité à travers l'organisation.
L'Impact : un nouveau standard pour la qualité et la collaboration
HelloFresh a choisi Soda pour aborder des problèmes critiques de données tels que la qualité, la gouvernance et l'état d'esprit. Maintenant, Soda Cloud fournit à leurs équipes de données centrales les outils dont elles ont besoin pour investir avec confiance dans l'amélioration de la qualité des données et maintenir un cadre qui soutient :
Autonomie et responsabilité à travers les équipes de domaine
Contrôles de qualité des données standardisés et transparents
Réduction du travail de révision manuelle
Plus grande culture et confiance en les données à l'échelle de l'entreprise
Soda est devenu un facilitateur clé dans la transition de HelloFresh vers un modèle de data mesh, permettant aux équipes d'accélérer tout en maintenant la fiabilité et la cohérence de leurs données.
Culture & Engagement
Construire la confiance dans les données a consisté à bien plus que d'apporter de nouveaux outils et une nouvelle architecture ; il s'agissait d'écouter l'équipe et de comprendre ce dont ils avaient besoin.
Au cours de ce processus de mise en œuvre de data mesh, HelloFresh a organisé un hackathon mondial appelé "Dans les Données, nous faisons Confiance?!" au cours duquel des équipes interfonctionnelles ont été défiées de créer un Tableau de Bord Standard de Qualité des Données.
L'événement a transformé la qualité des données en une mission collaborative plutôt qu'un problème technique. Les équipes ont enquêté sur la manière de visualiser et de comparer la qualité à travers les ensembles de données en utilisant six dimensions clés — précision, complétude, cohérence, actualité, unicité, et validité — tout en réduisant la charge mentale de l'interprétation des rapports.
HelloFresh a construit une culture de culture des données, de collaboration, et d’appropriation en impliquant les ingénieurs, analystes et équipes d’opération dans le même défi, permettant à chacun de voir la qualité des données comme une responsabilité partagée.
Construire la confiance dans les données n’est pas un projet ponctuel ; c’est une culture. Et cette culture grandit plus rapidement lorsque les équipes apprennent, créent, et célèbrent ensemble. Lisez plus sur le hackathon HelloFresh ici.
Avenir : se préparer pour l’analyse des données à grande échelle
Alors que HelloFresh continue de faire évoluer son data mesh, l’entreprise prépare le terrain pour la certification automatisée des produits de données et élargit la portée de sa plateforme en libre-service.
Bien qu'aller vers le data mesh soit plus que simplement "changer les outils que nous utilisons," les choix technologiques qu'ils ont faits les aident rapidement à atteindre leurs objectifs de rendre les données plus accessibles à tout le monde. La transition vers la propriété distribuée des données, soutenue par Soda, a donné à l'organisation la confiance nécessaire pour accroître ses capacités d'analyse de données de manière durable et sécurisée.
Alors que le voyage continue, HelloFresh a déjà établi la base pour un avenir où des produits de données de haute qualité et fiables permettent à chaque équipe de prendre de meilleures décisions. Leur système est maintenant prêt à tirer parti de la valeur commerciale et de l'efficacité qu'une propriété partagée des données peut apporter.
Découvrez la plateforme de qualité des données de Soda pour implémenter la qualité des données dans votre data mesh.
Clause de non-responsabilité : Ce matériel a été créé en 2022. Veuillez noter que les chiffres et les statistiques peuvent avoir changé depuis sa publication.
En savoir plus
Qualité des Données dans le Contexte d'un Data Mesh chez HelloFresh
Rejoignez Mario Konschake, Responsable Produit de la Plateforme de Données chez HelloFresh, et Maarten Masschelein, PDG de Soda, pour une discussion sur la façon dont HelloFresh met en œuvre la surveillance de la qualité des données dans le contexte d'un data mesh.
Intégrer la Fiabilité des Données dans un Data Mesh au Sommet de l'Innovation des Données
Abhishek Khare, Ingénieur Senior en Données chez HelloFresh, et Natasha Lauer, Responsable Marketing chez Soda, discutent de la façon dont HelloFresh a construit et mis en œuvre une solution de qualité des données en utilisant Soda dans leur plateforme de données en libre-service.
Data Mesh chez HelloFresh - Rencontre d'Apprentissage sur le Data Mesh
L'équipe HelloFresh a partagé son parcours sur le data mesh jusqu'à présent et ce qu'elle a appris en chemin.
Contactez-nous
Planifiez une démonstration avec l'équipe Soda pour découvrir à quel point vous pourriez optimiser votre stratégie de qualité des données dans l'ensemble de votre écosystème de données.
HelloFresh est en mission pour révolutionner la façon dont les gens mangent. Avec des recettes délicieuses, des ingrédients de haute qualité et des solutions repas pratiques pour chaque occasion, l'entreprise s'appuie sur les données comme un atout stratégique clé pour optimiser les dépenses marketing, améliorer l'expérience client, optimiser les chaînes d'approvisionnement et réduire les coûts opérationnels.
L'organisation des données de l'entreprise, avec 100 professionnels travaillant dans des équipes de domaine interfonctionnelles et 50 autres dans des fonctions centrales, joue un rôle critique pour garantir que l'entreprise opère sur des données fiables et de haute qualité.
En 2021, HelloFresh a commencé la transition d'une organisation de données centralisée vers un data mesh, un modèle organisationnel conçu pour autonomiser les équipes à produire, accéder et utiliser des données fiables à grande échelle.
Le défi : étendre l'accès aux données et la fiabilité dans une organisation en croissance
Il y a moins de dix ans, la configuration des données de HelloFresh était familière à de nombreuses organisations en croissance : une équipe spécialisée et centralisée se concentrait sur l'entreposage des données et la production de rapports pour les analystes et les dirigeants. Ce modèle isolé faisait de l'équipe de données le seul gardien du savoir : quelles données existaient, comment elles étaient gérées et à quel point elles étaient fiables.
Cependant, à mesure que le volume de données et la demande d'accès augmentaient, cette structure devenait un goulot d'étranglement. Alors que l'équipe peinait à répondre à la demande, la qualité des données en souffrait, et le manque de fiabilité et d'accès rapide aux données commençait à freiner l'innovation.
Début 2020, l'équipe a reconnu que le fait de toujours éteindre les feux à cause du manque de standardisation de la qualité des données et de la propriété incertaine n'était pas durable. Pour libérer les données analytiques à grande échelle, ils devaient cesser de résoudre les mêmes problèmes de qualité de données à répétition et créer une base pour un accès de données évolutif, fiable et décentralisé.
Pour permettre cela, l'équipe centrale a décidé de passer du stockage de données à un modèle de data mesh, qui met l'accent sur la propriété de domaine, les capacités en libre-service et la responsabilité partagée de la qualité des données.
La solution : établir une base de confiance
Pour garantir le succès de leur initiative de data mesh, HelloFresh devait améliorer la qualité des données et introduire une approche produit pour les données, traitant les ensembles de données comme des produits avec une propriété définie, des niveaux de service et une valeur pour leurs consommateurs.
Cela nécessitait une plateforme de qualité des données en libre-service qui puisse :
S'intégrer parfaitement à l'infrastructure existante
Inclure des capacités de gouvernance intégrées
Prendre en charge la surveillance des politiques mondiales
Permettre la mise en place rapide de tests de qualité des données sur les domaines
Cela permettrait aux équipes de domaine d'être autonomes tout en alignant la surveillance de la qualité des données à travers l'entreprise pour améliorer les boucles de rétroaction, innover plus rapidement et renforcer la confiance des affaires.
Après un vaste processus de sélection, HelloFresh a choisi Soda Cloud comme sa plateforme en libre-service pour les tests de qualité des données, la surveillance et la gouvernance. L'objectif de l'équipe était de donner aux analystes et aux data scientists, à l'aise avec SQL mais pas nécessairement avec le codage, la possibilité de gérer la qualité des données de manière autonome.
En adoptant Soda au lieu de développer une solution interne, HelloFresh a accéléré l'implémentation tout en bénéficiant d'une interface prête à l'usage, de fonctionnalités d'automatisation et d'outils de surveillance. De l'évaluation au déploiement bêta à la mise en œuvre de l'outil à travers les équipes interfonctionnelles, l'implémentation n'a pris que trois trimestres fiscaux.
Construire le data mesh : composants clés
L’initiative de data mesh de HelloFresh est construite autour de quatre éléments principaux :
Équipes de données orientées domaine, décentralisées
Produits de données
Gouvernance des données fédérée et incitative
Une plateforme de données en libre-service
1. Équipes de données orientées domaine
Pour décentraliser la propriété, HelloFresh a formé des Équipes de Domaine de Données composées d'Ingénieurs Données, d'Analystes de Données, de Data Scientists et de Chefs de Produit de Données. Chaque équipe est devenue responsable de la construction et de la maintenance des produits de données, de la garantie de conformité, et de rendre leurs données accessibles à travers l'organisation.
Ces équipes ne relèvent pas d'une autorité centralisée mais fonctionnent selon des normes de gouvernance fédérées. Elles utilisent des outils comme Soda pour surveiller et maintenir la qualité tout en respectant des attentes partagées.
Pour soutenir cette transition, le groupe original d'entreposage de données :
A géré les engagements existants tout en construisant une nouvelle infrastructure cloud
A permis le rapport de données en libre-service
A progressivement retiré les systèmes anciens et redéfini les Objectifs de Niveau de Service (SLOs)
2. Les données comme produit
HelloFresh a redéfini sa relation avec les données en les traitant comme un produit : un actif intentionnel et consommable géré avec la même rigueur que n'importe quel produit destiné au client.
Chaque produit de données est détenu par un Chef de Produit de Données qui :
Identifie les consommateurs internes et leurs besoins
Définit un Objectif de Niveau de Service (SLO) pour garantir la qualité et la fiabilité
Les SLOs chez HelloFresh ne sont pas des contrats stricts, mais plutôt des outils d'alignement qui clarifient les attentes entre les propriétaires des produits de données et les consommateurs de données pour favoriser la confiance. Un exemple pourrait être aussi simple que : « Assurez-vous que cet ensemble de données est mis à jour chaque matin à 8h00. » L'objectif principal est de décrire explicitement ce que le produit de données fournit tout en s'assurant que les données sont adaptées à leur objectif.
Les Chefs de Produit de Données et les équipes d'ingénierie utilisent Soda pour effectuer des tests de qualité des données, surveiller leurs produits de données, et fournir des preuves de la fiabilité des données aux parties prenantes.
3. Gouvernance des données fédérée et incitative
HelloFresh a réimaginé la gouvernance des données pour encourager la responsabilité plutôt que le contrôle. Leur approche s'est concentrée sur le développement d'un cadre de normes de qualité des données qui s'applique à tous les produits de données, aidant les équipes à comprendre le cadre, et fournissant un soutien et de la clarté sur les attentes impliquant les produits de données.
L'équipe centrale de Gouvernance des Données définit les normes mondiales de qualité des données, offre des lignes directrices, et soutient les équipes de domaine à travers un programme de Certification de Produit de Données. Ce programme volontaire gamifie la gouvernance en décernant des insignes bronze, argent et or aux équipes qui atteignent des critères spécifiques de qualité, de sécurité, et de documentation des données. Cette approche, décrite en interne comme « gouvernance par commodité », assure que la bonne manière de tester et valider la qualité des données est aussi la plus facile.
Soda est utilisé comme l'outil de test de qualité des données dans ce processus, et l'entreprise prévoit d'automatiser la certification en utilisant les capacités de Soda à l'avenir.
4. Plateforme de données en libre-service
HelloFresh a découvert que dans un data mesh, une plateforme de données en libre-service doit respecter l'alignement des équipes d'opérations autonomes et décentralisées et leur besoin d'accès aux données rapide et fiable. La dernière étape a donc été de construire une plateforme de données en libre-service qui rend les données découvrables, interopérables, sécurisées et fiables, démocratisant l'accès afin que chacun ait les données dont il a besoin pour faire son travail.
Pour parvenir à cela, HelloFresh a priorisé des outils qui s'intégreraient aux systèmes existants et permettraient aux équipes de créer et surveiller les tests facilement. L'entreprise voulait éviter les frais généraux et l'investissement nécessaires pour mettre en œuvre et maintenir un autre outil de pipeline de données. Cela valait donc la peine de tirer parti du produit d'experts tiers en qualité de données.
L'interface accessible de Soda, la configuration basée sur YAML et les métriques prêtes à l'emploi en ont fait un choix idéal. Les analystes et scientifiques de données pouvaient définir des contrôles de qualité des données en utilisant des requêtes SQL familières, tandis que Soda gérait les couches de gouvernance et de visibilité à travers l'organisation.
L'Impact : un nouveau standard pour la qualité et la collaboration
HelloFresh a choisi Soda pour aborder des problèmes critiques de données tels que la qualité, la gouvernance et l'état d'esprit. Maintenant, Soda Cloud fournit à leurs équipes de données centrales les outils dont elles ont besoin pour investir avec confiance dans l'amélioration de la qualité des données et maintenir un cadre qui soutient :
Autonomie et responsabilité à travers les équipes de domaine
Contrôles de qualité des données standardisés et transparents
Réduction du travail de révision manuelle
Plus grande culture et confiance en les données à l'échelle de l'entreprise
Soda est devenu un facilitateur clé dans la transition de HelloFresh vers un modèle de data mesh, permettant aux équipes d'accélérer tout en maintenant la fiabilité et la cohérence de leurs données.
Culture & Engagement
Construire la confiance dans les données a consisté à bien plus que d'apporter de nouveaux outils et une nouvelle architecture ; il s'agissait d'écouter l'équipe et de comprendre ce dont ils avaient besoin.
Au cours de ce processus de mise en œuvre de data mesh, HelloFresh a organisé un hackathon mondial appelé "Dans les Données, nous faisons Confiance?!" au cours duquel des équipes interfonctionnelles ont été défiées de créer un Tableau de Bord Standard de Qualité des Données.
L'événement a transformé la qualité des données en une mission collaborative plutôt qu'un problème technique. Les équipes ont enquêté sur la manière de visualiser et de comparer la qualité à travers les ensembles de données en utilisant six dimensions clés — précision, complétude, cohérence, actualité, unicité, et validité — tout en réduisant la charge mentale de l'interprétation des rapports.
HelloFresh a construit une culture de culture des données, de collaboration, et d’appropriation en impliquant les ingénieurs, analystes et équipes d’opération dans le même défi, permettant à chacun de voir la qualité des données comme une responsabilité partagée.
Construire la confiance dans les données n’est pas un projet ponctuel ; c’est une culture. Et cette culture grandit plus rapidement lorsque les équipes apprennent, créent, et célèbrent ensemble. Lisez plus sur le hackathon HelloFresh ici.
Avenir : se préparer pour l’analyse des données à grande échelle
Alors que HelloFresh continue de faire évoluer son data mesh, l’entreprise prépare le terrain pour la certification automatisée des produits de données et élargit la portée de sa plateforme en libre-service.
Bien qu'aller vers le data mesh soit plus que simplement "changer les outils que nous utilisons," les choix technologiques qu'ils ont faits les aident rapidement à atteindre leurs objectifs de rendre les données plus accessibles à tout le monde. La transition vers la propriété distribuée des données, soutenue par Soda, a donné à l'organisation la confiance nécessaire pour accroître ses capacités d'analyse de données de manière durable et sécurisée.
Alors que le voyage continue, HelloFresh a déjà établi la base pour un avenir où des produits de données de haute qualité et fiables permettent à chaque équipe de prendre de meilleures décisions. Leur système est maintenant prêt à tirer parti de la valeur commerciale et de l'efficacité qu'une propriété partagée des données peut apporter.
Découvrez la plateforme de qualité des données de Soda pour implémenter la qualité des données dans votre data mesh.
Clause de non-responsabilité : Ce matériel a été créé en 2022. Veuillez noter que les chiffres et les statistiques peuvent avoir changé depuis sa publication.
En savoir plus
Qualité des Données dans le Contexte d'un Data Mesh chez HelloFresh
Rejoignez Mario Konschake, Responsable Produit de la Plateforme de Données chez HelloFresh, et Maarten Masschelein, PDG de Soda, pour une discussion sur la façon dont HelloFresh met en œuvre la surveillance de la qualité des données dans le contexte d'un data mesh.
Intégrer la Fiabilité des Données dans un Data Mesh au Sommet de l'Innovation des Données
Abhishek Khare, Ingénieur Senior en Données chez HelloFresh, et Natasha Lauer, Responsable Marketing chez Soda, discutent de la façon dont HelloFresh a construit et mis en œuvre une solution de qualité des données en utilisant Soda dans leur plateforme de données en libre-service.
Data Mesh chez HelloFresh - Rencontre d'Apprentissage sur le Data Mesh
L'équipe HelloFresh a partagé son parcours sur le data mesh jusqu'à présent et ce qu'elle a appris en chemin.
Contactez-nous
Planifiez une démonstration avec l'équipe Soda pour découvrir à quel point vous pourriez optimiser votre stratégie de qualité des données dans l'ensemble de votre écosystème de données.
HelloFresh est en mission pour révolutionner la façon dont les gens mangent. Avec des recettes délicieuses, des ingrédients de haute qualité et des solutions repas pratiques pour chaque occasion, l'entreprise s'appuie sur les données comme un atout stratégique clé pour optimiser les dépenses marketing, améliorer l'expérience client, optimiser les chaînes d'approvisionnement et réduire les coûts opérationnels.
L'organisation des données de l'entreprise, avec 100 professionnels travaillant dans des équipes de domaine interfonctionnelles et 50 autres dans des fonctions centrales, joue un rôle critique pour garantir que l'entreprise opère sur des données fiables et de haute qualité.
En 2021, HelloFresh a commencé la transition d'une organisation de données centralisée vers un data mesh, un modèle organisationnel conçu pour autonomiser les équipes à produire, accéder et utiliser des données fiables à grande échelle.
Le défi : étendre l'accès aux données et la fiabilité dans une organisation en croissance
Il y a moins de dix ans, la configuration des données de HelloFresh était familière à de nombreuses organisations en croissance : une équipe spécialisée et centralisée se concentrait sur l'entreposage des données et la production de rapports pour les analystes et les dirigeants. Ce modèle isolé faisait de l'équipe de données le seul gardien du savoir : quelles données existaient, comment elles étaient gérées et à quel point elles étaient fiables.
Cependant, à mesure que le volume de données et la demande d'accès augmentaient, cette structure devenait un goulot d'étranglement. Alors que l'équipe peinait à répondre à la demande, la qualité des données en souffrait, et le manque de fiabilité et d'accès rapide aux données commençait à freiner l'innovation.
Début 2020, l'équipe a reconnu que le fait de toujours éteindre les feux à cause du manque de standardisation de la qualité des données et de la propriété incertaine n'était pas durable. Pour libérer les données analytiques à grande échelle, ils devaient cesser de résoudre les mêmes problèmes de qualité de données à répétition et créer une base pour un accès de données évolutif, fiable et décentralisé.
Pour permettre cela, l'équipe centrale a décidé de passer du stockage de données à un modèle de data mesh, qui met l'accent sur la propriété de domaine, les capacités en libre-service et la responsabilité partagée de la qualité des données.
La solution : établir une base de confiance
Pour garantir le succès de leur initiative de data mesh, HelloFresh devait améliorer la qualité des données et introduire une approche produit pour les données, traitant les ensembles de données comme des produits avec une propriété définie, des niveaux de service et une valeur pour leurs consommateurs.
Cela nécessitait une plateforme de qualité des données en libre-service qui puisse :
S'intégrer parfaitement à l'infrastructure existante
Inclure des capacités de gouvernance intégrées
Prendre en charge la surveillance des politiques mondiales
Permettre la mise en place rapide de tests de qualité des données sur les domaines
Cela permettrait aux équipes de domaine d'être autonomes tout en alignant la surveillance de la qualité des données à travers l'entreprise pour améliorer les boucles de rétroaction, innover plus rapidement et renforcer la confiance des affaires.
Après un vaste processus de sélection, HelloFresh a choisi Soda Cloud comme sa plateforme en libre-service pour les tests de qualité des données, la surveillance et la gouvernance. L'objectif de l'équipe était de donner aux analystes et aux data scientists, à l'aise avec SQL mais pas nécessairement avec le codage, la possibilité de gérer la qualité des données de manière autonome.
En adoptant Soda au lieu de développer une solution interne, HelloFresh a accéléré l'implémentation tout en bénéficiant d'une interface prête à l'usage, de fonctionnalités d'automatisation et d'outils de surveillance. De l'évaluation au déploiement bêta à la mise en œuvre de l'outil à travers les équipes interfonctionnelles, l'implémentation n'a pris que trois trimestres fiscaux.
Construire le data mesh : composants clés
L’initiative de data mesh de HelloFresh est construite autour de quatre éléments principaux :
Équipes de données orientées domaine, décentralisées
Produits de données
Gouvernance des données fédérée et incitative
Une plateforme de données en libre-service
1. Équipes de données orientées domaine
Pour décentraliser la propriété, HelloFresh a formé des Équipes de Domaine de Données composées d'Ingénieurs Données, d'Analystes de Données, de Data Scientists et de Chefs de Produit de Données. Chaque équipe est devenue responsable de la construction et de la maintenance des produits de données, de la garantie de conformité, et de rendre leurs données accessibles à travers l'organisation.
Ces équipes ne relèvent pas d'une autorité centralisée mais fonctionnent selon des normes de gouvernance fédérées. Elles utilisent des outils comme Soda pour surveiller et maintenir la qualité tout en respectant des attentes partagées.
Pour soutenir cette transition, le groupe original d'entreposage de données :
A géré les engagements existants tout en construisant une nouvelle infrastructure cloud
A permis le rapport de données en libre-service
A progressivement retiré les systèmes anciens et redéfini les Objectifs de Niveau de Service (SLOs)
2. Les données comme produit
HelloFresh a redéfini sa relation avec les données en les traitant comme un produit : un actif intentionnel et consommable géré avec la même rigueur que n'importe quel produit destiné au client.
Chaque produit de données est détenu par un Chef de Produit de Données qui :
Identifie les consommateurs internes et leurs besoins
Définit un Objectif de Niveau de Service (SLO) pour garantir la qualité et la fiabilité
Les SLOs chez HelloFresh ne sont pas des contrats stricts, mais plutôt des outils d'alignement qui clarifient les attentes entre les propriétaires des produits de données et les consommateurs de données pour favoriser la confiance. Un exemple pourrait être aussi simple que : « Assurez-vous que cet ensemble de données est mis à jour chaque matin à 8h00. » L'objectif principal est de décrire explicitement ce que le produit de données fournit tout en s'assurant que les données sont adaptées à leur objectif.
Les Chefs de Produit de Données et les équipes d'ingénierie utilisent Soda pour effectuer des tests de qualité des données, surveiller leurs produits de données, et fournir des preuves de la fiabilité des données aux parties prenantes.
3. Gouvernance des données fédérée et incitative
HelloFresh a réimaginé la gouvernance des données pour encourager la responsabilité plutôt que le contrôle. Leur approche s'est concentrée sur le développement d'un cadre de normes de qualité des données qui s'applique à tous les produits de données, aidant les équipes à comprendre le cadre, et fournissant un soutien et de la clarté sur les attentes impliquant les produits de données.
L'équipe centrale de Gouvernance des Données définit les normes mondiales de qualité des données, offre des lignes directrices, et soutient les équipes de domaine à travers un programme de Certification de Produit de Données. Ce programme volontaire gamifie la gouvernance en décernant des insignes bronze, argent et or aux équipes qui atteignent des critères spécifiques de qualité, de sécurité, et de documentation des données. Cette approche, décrite en interne comme « gouvernance par commodité », assure que la bonne manière de tester et valider la qualité des données est aussi la plus facile.
Soda est utilisé comme l'outil de test de qualité des données dans ce processus, et l'entreprise prévoit d'automatiser la certification en utilisant les capacités de Soda à l'avenir.
4. Plateforme de données en libre-service
HelloFresh a découvert que dans un data mesh, une plateforme de données en libre-service doit respecter l'alignement des équipes d'opérations autonomes et décentralisées et leur besoin d'accès aux données rapide et fiable. La dernière étape a donc été de construire une plateforme de données en libre-service qui rend les données découvrables, interopérables, sécurisées et fiables, démocratisant l'accès afin que chacun ait les données dont il a besoin pour faire son travail.
Pour parvenir à cela, HelloFresh a priorisé des outils qui s'intégreraient aux systèmes existants et permettraient aux équipes de créer et surveiller les tests facilement. L'entreprise voulait éviter les frais généraux et l'investissement nécessaires pour mettre en œuvre et maintenir un autre outil de pipeline de données. Cela valait donc la peine de tirer parti du produit d'experts tiers en qualité de données.
L'interface accessible de Soda, la configuration basée sur YAML et les métriques prêtes à l'emploi en ont fait un choix idéal. Les analystes et scientifiques de données pouvaient définir des contrôles de qualité des données en utilisant des requêtes SQL familières, tandis que Soda gérait les couches de gouvernance et de visibilité à travers l'organisation.
L'Impact : un nouveau standard pour la qualité et la collaboration
HelloFresh a choisi Soda pour aborder des problèmes critiques de données tels que la qualité, la gouvernance et l'état d'esprit. Maintenant, Soda Cloud fournit à leurs équipes de données centrales les outils dont elles ont besoin pour investir avec confiance dans l'amélioration de la qualité des données et maintenir un cadre qui soutient :
Autonomie et responsabilité à travers les équipes de domaine
Contrôles de qualité des données standardisés et transparents
Réduction du travail de révision manuelle
Plus grande culture et confiance en les données à l'échelle de l'entreprise
Soda est devenu un facilitateur clé dans la transition de HelloFresh vers un modèle de data mesh, permettant aux équipes d'accélérer tout en maintenant la fiabilité et la cohérence de leurs données.
Culture & Engagement
Construire la confiance dans les données a consisté à bien plus que d'apporter de nouveaux outils et une nouvelle architecture ; il s'agissait d'écouter l'équipe et de comprendre ce dont ils avaient besoin.
Au cours de ce processus de mise en œuvre de data mesh, HelloFresh a organisé un hackathon mondial appelé "Dans les Données, nous faisons Confiance?!" au cours duquel des équipes interfonctionnelles ont été défiées de créer un Tableau de Bord Standard de Qualité des Données.
L'événement a transformé la qualité des données en une mission collaborative plutôt qu'un problème technique. Les équipes ont enquêté sur la manière de visualiser et de comparer la qualité à travers les ensembles de données en utilisant six dimensions clés — précision, complétude, cohérence, actualité, unicité, et validité — tout en réduisant la charge mentale de l'interprétation des rapports.
HelloFresh a construit une culture de culture des données, de collaboration, et d’appropriation en impliquant les ingénieurs, analystes et équipes d’opération dans le même défi, permettant à chacun de voir la qualité des données comme une responsabilité partagée.
Construire la confiance dans les données n’est pas un projet ponctuel ; c’est une culture. Et cette culture grandit plus rapidement lorsque les équipes apprennent, créent, et célèbrent ensemble. Lisez plus sur le hackathon HelloFresh ici.
Avenir : se préparer pour l’analyse des données à grande échelle
Alors que HelloFresh continue de faire évoluer son data mesh, l’entreprise prépare le terrain pour la certification automatisée des produits de données et élargit la portée de sa plateforme en libre-service.
Bien qu'aller vers le data mesh soit plus que simplement "changer les outils que nous utilisons," les choix technologiques qu'ils ont faits les aident rapidement à atteindre leurs objectifs de rendre les données plus accessibles à tout le monde. La transition vers la propriété distribuée des données, soutenue par Soda, a donné à l'organisation la confiance nécessaire pour accroître ses capacités d'analyse de données de manière durable et sécurisée.
Alors que le voyage continue, HelloFresh a déjà établi la base pour un avenir où des produits de données de haute qualité et fiables permettent à chaque équipe de prendre de meilleures décisions. Leur système est maintenant prêt à tirer parti de la valeur commerciale et de l'efficacité qu'une propriété partagée des données peut apporter.
Découvrez la plateforme de qualité des données de Soda pour implémenter la qualité des données dans votre data mesh.
Clause de non-responsabilité : Ce matériel a été créé en 2022. Veuillez noter que les chiffres et les statistiques peuvent avoir changé depuis sa publication.
En savoir plus
Qualité des Données dans le Contexte d'un Data Mesh chez HelloFresh
Rejoignez Mario Konschake, Responsable Produit de la Plateforme de Données chez HelloFresh, et Maarten Masschelein, PDG de Soda, pour une discussion sur la façon dont HelloFresh met en œuvre la surveillance de la qualité des données dans le contexte d'un data mesh.
Intégrer la Fiabilité des Données dans un Data Mesh au Sommet de l'Innovation des Données
Abhishek Khare, Ingénieur Senior en Données chez HelloFresh, et Natasha Lauer, Responsable Marketing chez Soda, discutent de la façon dont HelloFresh a construit et mis en œuvre une solution de qualité des données en utilisant Soda dans leur plateforme de données en libre-service.
Data Mesh chez HelloFresh - Rencontre d'Apprentissage sur le Data Mesh
L'équipe HelloFresh a partagé son parcours sur le data mesh jusqu'à présent et ce qu'elle a appris en chemin.
Contactez-nous
Planifiez une démonstration avec l'équipe Soda pour découvrir à quel point vous pourriez optimiser votre stratégie de qualité des données dans l'ensemble de votre écosystème de données.
Trusted by the world’s leading enterprises
Real stories from companies using Soda to keep their data reliable, accurate, and ready for action.
At the end of the day, we don’t want to be in there managing the checks, updating the checks, adding the checks. We just want to go and observe what’s happening, and that’s what Soda is enabling right now.
Sid Srivastava
Director of Data Governance, Quality and MLOps
Investing in data quality is key for cross-functional teams to make accurate, complete decisions with fewer risks and greater returns, using initiatives such as product thinking, data governance, and self-service platforms.
Mario Konschake
Director of Product-Data Platform
Soda has integrated seamlessly into our technology stack and given us the confidence to find, analyze, implement, and resolve data issues through a simple self-serve capability.
Sutaraj Dutta
Data Engineering Manager
Our goal was to deliver high-quality datasets in near real-time, ensuring dashboards reflect live data as it flows in. But beyond solving technical challenges, we wanted to spark a cultural shift - empowering the entire organization to make decisions grounded in accurate, timely data.
Gu Xie
Head of Data Engineering
4,4 sur 5
Commencez à faire confiance à vos données. Aujourd'hui.
Trouvez, comprenez et corrigez tout problème de qualité des données en quelques secondes.
Du niveau de la table au niveau des enregistrements.
Adopté par
Trusted by the world’s leading enterprises
Real stories from companies using Soda to keep their data reliable, accurate, and ready for action.
At the end of the day, we don’t want to be in there managing the checks, updating the checks, adding the checks. We just want to go and observe what’s happening, and that’s what Soda is enabling right now.
Sid Srivastava
Director of Data Governance, Quality and MLOps
Investing in data quality is key for cross-functional teams to make accurate, complete decisions with fewer risks and greater returns, using initiatives such as product thinking, data governance, and self-service platforms.
Mario Konschake
Director of Product-Data Platform
Soda has integrated seamlessly into our technology stack and given us the confidence to find, analyze, implement, and resolve data issues through a simple self-serve capability.
Sutaraj Dutta
Data Engineering Manager
Our goal was to deliver high-quality datasets in near real-time, ensuring dashboards reflect live data as it flows in. But beyond solving technical challenges, we wanted to spark a cultural shift - empowering the entire organization to make decisions grounded in accurate, timely data.
Gu Xie
Head of Data Engineering
4,4 sur 5
Commencez à faire confiance à vos données. Aujourd'hui.
Trouvez, comprenez et corrigez tout problème de qualité des données en quelques secondes.
Du niveau de la table au niveau des enregistrements.
Adopté par
Solutions
Trusted by the world’s leading enterprises
Real stories from companies using Soda to keep their data reliable, accurate, and ready for action.
At the end of the day, we don’t want to be in there managing the checks, updating the checks, adding the checks. We just want to go and observe what’s happening, and that’s what Soda is enabling right now.
Sid Srivastava
Director of Data Governance, Quality and MLOps
Investing in data quality is key for cross-functional teams to make accurate, complete decisions with fewer risks and greater returns, using initiatives such as product thinking, data governance, and self-service platforms.
Mario Konschake
Director of Product-Data Platform
Soda has integrated seamlessly into our technology stack and given us the confidence to find, analyze, implement, and resolve data issues through a simple self-serve capability.
Sutaraj Dutta
Data Engineering Manager
Our goal was to deliver high-quality datasets in near real-time, ensuring dashboards reflect live data as it flows in. But beyond solving technical challenges, we wanted to spark a cultural shift - empowering the entire organization to make decisions grounded in accurate, timely data.
Gu Xie
Head of Data Engineering
4,4 sur 5
Commencez à faire confiance à vos données. Aujourd'hui.
Trouvez, comprenez et corrigez tout problème de qualité des données en quelques secondes.
Du niveau de la table au niveau des enregistrements.
Adopté par
Solutions