En tant que fournisseur d'API de location de voitures, CarTrawler active la fonctionnalité de location de voitures pour les grandes compagnies aériennes, les agences de voyage en ligne et les sites de voyage du monde entier. Lorsque vous réservez un vol sur des compagnies aériennes comme EasyJet, Eurowings ou United Airlines et que vous voyez des options de location de voitures, il y a de fortes chances que CarTrawler travaille en coulisses.

Fondée en 2004 à Dublin, en Irlande, CarTrawler emploie plus de 400 personnes et tarifie plus d'un milliard de produits de location de voitures différents chaque jour. Cette opération massive nécessite d'énormes volumes de données, des algorithmes avancés et, de manière critique, le contrôle de la qualité des données. Le succès de l'entreprise dépend de la livraison de données précises et en temps réel pour alimenter les moteurs de recommandation qui impactent directement les revenus.

Alors que CarTrawler a acquis plusieurs clients majeurs dans l'industrie du voyage, l'entreprise avait besoin de manière urgente de mettre à l'échelle ses opérations de données. L'histoire de CarTrawler et Soda existe sur la base de la vision partagée de placer l'innovation axée sur les données et la connexion humaine au cœur de ses opérations. 

Lisez la suite pour en savoir plus sur comment Soda a été l'aboutissement du parcours de CarTrawler pour créer une plateforme de données unifiée, garantissant une qualité de données de bout en bout. Découvrez comment ils ont renforcé leur pile technologique et leurs vastes quantités de données avec une solution de qualité de données évolutive, permettant aux ingénieurs des données de tester la qualité des données en tant que code, de prévenir les problèmes de données et d'autonomiser les consommateurs de données à s'auto-servir et être responsables de leurs propres attentes en matière de qualité des données.

Le défi : mettre à l'échelle la confiance et l'efficacité

CarTrawler tarifie plus d'un milliard de produits de location de voitures différents chaque jour pour les compagnies aériennes, les agences de voyage et les sites de voyage. Faire cela efficacement nécessite d'énormes volumes de données, des algorithmes avancés et, de manière critique, le contrôle de la qualité des données.

Les défis de données de l'entreprise provenaient de la complexité et du volume même de ses opérations. L'entreprise gère environ un millier de fournisseurs, chacun ayant ses propres formats de données et normes de qualité. Du côté des partenaires, CarTrawler travaille avec de nombreuses entreprises de voyage, nécessitant chacune des intégrations personnalisées. Les sources de données internes ajoutent une autre couche, de Salesforce Marketing Cloud aux applications propriétaires, créant un vaste réseau de données circulant dans plusieurs directions.

En conséquence, avec une stratégie de données influencée par les besoins départementaux individuels avec des règles de données séparées à travers des systèmes disparates, la synchronisation des changements de données à travers les équipes était devenue un processus très gourmand en ressources.

CarTrawler devait faire face à :

• Des données brutes provenant de nombreux systèmes sources

• De nombreux types de charges de travail différents

• Manque de compréhension commune des données

• Moteur de balisage interne, aucune cohérence

• Grands volumes de données

CarTrawler avait un besoin urgent d'identifier des moyens de mettre à l'échelle ses opérations de données et, dans un premier temps, a entrepris une transformation des données en construisant son propre outil de qualité des données. L'entreprise a rapidement réalisé qu'elle n'était toujours pas capable de se développer assez rapidement pour intégrer de nouveaux clients. En plus du problème de l'évolutivité, CarTrawler devait également surmonter deux défis majeurs de qualité des données que son outil interne ne pouvait pas résoudre :

• Premièrement, il manquait de fonctionnalité d'auto-service qui permettrait aux utilisateurs professionnels de prendre en charge eux-mêmes la qualité des données. Les analystes et les utilisateurs professionnels devaient compter sur l'ingénierie pour implémenter des vérifications de qualité, créant des goulots d'étranglement qui ralentissaient toute l'organisation.

• Deuxièmement, l'outil ne pouvait pas automatiser l'implémentation des vérifications à l'échelle requise par CarTrawler. Avec des milliers de fichiers, de métriques et de KPIs nécessitant une validation, la création et la maintenance manuelles des vérifications étaient insoutenables.

L'entreprise avait besoin d'une solution capable de garantir la qualité des données à grande échelle sans augmenter proportionnellement l'équipe d'ingénierie. Et une solution qui pouvait garantir que des milliers de métriques et de KPIs étaient précis, tout en offrant la confiance que les modèles automatisés prenaient des décisions basées sur des données propres et fiables.

La solution est venue par la mise en œuvre de Soda aux côtés de leur entrepôt de données Snowflake, créant un cadre de qualité de données évolutif et auto-service qui a transformé la manière dont toute l'organisation interagit avec les données.

La solution : mise en œuvre d'une qualité de données auto-service évolutive

CarTrawler a sélectionné Soda pour fournir une solution de qualité de données évolutive qui permettrait à ses ingénieurs des données de tester la qualité des données en tant que code et de prévenir les problèmes de données, tout en permettant à ses consommateurs de données de s'auto-servir et de gérer leurs propres attentes en matière de qualité des données.

« La raison pour laquelle nous avons choisi Soda est qu'elle offrait aux utilisateurs une belle interface. Elle fournissait un mécanisme d'alerte et d'incident, et tout était centralisé. Nous avons même pu prendre les résultats de nos tests de dbt avec Snowflake et les réintégrer dans Soda. » — Stephen Carey, Responsable de l'intelligence des données chez CarTrawler

L'équipe a immédiatement été ravie par la rapidité et la facilité avec lesquelles elle pouvait migrer vers Soda, fournissant une source unique de vérité à l'ensemble de l'entreprise. Aujourd'hui, Soda a été pleinement intégré à la pile technologique existante de CarTrawler - comprenant Airflow, dbt, Snowflake et AWS, pour stocker, ingérer et transformer les données, Snowplow pour la gestion des données clients, et Tableau et Thoughtspot pour la BI - qui ont été soigneusement élaborés pour offrir des capacités d'auto-service.

Soda se trouve au cœur de cet écosystème, garantissant la qualité des données à chaque étape. CarTrawler a établi un environnement à faible code permettant aux consommateurs de données de définir des accords de qualité des données et d'écrire facilement des vérifications de qualité des données en utilisant SodaCL, le langage spécifique de domaine de Soda pour les vérifications de qualité des données.

Gestion unifiée de la qualité : intégration à Snowflake

Il est important de noter que l'intégration entre Soda et Snowflake a fourni des capacités au-delà de la simple exécution de règles. Elle a permis à CarTrawler de centraliser toutes les règles, de rendre des comptes sur ces règles de manière exhaustive, de créer des contrats de données définissant les attentes en matière de qualité, et de créer des règles supplémentaires à partir d'une interface unique. L'équipe peut consulter instantanément l'état de chaque règle et les gérer et s'alerter à partir d'un emplacement commun.

En fin de compte, CarTrawler peut valider que les données provenant de systèmes sources divers vers Snowflake conservent leur intégrité et leur exactitude, créant une confiance qui s'étend de l'ingestion brute à la consommation finale.

« Combiner Snowflake et Soda nous a apporté une multitude d'avantages, signifiant que non seulement nous avons pu créer une source unique de vérité pour l'analyse des données et la science des données, mais nous pouvons faire confiance aux données contenues dans cette plateforme grâce à la possibilité d'appliquer facilement des règles de qualité des données, de voir les retours sur ces règles et d'implémenter des correctifs pour atteindre le meilleur niveau de fiabilité des données. Les deux plateformes fonctionnent de manière complémentaire, fournissant une solution combinée qui a élevé nos opérations de données au niveau supérieur. » — Patrick Callinan, Directeur des Insights et de la Science des données

Qualité des données à chaque couche

L'équipe d'ingénierie utilise principalement Soda pour la validation quotidienne des pipelines de données, en s'assurant que les pipelines arrivent à temps, que les données sont précises et complètes, et que l'intégrité appropriée est maintenue. Ces vérifications s'exécutent automatiquement dans le cadre du flux de travail d'orchestration, détectant les problèmes avant qu'ils ne se propagent en aval.

Exemple de checks.yml Soda

checks for dim_product:
  - avg(safety_stock_level) > 50
# Checks for schema changes
  - schema:
      name: Find forbidden, missing, or wrong type
      warn:
        when required column missing: [dealer_price, list_price]
        when forbidden column present: [credit_card]
        when wrong column type:
          standard_cost: money
      fail:
        when forbidden column present: [pii*]
        when wrong column index:
          model_name: 22

# Check for freshness 
  - freshness (start_date) < 1d

# Check for referential integrity
checks for dim_department_group:
  - values in (department_group_name) must exist in dim_employee (department_name)

Les équipes commerciales appliquent Soda sur le travail de transformation SQL qu'elles effectuent dans Snowflake. Cette capacité d'auto-service représente un changement fondamental dans la façon dont CarTrawler fonctionne. Auparavant, les analystes devaient demander le soutien des ingénieurs pour mettre en œuvre les vérifications de qualité. Désormais, ils peuvent définir leurs propres attentes en matière de qualité, écrire des vérifications dans SodaCL et surveiller les résultats de manière indépendante.

Les équipes de science des données utilisent Soda pour leur magasin de fonctionnalités - un référentiel de fonctionnalités utilisé pour former des modèles d'apprentissage automatique pour le tri des prix, les moteurs de recommandation, et bien plus. En appliquant Soda au magasin de fonctionnalités, les scientifiques des données peuvent se concentrer uniquement sur la création de modèles sans consacrer un temps excessif à la validation des données.

« L'analyse en auto-service est importante chez CarTrawler car vous devez pouvoir démocratiser et amener les gens à travailler avec des données et à fonder leurs décisions sur des faits. Mais en plus de cela, avec Soda, nous sommes également en mesure de leur donner la capacité de placer la qualité des données au-dessus de ce qu'ils produisent eux-mêmes. Ainsi, en termes d'auto-service, cela s'accompagne de la responsabilité. » — Stephen Carey, Responsable de l'intelligence des données chez CarTrawler

Des données meilleures et plus propres, gérées à plus grande échelle, permettent à CarTrawler de construire de meilleurs modèles, ce qui conduit à de meilleures optimisations, un apprentissage automatique de meilleure qualité, de meilleurs résultats de tri, de meilleures recommandations et, en fin de compte, une meilleure conversion et un retour financier plus élevé.

L'impact : établir la confiance et améliorer les performances de l'entreprise

Soda est devenu une partie intégrante des opérations quotidiennes de données de CarTrawler, et l'impact le plus fondamental a été de construire la confiance dans les données à travers l'organisation.

Grâce aux capacités fournies par Soda, CarTrawler a généré une confiance totale dans les énormes volumes de données qu'elle ingère et fournit à ses utilisateurs.

« Travailler avec Soda a amélioré la productivité de mon équipe car auparavant, nous aurions dû faire beaucoup de questions-réponses, comme, est-ce que ce fichier est à jour ? est-ce que ça fonctionne ? êtes-vous sûr ? - Alors que maintenant, nous pouvons garantir la qualité; qu'il a été vérifié, qu'il est conforme, qu'il passe toutes les règles de qualité. » — Patrick Callinan, Directeur des Insights et de la Science des données

La confiance accrue dans les données alimentant les moteurs de recommandation en temps réel de CarTrawler a conduit à un résultat commercial mesurable : une amélioration de 5 % des revenus par visiteur. Ce pourcentage apparemment faible se traduit par un impact financier significatif à l'échelle de CarTrawler. 

En outre, Patrick Callinan, Directeur des Insights et de la Science des données, estime que sans Soda, son équipe aurait besoin de deux à trois postes supplémentaires pour atteindre le même niveau de couverture de la qualité des données.

Principales fonctionnalités de Soda pour CarTrawler

1. Interface conviviale :

• fournit de la visibilité pour les utilisateurs techniques et non techniques 

• permet l'auto-service sans connaissances approfondies en codage 

• crée de la transparence dans l'état de la qualité des données

• centralise la gestion des alertes et des incidents

2. Agent Soda pour les ingénieurs

• facile à maintenir  

• s'intègre facilement aux flux de travail d'orchestration 

• offre flexibilité dans le déploiement

• se déploie facilement avec des volumes de données importants

3. Documentation riche et communauté

• La documentation de Soda fournit des exemples clairs et simplifie l'intégration. 

• La communauté Soda joue également un rôle de soutien : lorsque des questions se posent, poster dans le canal Slack obtient généralement des réponses rapides d'experts du monde entier.

Regarder vers l'avenir : mise à l'échelle durable

La qualité des données n'est pas une préoccupation isolée ; elle est intégrée à chaque couche de l'architecture spécifiquement pour permettre de meilleurs résultats commerciaux. Soda a permis à CarTrawler d'étendre ses opérations de données de manière qu'il n'était pas possible auparavant.

« Soda s'est très bien intégré à la pile de données chez CarTrawler. L'avenir s'annonce très prometteur. Avec la plateforme Soda, nous pouvons maintenant embarquer de plus en plus de jeux de données, aidant différentes équipes chez CarTrawler à atteindre leurs objectifs. » — Sutaraj Dutta, Responsable de l'ingénierie des données chez CarTrawler

Ce avantage concurrentiel n'a pas été obtenu grâce à un investissement massif dans l'ingénierie ou à tout construire en interne. Il est né de la reconnaissance que la qualité des données à grande échelle nécessite des outils conçus spécifiquement, de l'embrassement de l'auto-service comme principe plutôt que comme simple fonctionnalité, et de rendre la qualité la responsabilité de chacun via un accès démocratisé et une responsabilité partagée.

Disclaimer : Ce matériel a été créé en 2023. Veuillez noter que les chiffres et statistiques peuvent avoir changé depuis sa publication.

Favoriser une meilleure qualité de données pour une intelligence des données de confiance

CarTrawler a sélectionné Soda pour fournir une solution de qualité de données évolutive qui permettrait à ses ingénieurs des données de tester la qualité des données en tant que code et de prévenir les problèmes de données, et permettre à ses consommateurs de données de s'auto-servir et de gérer leurs propres attentes en matière de qualité des données.

Dans cette vidéo, Patrick Callinan, Directeur des Insights et de la Science des données; Stephen Carey, Responsable de l'intelligence des données; et Sutaraj Dutta, Responsable de l'ingénierie des données, partagent le parcours de transformation de CarTrawler et comment Soda a été pleinement intégré à la pile technologique de CarTrawler - y compris Airflow, dbt, Snowflake et AWS, pour stocker, ingérer et transformer les données, Snowplow pour la gestion des données clients, et Tableau et Thoughtspot pour la BI - qui a été soigneusement élaborée pour offrir des capacités d'auto-service à l'ensemble de l'entreprise.

Contactez-nous

Planifiez une démonstration avec l'équipe Soda pour découvrir jusqu'où vous pourriez optimiser votre stratégie de qualité des données dans l'ensemble de votre écosystème de données.