Nous sommes vraiment ravis d'annoncer la dernière fonctionnalité de la plateforme Soda Cloud : Soda Incidents, un flux de travail pour rationaliser vos opérations de données.

Les produits de données transforment la façon dont chaque entreprise fonctionne. Construits à partir de volumes de données croissants provenant de différentes sources, ils accélèrent la transition vers l'automatisation numérique. Une fois en production, les produits de données nécessitent du soin et de la maintenance pour faire face aux changements inévitables des schémas et structures de données, à la logique de transformation défaillante et à la dérive conceptuelle, autant d'éléments qui impactent la fiabilité, la qualité et, en fin de compte, la confiance dans les données.

Alors qu'ils travaillent à maintenir la qualité des produits de données, les ingénieurs en données et en analyses se retrouvent souvent à lutter contre les problèmes de données lorsque les rapports ou les modèles d'apprentissage machine se brisent. Lorsqu'une alerte retentit, c'est une course effrénée pour découvrir ce qui est cassé et ce qui a été impacté.

Lorsque le « temps d'arrêt des données » frappe, nous compatissons avec les équipes d'ingénierie des données luttant contre l'incendie et leurs consommateurs de données en aval désespérés de trouver une solution. Non seulement le temps d'arrêt des données est frustrant, mais c'est une perte de temps et d'argent pour tout le monde de passer en permanence par un cycle de réparation plutôt que de se concentrer sur le travail qui ajoute de la valeur à l'entreprise.

Du temps d'arrêt des données à la disponibilité des données

Vous êtes-vous déjà demandé quel était le coût total et l'impact du temps d'arrêt des données ? Lorsque nous avons posé cette question à notre communauté, nous entendons parler de coûts tels que la perturbation de l'entreprise, la perte de revenus, la perte de productivité et le scepticisme accru envers la confiance dans les données. Selon le type d'organisation, le temps d'arrêt des données peut même avoir un impact sur les mandats réglementaires ou de conformité, la rétention des clients et la satisfaction des employés.

Pour toute organisation qui s'appuie sur les données pour générer des revenus grâce à une prise de décision confiante, qui favorise des clients et des employés heureux, chaque minute de « disponibilité des données » - lorsque des données de bonne qualité sont exactes et disponibles - compte.

Soda a été conçu pour aborder la disponibilité des données, pour aider les équipes de données à découvrir, prioriser et résoudre les problèmes de qualité des données. Nous avons été impatients de simplifier ce processus fastidieux avec un flux de travail complet de bout en bout pour détecter et résoudre les problèmes, et alerter automatiquement les bonnes personnes au bon moment. Ainsi, nous présentons les Soda Incidents.

Bienvenue, Soda Incidents

Soda Incidents permet aux équipes de données de gérer efficacement les incidents de fiabilité et de qualité des données, qu'ils se situent dans un ensemble de données ou au niveau de l'enregistrement. Cela soulage la peur de ne pas savoir, et la douleur de découvrir trop tard qu'un problème de qualité des données a eu un impact en aval.

Soda Incidents simplifie le processus de détection, triage, diagnostic et résolution des problèmes de données tout au long du cycle de vie du produit de données. Nos outils de fiabilité et d'observabilité des données sont construits par des ingénieurs en données et des chefs de produit, tous ayant une expérience directe de la construction de systèmes fiables qui produisent des données de haute qualité.

En collaboration avec les premiers adoptants de Soda Cloud et en examinant les meilleures pratiques de l'industrie, notre équipe a identifié trois piliers clés d'une bonne gestion des incidents : définir les rôles et responsabilités, la coordination entre coéquipiers ; et une communication claire.

De plus, une bonne gestion des incidents doit être efficace et fonctionner à grande échelle : lorsqu'un problème de qualité des données survient, tout le monde doit être capable de répondre efficacement sous pression. Un autre élément clé du processus est de réaliser une rétrospective ou une analyse post-mortem pour découvrir ce qui a mal tourné, comprendre pourquoi cela a mal tourné, et les leçons apprises pour éviter que l'incident se reproduise à l'avenir.

Le flux de travail complet de la qualité des données

Nous avons construit un flux de travail opérationnel pour la gestion des incidents qui incorpore les meilleures pratiques de la gestion des incidents dans la couche infrastructure et application et permet aux organisations de configurer Soda pour répondre à leurs exigences commerciales spécifiques.

Tout commence lorsque vous créez un moniteur dans Soda Cloud et ajoutez une alerte pour vous avertir lorsqu'un test de qualité des données échoue. Lorsque votre équipe reçoit une alerte via Slack ou email, vous pouvez vous connecter pour examiner le test échoué et cliquer pour ouvrir un nouvel Incident. Le flux de travail intégré vous permet d'assigner un Responsable de l'enquête et un Statut à l'Incident pour suivre les progrès de votre équipe dans l'investigation et la résolution du problème de qualité des données.

Regardez la démonstration de 1 minute.

Assigner et conquérir

Une bonne gestion et résolution des incidents dépend du fait que chacun comprenne son rôle. En veillant à ce que le rôle de chacun soit clair, vous pouvez gérer qui fait quoi et, par conséquent, en faire plus. Pendant l'urgence du temps d'arrêt des données, savoir qui est responsable de quoi détermine à quelle vitesse vous pouvez reprendre vos activités habituelles.

Pour chaque Incident, un Responsable de l'enquête prend en charge l'Incident et s'assure que l'équipe prend des mesures pour diagnostiquer, analyser et résoudre le problème. Notamment, le Rapporteur d'un Incident n'est pas affecté par défaut comme Responsable de l'enquête. Nous l'avons fait exprès pour permettre à tout membre de l'équipe de lancer un Incident sans avoir à prendre en charge l'enquête.

Chez Soda, nous sommes très forts pour construire des outils qui aident les équipes de données à créer des produits de données de confiance ; nous ne sommes pas dans le domaine de la construction de traqueurs de problèmes. Nous savons que des outils comme Jira et OpsGenie sont largement utilisés et traitent de manière exhaustive le suivi des problèmes de bout en bout. Il aurait été absurde d'aller à l'extrême de construire encore un autre traqueur de problèmes, nous avons donc plutôt construit Soda Incidents pour s'intégrer aux outils existants.

Dans les mois à venir, nous publierons davantage d'intégrations avec des traqueurs de problèmes populaires - faites-nous savoir si vous avez un favori !

Le travail d'équipe fait fonctionner les données

La qualité des données est un sport d'équipe : si tout le monde surveille la qualité des données, les Incidents doivent être accessibles à toute votre organisation. Il doit être simple pour les gens de s'impliquer et de rapprocher tout le monde des données auxquelles ils savent pouvoir faire confiance.

Dans cet esprit, nous avons délibérément choisi Slack comme premier outil à intégrer avec Soda Incidents. Soda Cloud s'intègre déjà avec Slack pour envoyer des notifications, et nous savons que c'est un outil de choix pour de nombreuses organisations pour la communication et la collaboration internes.

Notre recherche montre que les équipes de données utilisent déjà Slack pour travailler sur des problèmes techniques, donc étendre Slack pour enquêter sur les problèmes de qualité des données était logique. De l'intérieur d'un Incident, cliquez pour ouvrir un nouveau canal Slack afin que votre équipe puisse immédiatement commencer à collaborer pour résoudre un problème de qualité des données spécifique. En travaillant dans Slack, il est facile pour les membres de l'équipe de poser des questions, de susciter des idées et de faire émerger des informations techniques intrinsèques que seule une personne connaît.

Mesurer le temps de réponse et de résolution (MTTR)

Au fur et à mesure que votre équipe progresse dans l'enquête, vous pouvez mettre à jour le Statut d'un Incident, changer le Responsable de l'enquête, et ajouter ou retirer des résultats de contrôle qui sont liés à l'Incident. Soda Cloud pousse chaque changement vers le canal Slack de l'Incident. C'est ainsi que tout le monde reste sur la même longueur d'onde et que les parties prenantes restent informées des progrès.

Et quand l'incendie est éteint, quand l'équipe peut respirer et fermer l'Incident, Soda Cloud archive automatiquement le canal dans Slack. Il y reste, attendant le jour où un problème similaire se posera et qu'une équipe pourra accéder aux détails qui les aideront à résoudre un problème encore plus rapidement.

Ce qui commence par une défaillance des données à la source, se termine par une communauté de spécialistes, tels que des ingénieurs en analyses, des gestionnaires de données et des gestionnaires de données, qui travaillent ensemble pour maintenir les données en parfait état.

Après avoir intégré Soda Incidents dans les pratiques de qualité des données de votre équipe, envisagez d'exploiter l'API de Reporting de Soda pour créer des tableaux de bord utilisant des Indicateurs de Performance Clé qui vous aident à comprendre l'impact de Soda sur la qualité des données dans votre organisation. Utilisez l'API pour :

• évaluer la couverture des tests de qualité des données dans votre organisation

• évaluer la « santé de la qualité des données » globale des ensembles de données

• déterminer la fréquence avec laquelle votre équipe utilise Soda Cloud pour vérifier la qualité des données‍

(Presque) chaque problème de données a un côté positif

Avec chaque enquête et chaque problème résolu, il y a des leçons à tirer pour la prochaine fois. Lorsque vous définissez le Statut d'un Incident à Résolu, Soda Cloud vous invite à enregistrer des Notes de Résolution, vous encourageant à examiner vos données d'incidents et à capturer toute connaissance intrinsèque associée qui a aidé à résoudre le problème.

Cet apport peut vous aider à identifier des tendances et anomalies, ou toute causalité commune pour vos incidents de données, menant à des aperçus qui vous permettent d'améliorer encore plus vos systèmes et opérations.

Regardez la démonstration de 30 secondes.

Quelles sont les prochaines étapes ?

Nous sommes enthousiasmés par les possibilités que Soda Incidents offre à nos utilisateurs, les aidant à gérer les incidents de qualité des données avec un véritable flux de travail de bout en bout, de la détection jusqu'à la résolution. Nous travaillons à ajouter la capacité de mettre à jour le Statut d'un Incident dans Slack.

Bientôt, nous annoncerons notre toute nouvelle intégration qui vous permet d'exploiter tous les tests de données que vous avez créés dans dbt. Soda Cloud peut ingérer tous ces résultats de tests dbt et les afficher aux côtés des moniteurs de qualité des données que vous avez créés dans Soda Cloud. Exécutez votre pipeline dbt, planifiez Soda SQL pour exécuter l'ingestion de soda, et voyez instantanément tous vos résultats de tests en un seul endroit. Nous parions que vous êtes impatients de voir les graphiques de séries temporelles de vos résultats de tests dbt dans Soda Cloud !

Essayez Soda Incidents ! Les utilisateurs existants de Soda Cloud peuvent commencer tout de suite et nous serions ravis d'avoir vos retours : rejoignez la conversation dans notre Communauté Slack (sans surprise là-bas).

Incidemment - jeu de mots voulu - c'est là que vous trouverez des informations à jour sur la disponibilité de nos nouvelles fonctionnalités passionnantes et la toute nouvelle version, complètement évoluée, à venir bientôt de Soda SQL. 🤫🎉

Vous ne vous êtes pas encore inscrit pour utiliser Soda Cloud ? Qu'attendez-vous - c'est gratuit ! Inscrivez-vous dès aujourd'hui.