Avec le changement dans la manière dont les organisations opèrent avec les données, les équipes data travaillent avec une approche décentralisée et conduite par le domaine. Ce changement nécessite que les équipes de domaine aient le soutien, la responsabilité, et la capacité d'utiliser et de partager leurs données.
Libérer Tout le Monde
En même temps, il existe un besoin commercial très critique pour que les consommateurs de données et les experts en la matière s’approprient leur qualité de données et soient impliqués dans la gestion de la qualité des données. La gestion des données dans l'architecture moderne des données est computationnellement intégrée à chaque étape du flux de données et du cycle de vie du produit. La plupart des équipes data aujourd'hui sont organisées par domaine et se composent de personnes aux rôles variés, telles qu'un ingénieur data ou analytics, et un gestionnaire de produit de données.
Étant donné la nature interfonctionnelle des données, les équipes dépendent les unes des autres pour fournir des données fiables et de haute qualité, chaque jour.
Aujourd'hui, nous présentons le prochain jalon dans la mission de Soda de rapprocher tout le monde des données. Disponible dès maintenant, en mode aperçu, est un nouvel ensemble de fonctionnalités et de capacités qui portent Soda Cloud au niveau supérieur.
Les nouvelles fonctionnalités et capacités ont été conçues pour les analystes et les consommateurs de données dans les entreprises qui construisent de nouveaux produits innovants en utilisant des données, ainsi que pour les équipes responsables de la production de données, ou de la gestion des contrats avec les fournisseurs de données. C'est un ensemble de capacités qui apporte une approche nouvelle à la manière dont les équipes peuvent anticiper les problématiques data.
Êtes-vous bien servi ?
Suite à la GA de SodaCL, le langage spécifique au domaine pour la fiabilité des données, nous sommes très enthousiastes de rendre cet aperçu disponible. Au sein de Soda Cloud, les analystes peuvent facilement écrire leurs propres checks et exécuter Soda Scans.
Les analystes sont désormais en bonne voie pour pouvoir se servir complètement et gérer leur propre qualité de données. À ce jour, plusieurs des outils existants pour vérifier la qualité des données ont été conçus pour un public technique, des utilisateurs capables de lire et d'écrire du SQL.
Chez Soda, nous développons des outils de fiabilité des données et une plateforme d'observabilité pour aider l’ensemble de l’équipe data à découvrir, prioriser et résoudre les problèmes de qualité des données. Nous simplifions un processus traditionnel et une approche lourde qui ont rendu les analystes de données fortement dépendants des ingénieurs data pour mettre en œuvre les vérifications des données.
Écrivez vos propres contrôles et équilibres
Nous parlons quotidiennement à des organisations, de tous horizons, qui sont incapables d'étendre leurs opérations de données sans rencontrer de goulots d'étranglement qui peuvent inévitablement paralyser leur entreprise. Il est tellement évident que les analystes doivent être en mesure de se servir pleinement eux-mêmes, car lorsqu'un analyste peut écrire ses propres contrôles pour la qualité des données, l'entreprise peut vraiment commencer à évoluer avec des données fiables et de haute qualité.
Ci-dessus, vous voyez un consommateur de données dans Soda Cloud créer un accord, en utilisant des extraits de code suggérés.
Désormais, les analystes, équipés du savoir sur le domaine des données, peuvent simplement créer leurs propres vérifications, analyser les incidents et résoudre les problèmes de sorte que la qualité des données reste fiable et disponible en tout temps.
Les ingénieurs data ne sont plus un goulot d'étranglement et les analystes de données ne sont plus sous-servis. En fait, les ingénieurs data sont libres de faire ce qu'ils font le mieux, en intégrant des vérifications de fiabilité des données en tant que code dans les pipelines de données avec Soda Core, notre framework open-source, alimenté par SodaCL.
Permettez-moi de décrire les nouvelles capacités qui sont désormais disponibles en Soda Cloud Preview Mode.
Soda Agent, un service Soda Core géré. Soda Agent est un composant d'infrastructure sécurisé, natif du cloud, que les organisations peuvent déployer à travers les clouds et sur site. C'est le premier en son genre qui permet aux experts en domaine métier de s'impliquer dans les flux de travail de qualité des données, tout en assurant une sécurité de pointe. Soda Agent est hébergé dans votre propre environnement et aucune donnée au niveau des enregistrements ne quitte vos locaux, privés ou cloud public. Il effectue ses opérations en utilisant Soda Core, le cadre de qualité et de fiabilité des données open-source leader du secteur développé et maintenu sous la licence open-source Apache 2.0.
Auto-service. La qualité des données doit être rendue accessible aux personnes qui comprennent vraiment les données. Il ne s'agit plus - et n'aurait jamais dû être - de la prérogative des ingénieurs pour comprendre les attentes de qualité des données. Ce sont les experts en domaine métier qui doivent avoir un rôle actif dans la gestion des données qu'ils utilisent pour répondre aux besoins évolutifs de l'entreprise. L'auto-service de la qualité des données réduit le goulot d'étranglement de l'ingénierie lorsqu'il s'agit de créer des produits de données fiables et de haute qualité, avec un langage qui est à la fois lisible et écrivable par l'humain, ce qui signifie que tous les membres d'une équipe data peuvent définir les vérifications de ce à quoi de bonnes données doivent ressembler et résoudre des problèmes métiers spécifiques à travers plusieurs domaines d'activité.
Intégration automatique de source de données. Avec Soda Agent, l'intégration automatique des sources de données est maintenant disponible dans Soda Cloud. Alors que le nombre de sources continue d'augmenter en volume et en complexité, unir et partager des données de bonne qualité donne aux entreprises la possibilité de maximiser sa valeur.
Surveillance automatisée. Pour surveiller la qualité des données à grande échelle, Soda offre désormais une surveillance automatisée des principaux indicateurs de qualité des données de vos ensembles de données. La surveillance automatisée couvre des vérifications telles que la fraîcheur, le volume et le schéma. Les équipes ont la possibilité d’ajouter des vérifications supplémentaires par défaut à la configuration.
Accords de partage des données. Les fournisseurs et les consommateurs de données peuvent articuler clairement les attentes de qualité pour les produits de données au fur et à mesure qu’ils sont créés, et alors qu’ils évoluent en tant que sources de vérité fiables, avec la capacité d’auto-service de Soda pour créer des accords de données. Avec le flux de travail des accords, les utilisateurs peuvent facilement définir et établir les attentes de qualité des données qui stipulent la fraîcheur, l’exactitude et l’exhaustivité des produits de données pour que les consommateurs puissent se fier aux données qu'ils utilisent, et les équipes produits de données puissent recevoir des alertes concernant les problèmes de qualité auxquels elles peuvent rapidement enquêter et répondre. Il existe une collaboration facile entre les équipes de domaine de données, qui peuvent suivre les accords et garantir que les données sont et restent adaptées à l’usage.
Accrédité SOC-2 Type II. Soda est accrédité avec une norme leader du secteur pour la sécurité, la disponibilité et la confidentialité des données des clients. Notre certification SOC-II Type 2 offre à nos clients de niveau mondial, leaders du secteur, la tranquillité d’esprit que nos contrôles internes, systèmes et politiques sont conçus et mis en œuvre pour garantir le plus haut niveau de sécurité et de conformité lorsqu'il s'agit de gérer leurs données.
Gratuit avec vos Seuils
Ci-dessus, vous voyez un accord dans Soda Cloud, approuvé par toutes les personnes impliquées.
Dans Soda Cloud, les experts en domaine métier utilisent le flux de travail des accords pour créer un accord - pensez-y comme à un contrat entre l'expert en domaine métier et les équipes amont, telles que les ingénieurs data ou les producteurs de données. Il ne faut que cinq étapes aux équipes data pour définir et aligner les attentes de qualité des données :
Sélectionnez une source de données
Écrivez les vérifications
Identifiez les parties prenantes
Définissez les notifications
Planifiez quand exécuter un scan
Consultez nos docs pour en savoir plus.
Chez Soda, nous croyons que nous construisons la plateforme la plus robuste pour les équipes data. C’est très excitant de mettre ces nouvelles capacités puissantes entre les mains de nos clients et de notre communauté en mode aperçu. Nous sommes vraiment impatients de voir comment ils vont la mettre à l'épreuve et se rapprocher de la gestion de la qualité des données en auto-service, une capacité qui va vraiment permettre aux organisations de croître et de résoudre les problèmes de données à travers toute l’entreprise pour créer une observabilité de bout en bout.
⛔️ Les Accords Soda sont en cours de suppression.
En fait, ils ont évolué et nous avons une toute nouvelle fonctionnalité.
En savoir plus ici : Soda Releases OSS Data Contract Engine
Embarquez !
Si vous êtes un client existant et un utilisateur de Soda Cloud, veuillez nous contacter et nous serons ravis de vous mettre sur la voie de la gestion de la qualité des données en auto-service. Nous sommes impatients de vous montrer comment nous pouvons libérer vos ingénieurs data et autonomiser vos analystes de données.
Soda Cloud devrait être généralement disponible plus tard en 2022, après la pause estivale (européenne).
C'est le bon moment pour travailler avec de bonnes données.
