La gestion des données existe depuis des décennies (DAMA DM-BOK), mais elle n'est véritablement devenue une priorité qu'après la crise financière de 2008. Les régulateurs ont exigé des grandes banques qu'elles fournissent une documentation sur la façon dont elles calculaient leurs métriques financières et de risque.

Ces régulations (comme BCBS239) ont également souligné la nécessité de nommer des propriétaires de données, de mettre en œuvre des processus d'approbation autour des modifications de la logique de calcul, et d'ajouter des contrôles de qualité à divers niveaux dans la chaîne de valeur des données. Cela a marqué l'avènement d'un nouveau rôle : le Chief Data Officer (CDO). Gartner a ensuite qualifié les premiers CDO et leur focus sur la gestion des données pour la conformité réglementaire de CDO v1.

Alors que l'économie repartait à la hausse, les CDO ont appliqué certaines de leurs connaissances acquises en conformité réglementaire à d'autres processus de données critiques dans leur organisation, et de nombreuses autres industries ont rapidement suivi leur exemple. Cela s'est révélé précieux lorsque de nouvelles régulations, comme GDPR & CCPA, ont exigé la mise en place de processus de données similaires (comme le droit à l'oubli).

Les CDO compétitifs ont également commencé à orienter leur attention vers les aspects offensifs de leur stratégie de données. Ils ont réorganisé leur stack de données (alimentée par le cloud), et ont facilité l'expérimentation et la création de produits et services de données.

Le prochain grand défi pour les CDO concernera la gestion opérationnelle des produits et services numériques qui sont en production. Dans le cadre de leur modèle opérationnel cible, les CDO modernes élaborent des stratégies pour identifier les problèmes nécessitant une attention particulière dans 4 domaines : infrastructure, données, modèles et applications.

La surveillance de l'infrastructure est là pour garantir que les charges de travail des données s'exécutent rapidement, et disposent de capacités de basculement.

La surveillance des données est là pour s'assurer que toutes les données nécessaires sont présentes, à temps et prêtes à l'emploi.

La surveillance des modèles aide à comprendre quand les modèles se dégradent et doivent être réentraînés.

La surveillance des applications garantit que l'application qui sert le produit de données est réactive et fonctionne sans accrocs.

Au cœur de cette innovation se trouve l'équipe de la plateforme de données (ingénieurs en données) et l'organisation CDO (modèle opérationnel cible). Ils doivent travailler en équipe pour identifier, prioriser et résoudre les problèmes de données.

Les ingénieurs en données, par exemple, seront beaucoup plus impliqués dans la surveillance des données et des pipelines afin qu'ils, ainsi que les analystes et les experts métiers, puissent repérer les problèmes avant qu'ils ne causent des dommages. L'organisation CDO sera là pour aider à définir le modèle opérationnel cible, et décider quels problèmes de données sont les plus critiques à résoudre en premier.

Alors que les organisations automatisent avec les données, la surveillance et les opérations des données deviendront cruciales car les défauts dans les données créent des risques (réputationnels, opérationnels) ainsi que des coûts (nettoyage, correction et remplissage des données).

Chez Soda, nous sommes passionnés par les données en production. Nous aidons les ingénieurs en données et les CDO à surveiller les ensembles de données et à envoyer des alertes significatives aux équipes concernées afin qu'elles puissent prendre des mesures.

Contactez-nous si vous souhaitez en savoir plus !