LeMagIT.fr

https://www.lemagit.fr/tribune/Les-grands-defis-du-Data-Mesh

Les grands défis du Data Mesh

par Stephen Catanzano

Utilisé à toutes les sauces, souvent nébuleux, un Data Mesh n’est pas un objet technique à proprement parler. Il correspond à une nouvelle approche pour bâtir une architecture de données décentralisée dans une grande organisation.

Le concept repose sur l’idée que les entreprises devraient traiter les données comme un produit, chaque produit ayant sa propre équipe chargée de son développement, de sa maintenance et de son partage.

Qu’est-ce qu’un Data Mesh ?

Zhamak Dehghani, CEO et cofondatrice de Nextdata, influenceuse dans le domaine de l’analytique, a inventé ce concept en 2018. Elle a ensuite écrit un livre publié aux éditions O’Reilly en 2021. Selon les écrits de Dehghani, le Data Mesh est une réponse « sociotechnique » aux défis qui se posent dans les architectures de données centralisées traditionnelles où une équipe est censée gérer toutes les activités liées à la gestion de données.

Plus précisément, Zhamak Dehghani fait le constat qu’une dichotomie existe entre le fait que les départements créent les données, mais qu’une équipe centrale en gère les traitements. Dans les faits, il n’est pas rare que les entités gèrent elles-mêmes leurs données, mais ne les partagent pas ou peu aux autres entités d’un groupe.

C’est là que le précepte de Data Mesh devient intéressant. Il épouse le fonctionnement organique des départements et l’incorpore dans un modèle organisationnel fédéré, mais aussi plus aligné.

Selon les édits du Data Mesh, chaque équipe est responsable de ses produits de données. Cela signifie que l’équipe produit est responsable de la qualité, de la sécurité et de la conformité des données, ainsi que de leur intégration et de leur partage avec d’autres équipes.

L’approche du maillage des données met également l’accent sur l’utilisation de principes de conception pilotée par le domaine. Les données dépendent de domaines d’activité ou d’expertise spécifiques plutôt que de considérations techniques. Cette approche doit permettre de s’assurer que les données surfacées dans les produits sont pertinentes et critiques au regard des critères de l’organisation.

De grands avantages sur le papier

En principe, cela offre plusieurs avantages aux organisations qui adoptent le concept de Data Mesh :

• Évolutivité. Le Data Mesh permet aux organisations de faire évoluer leur architecture de données plus facilement en répartissant la responsabilité des données entre plusieurs équipes. Cela permet d’éviter les goulets d’étranglement et les retards qui peuvent se produire lorsqu’une équipe centrale gère toutes les activités liées aux données.
• Flexibilité. Dans ce modèle, chaque équipe produit peut choisir les meilleurs outils et technologies pour son cas d’usage spécifique. Cela permet de s’assurer que les données sont plus pertinentes pour l’entreprise.
• Collaboration. Le Data Mesh favorise la collaboration entre les équipes, car chaque équipe est responsable de ses propres données et doit travailler ensemble pour les intégrer et les partager avec d’autres équipes. Cela peut contribuer à briser les silos au sein d’une organisation et à promouvoir une culture plus collaborative et interfonctionnelle.
• Réactivité. Le maillage des données permet aux équipes d’être plus réactives face à l’évolution des besoins et des exigences de l’entreprise. Chaque équipe peut adapter son architecture de données afin de répondre à des besoins spécifiques et rapidement itérer et expérimenter pour trouver de nouvelles et meilleures façons d’utiliser les données et soutenir l’entreprise.
• Qualité des données. Avec un Data Mesh, chaque équipe est responsable de la qualité de ses propres données, ce qui peut contribuer à garantir leur précision, leur fiabilité et leur cohérence au service de l’ensemble de l’organisation.

En résumé, en rapprochant le fonctionnement de l’organisation et de son écosystème de données, la mise en place d’une approche Data Mesh doit aider des organisations à créer une architecture de données plus flexible, plus évolutive, plus souple et plus collaborative.

Les risques du Data Mesh

Derrière ces très belles promesses se cachent des défis de taille au moment de sa mise en œuvre.

Là encore, la liste est longue :

• Complexité. Un Data Mesh peut être une architecture complexe à mettre en œuvre, en particulier dans les grandes organisations qui comptent de nombreuses équipes et sources de données. Il nécessite une planification, une coordination et une communication importantes pour s’assurer que les données sont distribuées et intégrées de manière efficace dans l’ensemble de l’organisation.
• Propriété et gouvernance. Avec le maillage des données, chaque équipe est responsable de ses propres données, ce qui peut compliquer la gouvernance et la sécurisation des données. Il est essentiel d’établir des structures claires pour gérer efficacement les données et répondre aux exigences de conformité.
• Compétences et expertise. La mise en œuvre d’un maillage de données nécessite une grande expertise technique et des compétences spécialisées dans l’ingénierie des données, la gouvernance des données et la conception pilotée par le domaine. Les organisations devront peut-être investir dans la formation et le développement pour acquérir les compétences et les capacités nécessaires.
• Changement culturel. Le maillage des données nécessite un changement de culture vers une approche plus collaborative et interfonctionnelle de la gestion des données. Cela peut s’avérer difficile dans les organisations ayant une approche plus traditionnelle et cloisonnée de la gestion des données.
• Outils et infrastructure. La mise en œuvre d’un maillage de données nécessite les outils et l’infrastructure appropriés pour soutenir la gestion et l’intégration des données distribuées. Les organisations peuvent avoir besoin d’investir dans de nouvelles solutions technologiques et infrastructures ou l’optimisation des systèmes existants pour soutenir cette approche.

La mise en œuvre du concept Data Mesh est une entreprise importante qui nécessite une planification, une communication et une collaboration minutieuses. Les organisations doivent prendre en compte les défis et les compromis de cette approche et s’assurer qu’elles disposent des compétences, des ressources et de l’infrastructure nécessaires pour la soutenir.

 Comme l’écrit Zhamak Dehghani : « une transformation organisationnelle est difficile, coûteuse et prend du temps. L’approche Data Mesh ne fait pas exception à la règle ».

C’est un cheminement où la structure organisationnelle et la manière de gérer les données sont plus importantes que les sous-jacents techniques. Ils ne sont que des aides. Pour l’instant, l’approche technique totalement décentralisée vantée par l’autrice ne semble pas réaliste pour un grand groupe bien établi, à moins qu’il soit composé de nombreuses filiales ou d’entités indépendantes.

Il existe toutefois une longue liste de fournisseurs de technologie et de cabinets disposant des produits et des services nécessaires pour aider toute organisation à entamer le déploiement d’une stratégie Data Mesh.