momius - Fotolia

Projet IT

Data : comment la DGFiP tourne définitivement la page Hadoop grâce à l’open source

Depuis 2018, la DGFiP construit avec le TOSIT une alternative ouverte à Hadoop. Où en sont TDP et OKDP, les deux plateformes qu’elle a lancées ? Orange, qui les a rejointes, en tire déjà des bénéfices concrets côté FinOps.

Christophe Auffray
par
Publié le: 13 août 2026

En 2018, les distributions Hortonworks et Cloudera fusionnent. Dans l’administration française, cette consolidation a fait l’effet d’une « douche froide », selon les termes d’Olivier Mazain, responsable des infrastructures Big Data à la DGFiP. Plusieurs organisations, publiques et privées, décident de réagir.

La modernisation des infrastructures de données au sein des grandes organisations françaises s’articule en effet autour d’un impératif de souveraineté technique et de maîtrise des coûts opérationnels. Face à cette nouvelle dépendance issue de la fusion des deux plateformes, des organisations pilotent une transition de leur legacy Hadoop vers des solutions open source. Parmi elles, la DGFiP, qui prend les devants – bientôt rejointe par Orange et d’autres grands comptes.

Trunk Data Platform

Ce changement a reposé sur deux outils complémentaires : la Trunk Data Platform (TDP), une distribution Hadoop totalement ouverte, et l’Open Kubernetes Data Platform (OKDP), une architecture cloud-native conçue pour le découplage des ressources.

L’évolution des modèles de licences et la crainte d’un enfermement propriétaire ont imposé une réflexion sur la résilience et l’autonomie technique. Sous l’égide du TOSIT, un groupe de travail réunissant initialement la DGFiP et EDF a été constitué en 2020.

L’objectif était de garantir l’indépendance vis-à-vis des éditeurs tiers et de construire une alternative 100 % open source (Licence Apache V2) capable de remplacer les stacks HDP et CDP sans dépendance logicielle opaque, tout en répondant aux contraintes de scalabilité des SI publics et privés.

Après le lancement de la version 1 de TDP début 2021, la plateforme a intégré les environnements de production d’organisations d’envergure telles que l’OCDE, RTE, EDF et la DGFiP.

Depuis 2026, TDP est en version 2. La DGFiP prévoit de stabiliser ses environnements internes avant de déléguer la direction technique des versions futures, notamment la V3, à la communauté open source. Ce passage de relais doit lui permettre de se concentrer sur les architectures cloud native.

OKDP ou l’avènement du Cloud Native pour la Data

Cette bascule vers le cloud natif, la DGFiP l’engage également en janvier 2024, en lançant OKDP – bientôt rejointe par Orange et d’autres grands comptes.

Cette plateforme doit répondre aux limites structurelles de Hadoop face aux nouveaux impératifs économiques. Lionel Herbet, Technical Team Manager au sein d’Orange, souligne la pression exercée par les enjeux FinOps.

OKDP propose de rompre avec un modèle monolithique en exploitant Kubernetes pour découpler le stockage du calcul (compute). Les ressources de calcul sont mobilisées uniquement lors des traitements. Avec des clusters Hadoop traditionnels, Orange « était obligée de payer l’ensemble des machines » en permanence.

Globalement, l’enjeu d’OKDP est de proposer une solution souveraine, capable de reproduire la richesse fonctionnelle de l’écosystème Hadoop, tout en offrant la flexibilité des environnements cloud native. Orange et la DGFiP conservent ainsi un hébergement on-prem.

D’autres changements techniques et structurels à la DGFiP

À la DGFiP, l’adoption d’OKDP consacre aussi le passage du Data Lake centralisé vers des approches de type Data Mesh, Lakehouse ou Data Fabric.

Chaque brique logicielle est conçue pour être modulaire et remplaçable, évitant ainsi les adhérences fortes qui caractérisaient le modèle Hadoop, précise Mohamed Mehdi Ben Aissa, architecte Data & Cloud.

La stack s’articule autour de Trino pour les requêtes interactives, Spark sur Kubernetes pour le traitement massif, Jupyter pour le Machine Learning et Superset pour la datavisualisation. « L’idée est déjà de proposer une stack complète, qui s’intègre de bout en bout et aussi de pouvoir utiliser ces technos de façon unitaire », résume Mohamed Mehdi Ben Aissa.

La DGFiP et Orange appellent à une extension de la communauté, notamment pour répondre aux exigences du Cyber Resilience Act, un véritable défi réglementaire pour les grandes entreprises – dixit Lionel Herbet.

Pour approfondir sur Big Data et Data lake