InfiniteFlow - stock.adobe.com

Comment l’Insee est passé au MLOps

L’Institut national de la statistique a une longue expérience de l’IA, depuis les systèmes experts des années 80 au Machine Learning au début des années 2020. Il lui fallait néanmoins rapprocher les Data Scientists et les développeurs aux cultures bien différentes. C’est le rôle du MLOps.

En charge de nombreux référentiels de l’économie française, dont le code NAF, la nomenclature d'activité française, l’Insee a mis en œuvre le codage automatique dès 1981 afin de classer correctement les entreprises françaises. Néanmoins, la loi PACTE de 2019 et la mise en place du guichet unique des entreprises géré par l’INPI va changer la donne : chaque entrepreneur peut désormais saisir lui-même l’activité de son entreprise dans un champ texte libre.

« Vers fin 2022, le taux de codification automatique a chuté à 30 %, ce qui veut dire qu'il y avait 70 % à reprendre à la main, soit plusieurs millions de déclarations », raconte Nathan Randriamanana, Data Scientist à l’Insee au sein de la division Répertoire interadminsitratif Sirene. Face à cela, « nous avons dû mettre en production en urgence un premier modèle de Machine Learning, et il nous a sauvé la mise, pas juste sur la qualité, mais surtout sur le taux d'automatisation de ce processus. Nous utilisons encore ce modèle aujourd'hui ».

De fait, l’Insee s’est rapidement heurté à la problématique de la gestion du cycle de vie de ses modèles d’IA, notamment lorsque de nouvelles activités apparaissent et que celles-ci ne sont pas reconnues par le modèle, ce qui implique un réapprentissage.

Casser les silos entre Data Scientists et développeurs

L’idée d’industrialiser ce processus s’est donc imposée, d’autant qu’il devenait indispensable de rapprocher les Data Scientists et les développeurs : « en 2023, nous avons mis en place le DevOps. Cela nous a permis de casser les silos entre les équipes de production et les équipes de développement et aujourd'hui, avec le MLOps, on aimerait casser ce deuxième silo », résume Hugo Simon, architecte à la DSI de l’Insee.

« Nous nous sommes rendu compte qu’on ne parlait pas du tout la même langue. Toute la partie développement de modèles est faite en Python, or la DSI ne développe pratiquement que des applications Java. Quand on a voulu mettre les modèles en production, nos équipes de développeurs ont dit "oui, on veut bien le faire, mais on fait ça dans une appli Java", ce qui a posé des problèmes de compatibilité et aussi de compréhension du code ». Les développeurs et les Data Scientists ne travaillent ni avec les mêmes outils, ni avec les mêmes contraintes.

Pour réconcilier deux modes de travail radicalement différents, l’Insee a misé à la fois sur l’humain, avec des formations tant côté développeurs que côté Data Scientist, mais aussi la volonté de faire émerger des profils hybrides.

Un atout pour l’institut est que tous ses agents ont fait les mêmes écoles et ont suivi un cursus commun en informatique et en statistique, avec un peu de Machine Learning. Or pour aller vers des pratiques MLOps, il est important de faire émerger des profils hybrides. Mais malgré des mobilités fréquences entre métier et DSI, il reste difficile d’avoir ce genre de profil hybride : « malgré ces points positifs, la création de ces profils est encore assez complexe », explique Hugo Simon : « c'est la raison pour laquelle nous mettons de plus en plus en place des formations pour combler les fossés et créer des profils qui pourraient nous faire des ponts entre le monde de la data science et le monde du développement ».

Outre des formations courtes au Machine Learning pour les développeurs, une formation d'une journée aux outils MLOps, sur MLflow à été mise en place afin d’expliquer comment le Data Scientist met en production un modèle et comment développer une API de machine Learning.

Une plateforme pour fluidifier l’interface utilisateur

Outre cet indispensable volet humain, l’Insee s’est attaqué au volet purement technique du MLOps. Les conteneurs et le socle Kubernetes sont venu simplifier la cohabitation des technologies Python et Node en production, mais aussi promouvoir Python auprès des développeurs Java.

Enfin, un élément clé de la plateforme MLOps porte sur l'industrialisation de la chaîne de production des modèles via l’outil MLflow : « MLflow est extrêmement pratique pour centraliser et suivre les différentes métriques. C'est un peu mon playground avec lequel je peux comparer les différents modèles », explique Nathan Randriamanana : « ce qui est intéressant, c'est que je peux versionner tout dans un artefact qui caractérise mon modèle et pas juste les poids. Je versionne les modèles, les datasets et je sais exactement ce qui a été mis en production ».

Pour accélérer la mise en production des modèles et fluidifier l'expérience utilisateur, les Data Scientists travaillent sur des clusters Kubernetes centralisés portés par Onyxia, un produit open source développé en interne. L’institut fonctionne avec plusieurs clusters Kubernetes. Onyxia est installé sur le cluster dédié à la data science. Les autres clusters accueillent les applications métiers.

« Au départ, ces deux clusters étaient complètement silotés : pour mettre en production un modèle, il fallait récupérer le modèle, le télécharger sur le poste en local puis le réuploader sur les environnements de production. Ce n'est pas idéal et cela pose des problèmes de sécurité et de fiabilité. Nous avons aujourd’hui automatisé ce process avec Argo Workflow, un outil de la suite Argo, » explique Nathan Randriamanana.

Ainsi, le Data Scientist qui a fini son travail sur MLflow, indique que le modèle est prêt à partir en production. Cela déclenche un workflow qui transfère le modèle en toute sécurité jusqu'aux clusters de production. Un contrôle de sécurité est réalisé via le scanner ModelScan afin de vérifier qu'il est exempt de tout code malveillant. 

Tous les modèles d’IA fonctionnant sur un mode identique, l’Insee a cherché à promouvoir une approche plateforme en créant un pattern d'architecture, un chart Helm de déploiement générique Machine Learning : « toutes les personnes à l'INSEE qui veulent déployer disposent de ce chart. Ils ont juste besoin de changer le chemin vers leur modèle et il les déploie automatiquement. Nous avons aussi automatisé la construction de l'API pour créer une API FastAPI qui intègre des contrats d'interface fiables et sur lesquels toutes les dépendances sont bien gérées ». Une équipe plateforme a été créée à cette occasion pour maintenir ces éléments.

En parallèle, une plateforme de qualification des performances des modèles de Machine Learning a été mise en ligne pour donner aux Data Scientists une vision sur les performances techniques des modèles sur l'infrastructure de l'institut : « les Data Scientist testent eux-mêmes directement les architectures pour ensuite pousser l'expérimentation et voir si on peut en tirer une valorisation », ajoute Hugo Simon.

Le monitoring de modèles pour boucler la boucle

Restait à l’Insee à boucler la boucle de rétroaction avec une partie monitoring. Les DevOps doivent assurer un suivi des performances des applications en production, mais les Data Scientists veulent aussi disposer de métriques sur leurs modèles : « nous avons besoin de monitorer les performances via des indicateurs, des métriques pour surveiller le data drift, mais aussi visualiser des impacts fonctionnels, comme par exemple la charge que ça peut représenter en reprise manuelle », résume Nathan Randriamanana. Et Hugo Simon d'ajouter : « quand on surveille des applications classiques, on va surveiller des métriques comme le nombre de requêtes par seconde, la latence pour accéder à une page. On doit aussi le faire sur les API de Machine Learning, mais il faut aussi mettre en place une observabilité fonctionnelle qui concerne les performances du modèle ».

Outre l’évaluation technique du modèle, un autre élément doit être intégré à ce monitoring : l’élément humain. Les humains peuvent évaluer la qualité d’un modèle, détecter les changements de règles métiers et arbitrer entre la charge manuelle et la qualité du modèle : « nous avons la chance à l’Insee d’avoir un réseau complet d'experts métiers qui rencontrent des cas réels tous les jours et débattent sur la meilleure manière de coder l'API, par exemple », explique Hugo Simon. « Grâce à ce réseau, nous disposons d'éléments pour résoudre une partie du problème ; en fait ce sont les experts qui remontent directement les alertes », précise-t-il.

De même, ces experts peuvent être sollicités pour annoter des données d’entraînement. L’institut met en œuvre l’outil LabelStudio pour gérer toutes les problématiques liées à la labellisation. Les données sont centralisées dans du stockage objet S3 et peuvent être injectées dans le pipeline de Machine Learning. L’objectif pour l’Insee est de créer un étalon, un Gold standard, un ensemble de données annotées avec confiance et qui sont plus proches de la vérité : « cet étalon nous permet aujourd’hui de créer nos indicateurs métiers, notamment afin de détecter toute dérive dans le temps d’un modèle, de calculer la précision et estimer si celle-ci va chuter ou pas ».

Si MLOps est, au premier abord, un problème organisationnel qui peut être fluidifié en partie par des outils techniques comme Onyxia qui vont intervenir au niveau de l'expérience d'utilisateur, l’expérience de l’institut montre que la standardisation et une approche plateforme permettent de réduire les coûts et d’améliorer la surveillance des modèles, un point essentiel quand l’IA est déployée en production.

Propos recueillis lors des Cloud Native Days 2026.

Pour approfondir sur IA Responsable, IA durable, explicabilité, cadre réglementaire