Secure GPT : comment Veolia passe de l’IA générative à l’IA agentique

Évolutivité « by design »

Dès septembre 2023, avant la mise à disposition de l’assistant Veolia Secure GPT, l’architecture sous-jacente est prête non seulement pour la mise à l’échelle auprès de l’ensemble des collaborateurs. Elle est également pensée pour évoluer avec les briques technologiques.

Cela commence par la possibilité d’utiliser différents grands modèles de langage. « Il n’y a pas un seul modèle qui puisse répondre à tous les cas d’usage et à toutes les problématiques », insiste Fouad Maach. « Aujourd’hui, un LLM, c’est un outil, presque une commodité ». À tel point que le système en place donne accès à plus de douze LLM.

Aussi, les responsables du développement de Secure GPT assimilent très tôt le mécanisme RAG. Il s’avère essentiel pour apporter le contexte de l’entreprise aux LLMs. En septembre 2023, Veolia Secure GPT embarque trois services : la conversation, la traduction et l’interrogation de fichiers PDF.  

Lors du déploiement général en octobre 2023 (auprès de 213 000 collaborateurs), la DSI ouvre l’accès de la plateforme API qui propulse l’assistant aux équipes IT réparties dans 57 pays. « Nous voulions aller très vite sans répéter x fois la même chose », assure Fouad Maach. « Nous avons misé sur une approche composable qui permet aux équipes IT d’utiliser des fondations, de les intégrer à leur système d’information. Cela leur permet d’accélérer [le déploiement des projets] sans reconstruire un service mis en place par une autre équipe ».

En novembre 2023, des bases de connaissances, la génération d’images, et l’utilisation des modèles d’OpenAI (GPT-4), Gemini, Claude et Llama sont disponibles.

Entre mars et mai 2024, Claude 3 devient le LLM par défaut de Secure GPT. Ce qui ouvre l’accès aux capacités multimodales pour les métiers de Veolia. Les modèles Mistral AI sont intégrés, tandis que les services RAG sont étendus. Au cours de l’année, d’autres LLM multimodaux entrent au catalogue de Veolia : GPT-4 Turbo, Gemini Pro Vision 1.5, Mistral Large 2, Amazon Nova, Claude 3.7. Les flux speech to text et speech to speech sont également de la partie.

Une bonne partie des modèles qu’utilisent Veolia sont accessibles depuis Amazon Bedrock, mais d’autres le sont depuis Azure OpenAI et Google Cloud Vertex AI. L’architecture qui a évolué plusieurs fois est multicloud.

Mais comment expliquer l’existence de plus de 214 assistants IA et agents ?

 « Nous avons poussé une approche no-code auprès des métiers de Veolia », relate Fouad Maach. « Les équipes IT configurent des assistants, contribuent au code de la plateforme. De leur côté, les équipes métiers sont acculturées, sont formées, et sont autonomes pour créer directement leurs assistants. Elles les configurent, fournissent les instructions –, les prompts – nécessaires, lancent les tests, le versionnent, et quand il est prêt, le publier en un clic », ajoute-t-il.

Assistant de recherche sur les bassins fluviaux, analyseur d’images SIG, optimisation du débit des camions à l’usine, analyse du réseau de chaleur, benchmarks IT, évaluation de l’AI Act, etc. Les projets sont nombreux et touchent l’ensemble des activités de l’entreprise. À défaut de communiquer des gains chiffrés, l’entreprise assure qu’elle a accéléré la recherche d’informations et certaines prises de décisions.

Des assistants IA classés par niveau de complexité

Ces assistants peuvent être classés en trois niveaux de complexité. « Le niveau 1 correspond au LLM à qui l’on a confié un prompt personnalisé pour tenir un rôle et répondre à un cas d’usage. “C’est simple et cela rend déjà de nombreux services”, explique le responsable groupe de l’architecture et de l’ingénierie.

« Le niveau 2 catégorise les assistants qui s’appuient sur du RAG. Les documents sont chargés, stockés, chunkés, vectorisés pour être consommé par les assistants », poursuit-il. Et de préciser qu’un assistant peut s’appuyer sur une ou plusieurs bases de connaissances. Les vecteurs sont stockés dans des bases de données PostgreSQL, associées à l’extension pgvector.

Le niveau 3 rassemble les assistants à la fois capables de traiter des données structurées et non structurées. Les données structurées peuvent être interrogées en langage naturel ou directement, en rédigeant des requêtes SQL. Ces requêtes SQL converties ou natives « ciblent le data warehouse » et les applications accessibles par API.

Dans une application, les données peuvent être consommées en mode lecture (et ce depuis 2024), mais l’assistant peut également écrire des données afin de « modifier, interagir directement sur le système d’information depuis un assistant ».

Envoi d’un mail, insertion de données dans un lakehouse, soumission d’un ordre d’achat dans l’ERP… les assistants de niveau 3 deviennent l’interface avec les systèmes d’information de l’entreprise. Et les premiers agents IA de Veolia.

IA agentique : les premiers flux multiagents

« À partir de juin 2024, nous avons débuté les premières expérimentations de notre plateforme agentique », détaille Fouad Maach. Le lancement a finalement lieu en octobre de la même année.

Cette plateforme agentique, permettant de doter les LLM d’outils, mais aussi de faire communiquer les agents entre eux, s’appuie essentiellement sur les frameworks open source LangGraph et LangChain. Veolia a ainsi mis en place un « flux multiagent » où un LLM superviseur appelle les agents spécialisés, dotés d’un rôle, d’une base de connaissances, d’un outil ou les trois, ainsi que les API de l’entreprise. Dans ce flux, chaque agent « peut prendre une décision de routage ou la déléguer à l’agent superviseur ».

Les outils et certaines fonctionnalités sont encapsulés dans des conteneurs propulsés par Docker. À cela est associé une plateforme centralisée qui rassemble les API nécessaires à la connexion aux différents SI de l’entreprise.

La mise en place prochainement d’un serveur Model Context Protocol devrait simplifier l’accès aux outils par les LLM. « L’on pourra accéder à des centaines d’API et d’outils directement à travers ce serveur MCP », anticipe Fouad Maach.

PostgreSQL, pgvector, LangChain, Docker, MCP : une bonne partie des briques utilisées par Veolia pour constituer son back-end « maison » sont open source. Et assemblées en interne.

Veolia forme ses collaborateurs, pas les modèles

En revanche, la direction technique du groupe a décidé de ne pas réentraîner les LLM.

« Nous ne sommes pas les mieux placés pour entraîner des modèles », justifie le responsable. « Il y a de grands acteurs sur le marché qui donnent d’excellents résultats ».

Dans la majorité des cas d’usage, « un LLM de dernière génération, avec un RAG bien configuré, peut donner d’aussi bons résultats qu’un LLM fin-tuné, et sera plus facile à maintenir en production par la suite ».

Néanmoins, le groupe n’est pas arcbouté sur le cloud. Dans certaines usines de gestion de l’eau, de recyclage de déchets et de production d’énergie, Veolia déploiera avec Mistral AI des assistants de niveau 3 propulsé par des SLM déployés en local. Les nuages (surtout extraeuropéens) n’ont pas le droit de cité partout.

Au-delà des aspects techniques, la formation des employés est un point essentiel dans l’adoption et le déploiement à large échelle de la GenAI chez Veolia. « Entre septembre et novembre 2023, nous avons construit des contenus d’acculturation d'une durée de deux heures pour l’ensemble des employés de Veolia », relate Fouad Maach. « Nous nous sommes appuyés sur un comité de champion de l’IA ». Cela représente environ 400 champions dans les 57 pays où opère Veolia. Ceux-là ont mené la formation de plus de 13 000 collaborateurs.

Du côté des processus, le programme AI for Growth doit permettre aux équipes « data et digitales » de travailler avec les métiers pour revoir ou repenser leur processus. « Il ne s’agit pas uniquement d’automatiser les processus, mais aussi de les simplifier ou de les augmenter à l’aide de ce panel de technologies », conclut le responsable.

Propos recueillis lors de l’AWS Summit Paris 2025.