Jon Le-Bon - Fotolia

Déployer un système multiagent ? Anthropic partage son expérience interne

Dans une note analysée par Constellation Research, Anthropic (l’éditeur de Claude) détaille les difficultés qu’il a rencontrées dans la mise en place de systèmes multiagents IA. Un retour d’expérience très intéressant pour les DSI qui devront de plus en plus s’engager dans ce type de projet.

L’IA agentique – plus exactement des systèmes qui combinent plusieurs agents motorisés par des IA –, ce ne n’est pas magique, prévient Anthropic. Dans une publication technique commentée par Larry Dignan (Constellation Research), l’éditeur de Claude revient en détail sur les choix d’architecture, les contraintes économiques et les défis qu’il a rencontrés pour développer ses propres systèmes multiagents. La démarche de transparence est saluée par l’analyste qui y voit une opportunité pour les DSI d’en tirer plusieurs leçons concrètes sur leurs propres projets.

Une équipe d’agents qui coûte cher

L’un des principaux enseignements porte sur le coût des interactions.

Selon les tests réalisés par Anthropic, les agents mobilisent en moyenne quatre fois plus de tokens qu’une simple session de chat classique avec un LLM.

Les systèmes multiagents – ces architectures où un agent principal (un coordinateur) délègue des tâches à des sous-agents – en consommeraient jusqu’à quinze fois plus !

« Pour être économiquement viables, ces systèmes doivent donc être réservés à des tâches où la valeur créée justifie cette dépense », souligne Anthropic. À défaut, la facture pourrait exploser sans ROI réel.

Des agents autonomes, mais qu’il faut aider à « manager »

Autre point critique : la coordination. L’éditeur a constaté que les agents ont souvent du mal à évaluer correctement le bon outil à allouer à un sous-agent pour réaliser une tâche.

Il est donc essentiel, insiste Anthropic, d’écrire des instructions très précises, d’encadrer les prompts avec des règles de répartition des ressources, et de renseigner dans le détail les outils disponibles (avec des serveurs MCP). Le tout pour apprendre à l’orchestrateur comment il doit déléguer et dispatcher les tâches.

 « Sans [cette] description claire, un agent risque par exemple de chercher sur le web une information qui ne se trouve que dans Slack », illustre-t-il.

« Une simple recherche factuelle nécessite un seul agent avec 3 à 10 appels d’outils, les comparaisons directes 2 à 4 sous-agents avec 10 à 15 appels chacun, et les recherches complexes peuvent nécessiter plus de 10 sous-agents avec des responsabilités clairement réparties », chiffre Anthropic.

Bien encadrer le « lead agent » permet de mieux gérer cette complexité et, par ailleurs, d’éviter d’utiliser des méthodes de recherches complexes pour les demandes simples (une tendance qu’auraient les agents).

Logiquement, Anthropic recommande aussi d’investir dans des outils d’observabilité. « De légers changements dans le système peuvent entraîner des variations majeures dans le comportement des agents », souligne le rapport.

Débugger ces systèmes est complexe et doit se faire à chaud, en surveillant la logique de décision des agents.

Des mises à jour progressives

Enfin, l’éditeur attire l’attention sur les difficultés liées au déploiement. Il explique ne jamais mettre à jour tous ses agents en même temps, de peur qu’une mise à jour défaillante n’affecte l’ensemble du système.

La question se pose d’ailleurs de savoir combien de pannes, demain, seront provoquées par des agents IA mal mis à jour.

« Votre fournisseur vous dira probablement qu’il suffit de cliquer sur un bouton pour activer l’IA agentique, mais l’article d’Anthropic vous donne quelques questions à poser sur l’architecture qui se cache derrière ce marketing », conclut Larry Dignan qui met en avant plusieurs autres conseils comme de bien analyser les workflows que l’on souhaite automatiser et de « penser comme votre agent ».

Un conseil bienvenu et un peu contre-intuitif, dans la mesure où des éditeurs ont plutôt tendance à présenter les agents comme des outils capables d’agir – et de réfléchir – de la même manière que les humains…

Pour approfondir sur Data Sciences, Machine Learning, Deep Learning, LLM