OpenAI, Google, Anthropic, Microsoft et Amazon alliés dans la sécurisation des I

Baptisée CoSAI, pour Coalition for Secure AI, l’association créée en 2024 regroupe quelques grands noms de l’intelligence artificielle, dont Amazon, Google, Anthropic, Microsoft et OpenAI, et des acteurs de la cybersécurité afin de réfléchir à la manière de sécuriser les agents IA.

Ses membres travaillent en particulier sur l’agentique dont le protocole de base, MCP, reste pour l’heure peu sécurisé. Côté acteurs de la sécurité, Sailpoint, Trend Micro, HackerOne, Wiz, Zenity figurent parmi les participants.

Une session de l’InCyber forum était consacrée à la position des membres de la CoSAI sur la sécurité des agents intelligents. D’emblée, Carlos de Segovia, Research Partnerships EMEA chez Google a souligné l’évolution rapide de la surface d’attaque de l’IA : « on ne parle déjà plus d'injection de prompt, mais de système autonome capable de raisonner et d'exécuter des tâches ». Le représentant de Google a cité les nouvelles menaces liées aux protocoles agentiques, à la problématique des identités des IA, avec des IA capables d’agir en se faisant passer pour des humains. Enfin, il évoque l’importance de la collaboration entre la recherche académique et l’industrie.

Hector de Rivoire, Director of Responsible AI Policy chez Microsoft a expliqué que les agents, du fait de leur autonomie de fonctionnement, présentent de nouveaux risques, ce qui impose d’aller au-delà des partenariats déjà noués dans la cybersécurité : « nous avons déjà 5 000 agents déployés en interne. Cela implique de travailler sur la question de la gestion des identités, des permissions, de l’authentification, des accès, ainsi que la question de l’IA responsable et des interventions humaines qui restent nécessaires ». Et de prendre exemple des dérapages observés sur OpenClaw pour pointer le besoin de mener des recherches pour sécuriser les environnements agentiques au plus vite.

Elie Bursztein, AI Cybersecurity Research & Technical Lead chez Google et DeepMind, souligne que MCP, le protocole qui permet aux agents de communiquer, a été créé pour répondre à un besoin immédiat et n’a pas été étudié pour être sécurisé : « MCP n’est pas parfait, mais c’est ce dont nous disposons actuellement de mieux. Ce protocole est simple, mais il faut mettre en place de l’observabilité, une conformité de façon à savoir quelle IA a été utilisée par quel outil. Sur le court terme, ça peut être très compliqué, mais cela peut tourner au désastre si on ne sait pas ce que vous les outils et les IA. Il faut voir les serveurs MCP comme la porte d’entrée qui dit être le centre d’attention pour avoir une idée de qui fait quoi ».

Sonia Vanier, professeur à l’Ecole Polytechnique et directrice du groupe de recherche Oraillix (Operational Research and AI Lab du LIX) explique que les échanges entre agents IA restent un domaine peu exploré du point de vue académique alors qu’il est d’une importance critique : « on est déjà attentif à la sécurité des modèles contre les attaques malveillantes, mais dans les architectures multi-agents et la coordination entre de multiples agents, la sécurité reste sous-explorée ».

La chercheuse évoque 3 grands défis à relever : « d’une part, il faudra faire face à de nouvelles vulnérabilités, mais aussi faire face au manque de coordination et de standards dans ce domaine, ce pourquoi une association comme CoSAI a un rôle important à jouer. Le troisième défi est posé par les vulnérabilités émergentes. La prolifération de l’IA agentique dans les organisations fait que les interactions entre les agents sont maintenant ciblées par les attaquants. Ceux-ci peuvent exploiter des vulnérabilités dans les protocoles d’identifications d’agents, dans les flux de données ou la synchronisation des prises de décision ».

Sonia Vanier souligne que ces vulnérabilités pourront être exploitées par des acteurs malveillants afin d'organiser des attaques à grande échelle pour maximiser les dégâts pour les organisations et l'industrie dans son intégralité. Non seulement les protocoles de communication et de coordination des systèmes multi-agentiques devront être durcis, mais il faudra faire émerger des standards de sécurité dans ce domaine à l’image du Zero Trust : « il manque un système de normes qui nous permettrait de valider, de sécuriser ces interactions et ces mécanismes de communication », ajoute la chercheuse.

Intervenant dans des domaines extrêmement diversifiés, l’agentique introduit des risques transverses dans les systèmes critiques, la santé, la finance : « il faut pouvoir retracer des décisions prises par des agents pour être sûrs qu'ils ne soient pas contrôlés par des forces ou des acteurs externes. Ce sont des domaines de recherche multidisciplinaire, ce qui demande une collaboration, de l'interdisciplinarité entre les chercheurs, les experts sur la sécurité, les grandes entreprises tech ».

Hector de Rivoire ajoute que s’il est facile d’imaginer des contrôles de sécurité entre deux agents, le défi est tout autre lorsqu’il s’agit d’une flotte de 2 000 agents qui interagissent de façon autonome. Des attaques peuvent être menées sur l'intégrité du contenu, avec des systèmes IA qui absorbent du contenu qui n'est pas de confiance, avec des instructions cachées, des prompts cachés. Il évoque le risque d’empoisonnement des données et de la chaîne d’approvisionnement des données : « si vous avez des données corrompues pendant la phase d'entraînement, vous pouvez vous trouver avec une application IA qui se comporte d'une façon inattendue. Cela pose clairement des risques ».

Le représentant de Microsoft estime que la gestion des autorisations est l’autre point clé sur lequel les architectures agentiques doivent être mieux protégées : « les agents peuvent accéder à de multiples API dans le système d’information, ce qui pose la question de l’authentification, des permissions et de la gestion des identités de ces agents ». Pour lui, il faut raisonner sur l’ensemble du cycle de vie de l’agent et non plus seulement le tester avant de le déployer : « désormais, il faut tester l’agent avant le déploiement, puis assurer un suivi post-mise en place pour surveiller le comportement de l'agent, ses interactions avec d'autres domaines et avec d'autres agents. Il faut mettre en place des mesures de remédiation lorsque des problèmes surviennent. Il faut prendre en considération les différentes étapes dans la chaîne de cycle de vie et créer une taxonomie des dommages de l’IA ».

Pour Elie Bursztein, ce qui fait que l’IA est une technologie de rupture, c’est qu’un agent IA n'est ni un utilisateur, ni une charge de travail classique car on ne connaît jamais l’état dans lequel se trouve l'agent à un moment donné : « on n'a jamais connu jusqu’à aujourd’hui une charge de travail qui se transforme et qui va de tâche en tâche si rapidement. Donc quand on parle de sécurité et de risque d'attaque et de contrôle, il ne faut pas imaginer un agent IA en tant qu'une chose statique et fixe. C'est un nouveau principe, c'est quelque chose de transformatif et de transformationnel ».

Le chercheur considère que la difficulté majeure est de définir quelle est l'intention de l'agent, savoir qui lui a demandé de mener cette action et vérifier que l’agent a effectivement fait ce qui lui était demandé : « il faut avoir une transparence sur la chaîne de décision. Et pour l'instant, les agents sont capables de composer leur propre code, et vous pouvez croire qu'il fait une chose, et en fait, il fait une autre. Pour moi, c'est la plus grande source de complexité ». Il considère alors que si l'on peut toujours faire du reporting sur l’activité des agents, qu’une équipe forensique peut investiguer sur les flux de travail qui tournent mal, les anciennes règles de conformité ne sont plus applicables parce que le code n'est plus le même.

Hector de Rivoire souligne que la réglementation relative à l’IA reste encore très fragmentée. S’il n’existe pas de législation fédérale sur l'IA aux Etats-Unis, il y a 300 actes au niveau des Etats, dont 82 d’entre eux traitent des chatbots. Il considère que la plupart de ces règlements ne sont pas utiles. Il estime que l’AI Act européen est applicable aux agents sur les cas d'usage à haut risque, mais il privilégie l’approche de Singapour qui a créé un institut pour la protection des données et de l'IA qui définit des lignes directrices pour la sécurité IA et publie un catalogue de bonnes pratiques à mettre en place.

Sonia Vanier argumente sur le besoin de mettre en place des garde-fous et le besoin de transparence dès la conception de ces modèles et dans toutes leurs interactions : « il y a un vrai besoin de l'industrie à travailler main dans la main avec des chercheurs, des académiques, pour ouvrir de nouveaux domaines de recherche qui sont pertinents pour leur cas d'usage ». La chercheuse souligne le travail des universités et des labos de recherche avec des entreprises dans le secteur privé sur la manière de sécuriser l'IA dans de nombreux domaines, les finances, les banques, les transports, les télécoms, l'énergie : « l'école Polytechnique entretient des collaborations avec le Crédit Agricole et SNCF sur ce sujet de la sécurisation des communications multiagentique et comment optimiser l'utilisation de l'IA dans l’automatisation des chaînes d'approvisionnement de la SNCF ».

Enfin, Elie Bursztein pointe le besoin d’implémenter une notion de mandat pour formaliser l'intention de l’utilisateur, des clés cryptographiques vérifiables qui vont définir quel est l’utilisateur, ce qu’il souhaite obtenir et les paramètres de la transaction. Seule une telle notion de mandat permettra d’avoir la certitude que l'opérateur est dûment mandaté pour lancer ce traitement. Et de déplorer l’absence actuelle de standardisation et de recherches pour implémenter ce concept.

Propos recueillis lors de l’InCyber Forum 2026