Cyberattaque par agent d’IA : OpenAI raconte ce qu’il s’est passé

HuggingFace a tout récemment déclaré avoir été victime d'une cyberattaque d'un genre nouveau, bien qu'attendu : elle a été conduite par un agent d'IA en toute autonomie.

OpenAI a levé le voile qui pesait sur ce mystérieux incident : c'était son oeuvre, ou plutôt celle de l'un de ses agents, animé par ses modèles.

Dans un billet de blog, l'entreprise explique que « après enquête, nous savons désormais que cet incident particulier a été provoqué par une combinaison de modèles OpenAI — notamment GPT-5.6 Sol et un modèle en préversion encore plus performant, tous dotés de capacités de cyber-refus réduites à des fins d'évaluation ».

Il s'agit donc de tout, sauf d'un incident pleinement impromptu et spontané : « cet incident s'est produit lors d'une évaluation interne visant à inciter les modèles à mener des attaques avancées via des chemins d'attaque complexes, dans le but de quantifier leurs capacités cybernétiques ».

Normalement, ces « tests de performance sont effectués dans un environnement hautement isolé, où l'accès au réseau se limite à la possibilité d'installer des paquets via un logiciel tiers hébergé en interne qui fait office de proxy et de cache pour les registres de paquets », explique OpenAI.

Comme attendu d'eux dans ce contexte, donc, « les modèles ont identifié et enchaîné des vulnérabilités au sein de l'environnement de recherche d'OpenAI et de l'infrastructure de production de Hugging Face afin d'obtenir des solutions de test directement à partir de la base de données de production de Hugging Face ».

Selon OpenAI, « les modèles se sont concentrés exclusivement sur la recherche d'une solution pour ExploitGym, allant jusqu'à l'extrême pour atteindre un objectif de test plutôt restreint ».

ExploitGym est un banc d'essai conçu pour évaluer la capacité des agents d'intelligence artificielle à transformer des failles logicielles en véritables attaques informatiques. Il regroupe près de 900 vulnérabilités réelles.

Bon élève, donc, l'agent en question a « après avoir obtenu un accès à Internet », « déduit que Hugging Face hébergeait potentiellement des modèles, des jeux de données et des solutions pour ExploitGym. Fort de cette information, le modèle a recherché et trouvé des moyens d’accéder à des informations confidentielles qu’il pouvait utiliser pour tricher lors de l’évaluation ».

Si OpenAI indique que son équipe de sécurité a « découvert cette activité anormale », dans le contexte considéré, elle apparaît au contraire relativement normale et à dessein. Elle n'en soulève toutefois pas moins la question des capacités d'isolement effectif des environnements de test. OpenAI ne dit d'ailleurs pas le contraire : « nous renforçons les mesures de confinement, de surveillance, de contrôle d'accès et d'évaluation mises en œuvre lors du développement des modèles ».

Et clairement, « cet incident montre que la sécurité et la sûreté des modèles doivent évoluer au même rythme que les capacités qui progressent rapidement ». Mais ça, cela ne devrait aujourd'hui plus surprendre qui que ce soit.