IA : surprise, encore des modèles qui font ce qu'on leur demande

Ça a un petit air de non-évènement : Anthropic vient de révéler que trois de ses modèles sont sortis d'un environnement de simulation, où leurs capacités de cybersécurité offensives étaient testées, pour s'en prendre à des systèmes tiers bien réels, exposés sur Internet.

Non pas qu'ils aient délibérément cherché à s'échapper : « la consigne d'évaluation d'Anthropic précisait à Claude que son environnement était une simulation et qu'il n'avait pas accès à Internet ». La conclusion logique était donc que tout ce qui était accessible au modèle faisait partie de la simulation.

Mais voilà, il y a eu « incompréhension » entre l'éditeur et son partenaire pour les évaluations : « l'accès à Internet était disponible ». Ce qui devait arriver arriva donc : « de ce fait, lorsque ses recherches l'ont conduit vers de véritables systèmes sur Internet, Claude les a considérés comme faisant partie de l'exercice ».

C'est tout de suite moins spectaculaire que l'attaque menée contre Hugging Face par un agent animé par les modèles d'OpenAI. Et cela d'autant plus que Claude « n'a ni identifié ni exploité de vulnérabilités complexes » et s'est en fait contenté « de techniques élémentaires, telles que l'exploitation de mots de passe faibles et de terminaux non authentifiés ».

C'est pourtant bien ce dernier incident qui est invoqué par Anthropic pour motiver ses révélations. Lesquels font ressortir des progrès dans ses modèles d'une génération à l'autre.

Car Opus 4.7 a continué ses activités offensives après avoir découvert qu'il était vraisemblablement sorti de l'environnement simulé. Même chose pour Mythos 5. Ce n'est qu'un modèle plus récent, en phase de text interne, qui a décidé d'arrêter les frais après avoir estimé être entré dans un système extérieur à l'environnement simulé.

Pour Anthropic, la première conclusion est qu'un environnement de test doit être traité aussi rigoureusement qu'un environnement de production. Faute de quoi, des débordements sont manifestement inévitable. Surtout, « la frontière entre une action cohérente et une action néfaste dépend de la compréhension qu'a le modèle de sa situation ».