Sécurité des LLM : Anthropic renforce son dispositif

Mythos 5.1, meilleur et aussi dangereux que son prédécesseur

En la matière, Mythos 5.1, lancé le 1^er septembre 2026, présente peu ou prou les mêmes niveaux de protection que ses aînés. Oui, ces capacités d’assistance à la création d’armes biologiques et à la conduite de cyberattaque sont meilleures que celles de Mythos, mais pas au point d’atteindre le niveau critique le plus élevé de la grille de lecture Responsible Scaling Policy d’Anthropic.

En clair, il n’a pas la capacité à créer de nouvelles armes biologiques, mais pourrait aider quelqu’un avec des connaissances techniques basiques à « synthétiser une arme connue ».

Le modèle refuse de but en blanc de générer un virus informatique, mais peut, bon gré mal gré, aider un cyberattaquant à préparer une campagne. En la matière, Opus 5 serait légèrement moins coopérant. Ces résultats seraient corroborés par ses partenaires de recherche.

Surtout, l’entreprise assure qu’elle n’a trouvé aucune trace de tentative d’attaque délibérée conduite par les LLM pendant ses évaluations internes. Néanmoins, un partenaire a observé Mythos 5.1 lisant des fichiers en dehors de la sandbox qui lui a été attitré lors d’un exercice. Anthropic classe cet événement comme un incident de faible gravité, puis que le modèle n’a pas tenté de s’infiltrer dans un système et n’a pas caché ses actions. Fable 5.1 et Fable 5 ont fait la même chose sur ce même exercice.

Il ne faudrait pas que des cyberattaquants exploitent cette tendance à la fugue.

Anthropic sort d’une « pause de plusieurs semaines » pour corriger les failles dans ses évaluations de sécurité

Anthropic a déjà prévu de renforcer ses évaluations de sécurité à l’aide du laboratoire indépendant METR (Model Evaluation and Threat Research).

Celui-ci est spécialisé dans l’évaluation des risques liés aux grands modèles de langage. Il avait repéré la capacité de GPT-5.6 à tricher et à mentir lors de ses évaluations. Une capacité déterminante pour masquer certaines de ses actions lors de la tentative de cyberattaque menée contre Hugging Face.

Après les incidents qu’elle a signalés le 30 juillet, Anthropic a mis en pause les exercices externes et internes afin de développer un classificateur pour identifier les tentatives de fuite des modèles, de bloquer les appels aux outils et d’alerter ses équipes. Un dispositif similaire a été mis en place au sein des environnements d’apprentissage par renforcement, eux aussi mis en pause pendant plusieurs semaines.

L’entreprise a réalisé une évaluation automatisée des transcripts des évaluations des LLM en cours d’entraînement. Elle affirme n’avoir trouvé aucun incident majeur, hormis leur tendance à vouloir « sortir » de leur sandbox. L’isolation de ces mêmes sandbox a été renforcée.

« Par défaut, toutes les évaluations de cybersécurité doivent s’exécuter au sein d’un sandbox durci (un environnement informatique isolé) sans accès à Internet. La seule connexion externe que cet environnement doit autoriser est celle vers l’API propre au modèle, et les clés API doivent être conservées en dehors de cet environnement. Cette configuration doit être vérifiée avant le début de chaque évaluation », précise Anthropic. « Certaines évaluations peuvent nécessiter un accès à Internet. Dans ces cas-là, nous ferons appel à des évaluateurs externes lors de l’évaluation des modèles en préversion afin de déterminer si nous sommes en mesure de détecter et d’interrompre de manière fiable les exécutions au cours desquelles un modèle effectue des actions en dehors de son champ d’application déclaré ».

Puisque la majorité des incidents ont été signalés dans les environnements des partenaires, Anthropic leur a demandé d’appliquer de nouvelles bonnes pratiques.

Watermark et mesures anti-distillation

Enfin, Anthropic prend deux autres mesures. Conformément aux dispositions de l’AI Act, le fournisseur applique un watermark invisible aux prompts générés par ses modèles. La règle devrait s’appliquer à l’ensemble des LLM disponibles d’ici à quelques mois. Les chercheurs ont appliqué la méthode décrite par Google DeepMind dans son projet SynthID-Text. Cette marque invisible a un impact négligeable sur la vitesse des modèles et ne permet pas de retrouver l’auteur d’un prompt, mais elle ne s’applique pas aux contenus corrigés par les modèles Claude ni au code généré. Seuls les commentaires du code entièrement généré ou largement modifié peuvent être sujets à ce marquage. Une API de détection est disponible en préversion privée pour les entreprises soumises à la législation européenne.

Concernant les images ou les fichiers générés, Anthropic applique le standard C2PA (Coalition for Content Provenance And Authenticity). Celui-ci est utilisé par les fabricants d’appareils de photo et de caméra pour certifier la provenance de fichiers multimédias. À l’inverse, France Télévisions l’a mis en place pour attester de la provenance des contenus produits par des journalistes. Ici, les métadonnées signées cryptographiquement indiquent uniquement la participation de Claude à la production de contenus. Là encore, le marquage n’est pas indélébile. Comme n’importe quel fichier multimédia, la signature numérique peut être supprimée après la modification ou la conversion du contenu dans un autre format.

La dernière mesure vise plus particulièrement les fournisseurs de LLM chinois. Anthropic les accuse d’utiliser les contenus générés par ces modèles de manière illégitime. Ceux-là créeraient massivement de « faux comptes » pour distiller les connaissances des LLM d’Anthropic à grande échelle.

La distillation consiste à utiliser les réponses d’un grand modèle d’IA (professeur) pour en entraîner de même nature, plus petit (enseignant). Ici, Anthropic reproche plus particulièrement à DeepSeek, Moonshot AI et MiniMax d’avoir transférer les connaissances de ses propres modèles propriétaires vers les leurs, open weight. Ceux-là auraient créé 24 000 comptes pour extraire 16 millions de conversations avec les LLM Claude. L’entreprise accuse également Alibaba (Qwen) d’avoir utilisé 28,8 millions d’échanges.

En conséquence, « les nouveaux comptes API pour Claude Fable 5.1 [créés avant le 31 août 2026, N.D.L.R.] ne pourront plus modifier le contexte entourant un bloc de réflexion, tel que les messages, les outils ou les invites système, au cours d’une conversation à plusieurs tours ».

Un mode « non strict » pourra être utilisé afin qu’une requête soit traitée, mais sans le bloc de raisonnement associé. Les utilisateurs légitimes – ceux qui compressent le contexte ou rafraîchissent régulièrement les instructions système – devront donc modifier leurs applications. Anthropic a produit un guide pour s’adapter à ce changement de comportement.