Quand les modèles d'Anthropic sont détournés à des fins malveillantes

Anthropic vient de rendre public son premier rapport sur les usages illégitimes de ses modèles génératifs. Sa lecture est impressionnante, ne serait-ce que par le niveau de détail fourni et les efforts de surveillance des usages nécessaires pour l'atteindre.

Ce rapport confirme que l'adoption de l'IA a profondément modifié l'équation des cyber-menaces. Les capacités des modèles génératifs ont effondré le fossé de compétences et d'outillage qui séparait historiquement les opérations étatiques des acteurs individuels. L'IA agit désormais comme un accélérateur, optimisant la reconnaissance, le développement d'outils et l'exploitation des vulnérabilités.

Les opérations cybernétiques observées par Anthropic montrent que l'IA est passée du rôle d'assistant à celui d'orchestrateur. Les acteurs utilisent des cadres multi-agents pour exécuter des tâches allant de la reconnaissance à l'exfiltration de données, souvent de manière autonome. Par exemple, un acteur d'espionnage russe a développé un workflow assisté par IA qui automatise la reconstruction et le redéploiement de son kit d'outils en cas de détection par les systèmes de sécurité.

Cette autonomie réduit drastiquement le coût opérationnel pour l'adversaire. Là où les défenseurs pouvaient autrefois ralentir un attaquant en déployant une nouvelle détection, certains adversaires peuvent désormais fermer l'étau plus rapidement sans laisser aux équipes de défense le temps de souffler. L'impact de l'IA se mesure en vitesse, en échelle et en profondeur, permettant à des campagnes multi-victimes d'être menées par des opérateurs individuels, un niveau de complexité qui nécessitait auparavant de nombreuses équipes spécialisées.

Le spectre d'application : de l'information à la R&D militaire

L'influence de l'IA s'étend bien au-delà des opérations informatiques. Elle est désormais un élément central dans les campagnes d'influence campagnes d'influence, la surveillance étatique et la recherche et développement technique.

Dans le domaine de l'information, l'IA permet aux acteurs de produire et de diffuser du contenu à une échelle massive, tout la personnalisant. Les campagnes d'influence, qu'elles soient commerciales ou étatiques, utilisent l'IA pour générer des articles, créer des personas et brouiller les traces conduisant à l'attribution. Un acteur a utilisé l'IA pour rédiger des articles de presse fabriqués dans une douzaine de langues, les adaptant à différents publics nationaux tout en les faisant passer pour des médias locaux indépendants.

Sur le plan de la surveillance, l'IA est profondément intégrée dans les appareils de sécurité étatiques. Des acteurs liés à l'État chinois utilisent l'IA pour produire des « notes de situation » quotidiennes, cataloguant les dissidents et les communautés ethniques, ou pour concevoir des manuels internes d'utilisation de l'IA au sein des bureaux de sécurité municipaux. De même, des acteurs iraniens utilisent l'IA pour construire des systèmes de surveillance et de profilage.

Enfin, dans le secteur technique, l'IA accélère la R&D. Des acteurs ont utilisé l'IA pour concevoir des spécifications de contrôle de tir pour des systèmes anti-torpille comme pour développer des suites logicielles complètes pour des essaims de drones kamikazes autonomes.