IA : les cyberattaques autonomes sont un tournant majeur pour la sécurité informatique

Les attaques autonomes des modèles d'OpenAI contre d'autres entreprises représentent, selon des employés de l'entreprise, un avertissement urgent pour l'industrie de l'IA concernant la nécessité de sauvegardes de développement de modèles plus solides.

« C'est un moment charnière tant pour notre entreprise que pour l'industrie de l'IA dans son ensemble », estime ainsi Michael Dalton, membre du personnel technique d'OpenAI, lors d'une présentation à la conférence sur la cybersécurité Black Hat 2026 qui se déroule actuellement à Las Vegas.

OpenAI a stupéfié le monde fin juillet en annonçant que deux de ses modèles avaient échappé à leurs environnements de test et utilisé des vulnérabilités inédites pour pirater les réseaux d'autres entreprises, dont la bibliothèque d'outils IA Hugging Face. Cette divulgation, suivie peu après d'une annonce similaire d'Anthropic, a ravivé les craintes concernant les dangers des modèles d'IA puissants et largement non réglementés.

Michael Dalton a ainsi déclaré que « de nombreuses équipes abandonnent tout » pour améliorer la capacité d'OpenAI à détecter et à prévenir de tels incidents à l'avenir. L'entreprise a ralenti ses recherches et a « considérablement intensifié la surveillance de nos agents IA ».

Bien que ces piratages autonomes aient été effectivement des erreurs innocentes, les employés d'OpenAI les ont décrits comme les présages d'un avenir sombre, où les entreprises seront confrontées à des attaques constantes et sophistiquées de la part d'acteurs malveillants utilisant des modèles open-source puissants que nul laboratoire de pointe ne peut contenir.

« Nous pensons que c'est un moment décisif pour la cybersécurité en tant qu'industrie », a déclaré Michael Dalton. Pour lui, « les attaques offensives orchestrées par l'IA et entièrement automatisées sont une réalité aujourd'hui ». Et l'incident de Hugging Face, a-t-il ajouté, représente « un aperçu du futur proche de ce à quoi ressembleront les attaques pour notre industrie ».

Michael Dalton a soutenu que les défenseurs doivent accélérer leurs travaux pour suivre le rythme de la sophistication accrue des attaques attendues. Cela pourrait impliquer l'expérimentation avec des modèles IA axés sur la défense, ainsi que le renforcement des mesures de sécurité de base qui sont désormais vitales.

« Ces agents sont finalement définis par les privilèges qu'ils peuvent obtenir et les systèmes avec lesquels ils peuvent communiquer », relève-t-il, signifiant que la segmentation réseau, l'accès au moindre privilège et les autres principes de zéro confiance « restent aussi vitaux ici qu'auparavant ». Sinon plus.

Mais Michael Dalton a également soutenu que le statu quo dans le développement des modèles de pointe était inacceptablement dangereux, suggérant qu'OpenAI pourrait repenser la manière dont elle équilibre les capacités et les garde-fous : « l'objectif à atteindre en tant qu'industrie est que les améliorations de l'intelligence des modèles soient plus additives pour la défense que pour l'attaque ». Las, « si nous ne pouvons pas atteindre cet état final, alors chaque augmentation de l'intelligence favorise l'attaquant, et c'est une position intenable ».

Un collectif spontané d'agents IA

Lors de leur intervention à Black Hat, Michael Dalton et son collègue Eric Wallace ont partagé de nouveaux détails sur les événements ayant conduit aux brèches chez Hugging Face et deux autres organisations.

Un aspect apparemment sans précédent du comportement des modèles IA en amont des piratages était leur création spontanée d'un tableau de bord à l'intérieur du progiciel Artifactory d'OpenAI. Ignorant les employés d'OpenAI, les modèles de l'entreprise ont passé des mois à échanger en toute autonomie des informations et des ressources pour s'aider à accomplir des tâches d'évaluation.

« Aide, pair », a raisonné un modèle, selon un extrait des journaux partagés à Black Hat. « Mais notre tâche n'en bénéficie pas. Pourtant, le collectif peut produire une approche générique si quelqu'un trouve du temps ».

Bien que les modèles eux-mêmes n'aient pas pu accéder à Internet depuis leur environnement de test, ils ont abusé de l'accès Internet d'Artifactory pour récupérer des fichiers sur divers sites web. Après que certains de leurs changements de configuration dans Artifactory aient entraîné une panne du service le 4 juillet, OpenAI a découvert les actions des modèles, a effacé son système Artifactory et l'a reconstruit. Mais en quelques jours, les modèles avaient recréé leur tableau de bord et avaient repris l'échange d'informations.

OpenAI estime que les pirates vont bientôt tirer parti de ce genre de collaboration autonome. « Dans un avenir proche », estime Michael Dalton, « nous devons nous attendre au fait que les acteurs malveillants déploient, optimisent, militarisent et utilisent intentionnellement des collectifs d'agents offensifs de la manière que nous venons de décrire ».