Getty Images Plus

Actualites

OpenAI détaille comment les acteurs malveillants abusent de ChatGPT

Alors que les acteurs malveillants utilisent des outils d'IA générative comme ChatGPT pour mener des opérations d'influence électorale et développer des malwares, OpenAI affirme que ces efforts échouent le plus souvent.

Alexander Culafi
par
Publié le: 16 oct. 2024

Selon un rapport édité par OpenAI, des acteurs étatiques exploitent ChatGPT pour des activités malveillantes de type débogage de logiciels malveillants. Intitulé « Influence and Cyber Operations : An Update », ce rapport analyse comment des acteurs malveillants ont utilisé les modèles d’OpenAI pour mener leurs activités et indique, dans certains cas, la manière dont l’éditeur de ChatGPT s’est organisé afin de perturber ces activités. Le rapport affirme notamment qu’OpenAI a perturbé « plus de 20 opérations et réseaux frauduleux à travers le monde » qui ont tenté d’utiliser ses modèles depuis le début de 2024.

Les cas d’utilisation les plus fréquents répertoriés par les acteurs malveillants comprennent des activités classiques, comme la génération de courriels d’hameçonnage ciblés, mais aussi des approches plus innovantes. Par exemple, l’acteur malveillant iranien connu sous le nom de Storm-0817 a utilisé les modèles d’OpenAI pour aider à développer et à déboguer des logiciels malveillants rudimentaires visant Android, et pour créer l’infrastructure de commande et de contrôle correspondante. Storm-0817 a également utilisé OpenAI pour créer un aspirateur de données Instagram et traduire des profils LinkedIn en persan.

OpenAI signale également dans son rapport des abus provenant d’un acteur malveillant suspecté d’être basé en Chine, appelé « SweetSpecter », qui a mené des attaques de phishing infructueuses contre l’entreprise elle-même. SweetSpecter a tenté d’utiliser ChatGPT pour déboguer du code destiné à une extension d’outil de cybersécurité ainsi qu’à un cadre visant à envoyer des messages texte malveillants.

Le rapport documente également l’activité d’un troisième groupe appelé « CyberAv3ngers », associé au Corps des Gardiens de la révolution islamique d’Iran, et responsable d’attaques contre des infrastructures hydrauliques l’année dernière. CyberAv3ngers a utilisé ChatGPT pour des activités de débogage, des recherches de vulnérabilités et des conseils de script, ainsi que pour des requêtes spécifiques comme la liste des protocoles industriels et des ports connectés à Internet.

Des opérations d’influence électorale utilisant ChatGPT

ChatGPT a également été utilisé dans des opérations d’influence. Les auteurs du rapport se sont largement concentrés sur les menaces électorales et font référence à un rapport distinct publié par OpenAI en août, qui décrivait comment une opération d’influence iranienne, surnommée Storm-2035, avait utilisé l’IA générative ChatGPT pour créer des articles destinés aux réseaux sociaux et aux sites web sur divers sujets politiques, comme l’élection présidentielle américaine à venir ou le conflit à Gaza.

Les cyberattaquants « ont entremêlé leurs contenus politiques avec des commentaires sur la mode et la beauté, probablement pour paraître plus authentiques ou pour tenter de se constituer un public », détaille OpenAI.

Cependant, il semble que les acteurs malveillants n’aient jusqu’à présent rencontré qu’un succès limité avec les outils d’IA générative. Le rapport d’août 2024 avait déjà mis en avant un « manque d’engagement significatif de l’audience cible » pour cette opération d’influence et le rapport d’octobre confirme cette tendance.

Reste que OpenAI précise le fait que « les acteurs malveillants continuent d’évoluer et d’expérimenter avec nos modèles, mais nous n’avons pas vu de preuves montrant que cela a conduit à des avancées significatives dans leur capacité à créer de nouveaux malwares ou à construire des audiences virales ». Un constat qui est jugé « conforme à notre évaluation des capacités du GPT-4o, qui, selon nous, n’a pas conduit à des avancées matérielles dans les capacités d’exploitation des vulnérabilités du monde réel, comme décrit dans notre Preparedness Framework. »

Le rapport d’OpenAI mentionne également d’autres campagnes d’influence politique générant des textes et des images à faible engagement via l’IA, notamment des comptes en russe et en turc. Dans tous les cas, OpenAI a perturbé ces campagnes en interdisant les comptes associés de ces dispositifs..

Pour approfondir sur Menaces, Ransomwares, DDoS