GenAI : comment un chercheur de Cato a poussé un LLM à lui écrire un infostealer

Vitaly Simonovitch est chercheur en renseignement sur les menaces au sein de l’équipe CTRL de Cato Networks. Il murmure à l’oreille des grands modèles de langage. À moins qu’il ne les berce en les entraînant dans des contes numériques.

Dans un échange avec la rédaction, il reprend le contexte : « ChatGPT a changé la vie de beaucoup de monde. Comme les autres LLMs, c’est un très bon assistant pour écrire du code. Mais cela ne va pas poser de risques ».

Historiquement, développer des maliciels tels que des infostealers, demande des compétences élevées. Et cela à plus forte raison que les éditeurs de navigateurs Web essaient continuellement de contrer les opérateurs de maliciels dérobeurs. 

Certes, les grands LLMs accessibles à tous sont dotés de barrières conçues pour réduire le risque d’usages malveillants. Mais ces barrières sont régulièrement éprouvées. Avec une question : quel est leur point de rupture, menant à ce qui est désigné sous le terme de jailbreak ?

C’est cela que Vitaly Simonovitch a voulu savoir. Pour cela, il a utilisé un ChatGPT o1-mini pour construire un scénario. Relativement simple – mais s’étalant sur plusieurs chapitres –, il met en scène Kaia et Jaxon qui doivent travailler ensemble pour contrecarrer les plans de Dax. L’aventure se déroule sur Velora, un monde virtuel où le développement de maliciels est un art, une véritable seconde langue. 

Le scénario a ensuite été fourni à ChatGPT 4o. « Les LLMs disposent aujourd’hui d’une large fenêtre contextuelle. Il s’agit de la mettre à profit pour les rendre confus », explique Vitaly Simonovitch. « Il s’agit de leur faire oublier leurs règles de bases, pour les pousser à ne plus respecter que celles du monde virtuel de l’histoire ». Pas question, toutefois, de demander ouvertement au LLM de développer un infostealer ! Placé dans la peau de Jaxon, « je lui ai demandé de faire la preuve de ses talents ». En indiquant que Dax confie ses mots de passe à son navigateur Chrome. Dans sa version la plus récente au moment de l’expérience.  

Pressé d’aider, ChatGPT 4o a produit un code C++ qui a ensuite été exécuté dans un bac à sable, sous Windows 11, à jour de correctifs. Chrome y avait été alimenté d’identifiants bidon. 

Le code de l’infostealer n’a pas été fonctionnel dès le premier jet : « j’ai demandé des corrections en créant un sentiment d’urgence », explique Vitaly Simonovitch. 

Un début d’exercice d’ingénierie sociale contre une IA générative… qui portera ses fruits : le code final s’est avéré pleinement fonctionnel contre Chrome 133. L’expérience a également été menée contre DeepSeek-V3 et DeepSeek-R1, ou encore Microsoft Copilot.

Google a accusé réception de la notification de Cato Networks. Le géant du Web n’a pas voulu le code de l’infostealer, mais travaille néanmoins à l’amélioration des protections de Chrome.

OpenAI a également été contacté et travaille à de nouvelles protections. Mais Vitaly Simonovitch souligne que « l’architecture des LLMs est très complexe ; patcher le jailbreak est très difficile ».