GenAI et ingérence : la DGSI fait l’inventaire des menaces qui pèsent sur les entreprises

Usage des outils d’IA : la DGSI invite les entreprises à une plus grande vigilance

Le premier ressemble fortement à l’affaire Samsung d’avril 2023. La DGSI rapporte que des salariés d’une « entreprise française stratégique » se servaient régulièrement d’un outil GenAI « grand public » pour traduire des documents confidentiels. En avril 2023, le géant coréen avait décidé de restreindre l’usage de ChatGPT en interne pour des raisons similaires. La presse généraliste évoquait alors des « fuites de documents confidentiels ».

Ayant eu vent de cette pratique dans son entreprise, le DSI mentionné par la DGSI a prévenu son COMEX. Celui-ci a passé des consignes pour privilégier le recours à une solution payante pourvu de protection supplémentaire et mis en place une charte d’utilisation des outils GenAI.

Par défaut, les assistants IA sont configurés pour aspirer les données des conversations à des fins d’entraînement. Rappelons que les autorités américaines s’intéressent de près à ces contenus, principalement pour identifier les usages délictuels et criminels des chatbots grand public.

 Néanmoins, les solutions entreprises incluent une garantie contractuelle supplémentaire qui doit limiter ce risque.

Il y a d’autres dangers, souligne la DGSI. « La politique de confidentialité de certains outils d’IA générative impose le stockage des données d’utilisateurs dans des serveurs situés à l’étranger, parfois sans obtenir le consentement clair et explicite des utilisateurs », rapporte-t-elle. « Ce stockage implique que ces données puissent être soumises à des lois étrangères à portée extraterritoriale et puissent entraîner la responsabilité de l’entreprise ». Et de recommander de faire très attention aux conditions d’utilisations des outils : les données générées peuvent tomber sous le régime d’une copropriété avec l’éditeur.

Autre point important, la DGSI mentionne les risques encourus au moment d’activer des fonctions depuis des serveurs MCP ou des API. Ces outils externes « augmentent les vulnérabilités ». Selon Akamai, l’intégration d’outils par API aux modèles de langage « élargit considérablement la surface d’attaque ».

Ici, il s’agit plutôt de sécuriser l’usage d’outils somme toute utiles dans un contexte professionnel. Encore faut-il ne pas trop faire confiance aux résultats générés, signale le service d’intelligence économique.

Il relate en illustration le cas d’une société française active sur les marchés étrangers. Celle-ci avait mis en place une procédure d’évaluation juridique, financière et réputationnelle de ses partenaires commerciaux à l’aide d’outil d’IA développé par une entreprise étrangère. « Par manque de temps et par méconnaissance des biais potentiels de l’outil, la société ne procède à aucune vérification complémentaire et oriente systématiquement ses décisions en fonction du retour fait par l’outil ».

Or ce recours systématique peut entraîner une « dépendance excessive », facteur de diminution de vigilance humaine, de perte de contrôle sur les données et les processus et d’amplification des biais.

De fait, les outils GenAI, même ceux capables d’expliquer leur raisonnement, fonctionnent en « boîte noire ». D’après les tests du MagIT depuis trois ans, les LLM ont par exemple tendance à répondre en s’appuyant sur les premiers résultats visibles sur Google, même quand un outil de recherche n’est pas activé. Les résultats proviennent de pages généralement optimisées pour le SEO qui présentent parfois des erreurs, des discours purement marketing ou des contre-vérités. Sans oublier le phénomène d’hallucination. « L’IA va, par exemple, jusqu’à créer des évènements de toutes pièces […] Cela peut influencer les opinions, manipuler les comportements ou nuire à la réputation », rappelle la DGSI.

L’IA générative accroît aussi la cybermenace

Enfin, la DGSI insiste sur le fait que le camp adverse exploite aussi les outils d’IA générative. Les acteurs malveillants ont bien compris l’intérêt de l’hypertrucage (deepfake) dans leurs activités. Et là la DGSI de mentionner le cas d’un responsable d’un site industriel d’un groupe français victime d’une tentative d’escroquerie par visioconférence. L’attaquant avait copié numériquement le visage et la voix du dirigeant. Une arnaque au président 2.0. Heureusement, l’usage d’un canal de communication inusitée et la demande de transferts de fonds dans le cadre d’un rachat a mis la puce à l’oreille du responsable du site qui a coupé court à la discussion et prévenu sa direction, la vraie.

Ce n’est là qu’un des usages malveillants recensés par la direction du renseignement intérieur. Outre la création de deepfake, l’IA générative peut servir à générer des « contenus malveillants » (mail de phishing, désinformations, etc.), ou encore à « améliorer » le spear phishing par l’analyse de données publiques sur un individu.

En outre, comme l’a signalé la NCSC, l’homologue britannique de l’ANSSI, les LLM sont sujets à des attaques par injection de prompt et d’empoisonnement de données d’entraînement. Le premier phénomène risque d’être difficile, voire impossible à contrer, confirme OpenAI, dans un billet de blog.

D’où la nécessité d’informer le personnel des entreprises sur les usages autorisés, d’expliquer les éventuelles mesures de protection (blocage des IA grand public par exemple), de le former. Aux sociétés françaises, la DGSI recommande de préférer des solutions conformes au RGPD, offrant un stockage localisé en France, si possible françaises, et d’installer des systèmes d’IA locaux pour les usages les plus sensibles. Certaines entreprises rencontrées pour LeMagIT privilégient également cette option au moment de générer du code.  

Peu importe le type de déploiement ou d’usage, la DGSI recommande d’anonymiser les données en entrée, de garder son esprit critique au moment de consulter les résultats et de les relayer. Il s’agit d’éviter les manipulations et les inexactitudes potentiellement dangereuses dans certains processus de décision.