Gartner alerte les DSI sur les risques juridiques liés à la GenAI

Un paysage réglementaire éclaté

Les réglementations sur l’IA varient aussi fortement d’un pays à l’autre, souligne Lydia Clougherty Jones, directrice de recherche principale chez Gartner.

« Chaque gouvernement définit à sa manière le bon équilibre entre leadership technologique, innovation, agilité et réduction des risques », observe-t-elle. « Cela conduit à des obligations de conformité incohérentes, voire contradictoires, qui compliquent l’alignement entre les investissements en IA et la création de valeur mesurable pour l’entreprise », regrette-t-elle. « Cette fragmentation expose aussi les organisations à de nouveaux risques juridiques. »

Gartner note également que les tensions géopolitiques influencent de plus en plus les stratégies IA. Plus de la moitié (57 %) des responsables IT non américains affirment que le climat géopolitique affecte – au moins à la marge – leur stratégie et leur déploiement de la GenAI. Et 19 % disent qu’il a un impact significatif.

Pourtant, près de 60 % reconnaissent ne pas être prêts – ou pas disposés – à adopter des outils de GenAI non américains.

Renforcer la gouvernance et la modération

Face à ces risques, Gartner recommande de renforcer la modération des contenus générés par l’IA. Les entreprises devront intégrer des mécanismes d’autocorrection dans les modèles et empêcher les outils de GenAI de répondre en temps réel à des questions auxquelles ils ne peuvent pas apporter de réponse fiable.

Le cabinet préconise également des procédures d’évaluation des cas d’usage, pour mesurer les risques que des réponses de chatbots entraînent des actions indésirables.

Ces évaluations doivent être menées sous les angles du juridique, de l’éthique et de la sécurité, en calculant les performances des outils au regard du niveau de tolérance au risque défini par l’entreprise.

Tester et documenter les modèles

Les tests approfondis sont une des étapes clés du déploiement.

Pour cela, Gartner recommande de recourir plus systématiquement à des environnements de bac à sable, afin d’évaluer le comportement des outils dans des conditions contrôlées avant toute mise en production.

Le cabinet invite par ailleurs les DSI à créer des équipes transverses qui réunissent ingénieurs, data scientists et juristes, afin de concevoir des protocoles de prétest et de valider la cohérence des sorties générées par les modèles.

Ces équipes devront documenter leurs travaux, notamment ceux visant à éliminer les termes problématiques dans les jeux de données d’entraînement et à contrôler les thèmes indésirables dans les réponses.

Cette documentation constituera un élément essentiel de la traçabilité, en cas de contentieux ou d’audit réglementaire.

Le « LLM juge »

Certaines industries régulées, comme la banque et la finance, testent déjà des modèles de supervision croisée entre agents IA. Cette approche est connue sous le nom de « LLM as a judge ».

Le principe est simple. Plusieurs agents, avec des LLM différents, répondent à une même question, puis un autre système d’IA évalue et sélectionne la réponse la plus fiable.

Ce type de structure permet de réduire le risque d’erreur tout en garantissant une meilleure conformité aux réglementations internes et sectorielles.

Vers une modération intégrée

Gartner recommande enfin que les outils de GenAI intègrent des fonctions de modération, comme des mécanismes de signalement et des labels d’avertissement (« AI warning labels »). Ces dispositifs contribueraient à instaurer la confiance entre utilisateurs, clients et régulateurs.