Tous les grands modèles d’IA véhiculent des stéréotypes « préjudiciables » (étude)
Le récent épisode médiatique qui a confronté Google à la reproduction de biais jugés racistes par Gemini fait écho à l’étude StereoTales de Giskard, un spécialiste de la sécurité des IA. Les 23 modèles testés dans dix langues différentes - dont ceux de Google, d’Anthropic et d’OpenAI - reproduisent des « associations préjudiciables ». Ce phénomène s’avère plus difficile qu’il n’y paraît à évaluer, à expliquer et à contrôler.
Le 23 août, un post publié sur Instagram par l’humoriste Alicia C’est Tout a mis en lumière les biais persistants des grands modèles de langage. Elle y compare les résultats des résumés IA et du mode IA de Google lorsque Gemini est soumis aux phrases « je suis seule avec un Italien » et « je suis seule avec un homme algérien ».
La première réponse répandait des clichés sur le charme et le tempérament des Italiens. La seconde, bien plus problématique, l’encourageait à contacter la police. Alice C’est Tout prolongeait là une tendance apparue quelques jours plus tôt. Selon Le Monde, dès le 19 août, des internautes sur X (ex-Twitter) comparaient les résultats générés par les résumés IA de Google à partir d’affirmations ouvertes telles que « am alone with an Indian », « am alone with a chinese ».
Le Midi Libre a constaté des réponses similaires avec ChatGPT, Perplexity, Claude, DeepSeek et Mistral Vibe (ex Le Chat). Libération a prolongé les tests sur une soixantaine de nationalités et dans plusieurs langues auprès de Gemini. Les résultats variaient grandement entre les nationalités, mais aussi du fait de la nature probabiliste des LLM. La notion de danger serait davantage mentionnée par l’assistant pour des habitants de pays en voie de développement. Un phénomène que Libération explique par la présence des fiches de conseils aux voyageurs publiés par les ambassades et les échanges sur des forums tels Reddit dans les données d’entraînement des LLM de Google.
Le géant du Web a déjà appliqué des filtres pour certaines requêtes, même s’il note lui aussi des réponses qui varient beaucoup entre les internautes. Le groupe considère toutefois que ces « alertes incohérentes ne visent aucun groupe [de population] en particulier ».
StereoTales : Giskard poursuit son analyse des stéréotypes
Pour Pierre Le Jeune, lead AI Researcher chez la startup française Giskard, spécialisée dans la sécurité de l’IA générative, cet épisode médiatique résonne avec la publication de StereoTales en mai dernier. À travers cette étude, la société a prolongé les travaux entamés avec le benchmark Phare.
En 2025, les chercheurs de Giskard ont évalué la capacité des LLM à détecter des stéréotypes et des biais présents dans des fictions générées à partir d’instructions (prompts) ouvertes. Les chercheurs remarquaient alors une forme de dissonance : si les modèles détectent sans problème les biais et les stéréotypes, ils continuent de les reproduire. Ce comportement reste d’actualité.
Là où Phare porte aussi sur les hallucinations, la désinformation, les jailbreaks ou encore les injections de prompt, StereoTales vise à analyser les associations sociodémographiques produites par les grands modèles de langage qui propulsent les assistants IA.
StereoTales couvre dix langues (anglais, français, espagnol, italien, portugais, néerlandais, ukrainien, arabe, hindi et chinois). Phare ne porte que sur trois langues (français, espagnol et anglais).
Pour générer les petites histoires (environ 200 mots), les chercheurs n’indiquent aux modèles d’IA qu’un seul attribut sociodémographique, par exemple la nationalité du personnage ou son niveau de richesse. « Toutes les autres caractéristiques du protagoniste émergent des associations du modèle lui-même », précisent-ils. Ils ont ainsi listé 79 attributs catégorisés au sein de 19 dimensions sociodémographiques (genre, religion, revenu, statut migratoire, etc.) et les ont combinés avec 36 scénarios types (trouver un travail, assister à une réunion, traiter une maladie, etc.) pour créer 2800 prompts (traduits en dix langues, soit 30 000 prompts en total) servant à générer des histoires.
L’autre grande différence méthodologique tient à l’intervention d’un panel de 247 personnes résidant au Royaume-Uni. Si le barème de Phare a été rédigé par des humains, les évaluations ont été confiées à des LLM. « Nous avons recruté ce panel d’humains pour juger les associations que nous avons détectées à l’aide des modèles », indique Pierre Le Jeune. « Cela nous a permis d’affiner les classifications concernant les stéréotypes inappropriés ».
Résultat, les 23 modèles d’IA testés pour générer 650 000 histoires dans dix langues à partir d’une phrase ouverte « propagent des stéréotypes et certains d’entre eux sont vraiment problématiques ».
« Tous les biais rapportés dans l’étude sont statistiquement fiables », assure Pierre Le Jeune. Sur 1580 associations sociodémographiques notables, 118 sont considérées comme préjudiciables et 666 bénignes.
Les modèles d’IA, des « caméléons culturels »
L’évaluation sur un nombre plus important de langues tend à démontrer que les modèles d’IA « adoptent en quelque sorte la culture associée à la langue utilisée pour les interroger, mais aussi leurs biais », remarque Pierre Le Jeune. En cela, les LLM seraient des « caméléons culturels » et ne reproduiraient pas systématiquement les canons de leur pays d’origine, principalement les États-Unis et la Chine.
« Dans les langues d’Europe occidentale, nous observons des stéréotypes contre les immigrants nord-africains, qui sont absents de l’arabe et des langues parlées en Amérique latine ».
« À l’inverse dans les histoires générées par les modèles d’IA promptés avec les langues parlées dans les pays en voie de développement, l’on retrouve des stéréotypes liant la ruralité avec un taux d’illettrisme important, ce que l’on ne retrouve pas dans les langues associées à des pays développés », poursuit-il. Les histoires générées en anglais sont, sans surprise, teintées de la culture nord-américaine.
Pourtant, certaines des langues parlées dans les pays développés et en voie de développement sont a priori identiques. Selon les chercheurs, les stéréotypes et les biais repérés en français, en néerlandais et en italien diffèrent de ceux liés aux histoires générées en espagnol et en portugais.
« L’espagnol et le portugais pratiqués par les modèles d’IA trouvent leur racine en Amérique du Sud. Dès lors, ils adoptent les biais culturels associés », souligne Pierre Le Jeune.
Cela s’explique sans doute par la prévalence des contenus produits dans les pays hispanophones et lusophones sur le Web, plus peuplés que le Portugal et l’Espagne.
Un certain manque de contrôle de la part des fournisseurs de LLM
L’équipe de chercheurs observe que pour améliorer globalement les résultats des modèles d’IA dans d’autres langues que l’anglais, les fournisseurs de LLM utilisent un « mix » de données plus diversifié que par le passé. Par ailleurs, 52 % des « associations préjudiciables », les biais les plus dangereux, apparaissent uniquement dans une ou deux langues différentes. Seules cinq exceptions, comme l’association entre le conservatisme et la retraite, la non-binarité et les métiers créatifs, la pauvreté et le handicap, ou encore entre les postes de support administratif et les femmes, se retrouvent dans les réponses des 23 modèles étudiés. Il faut toutefois noter que l’association entre les métiers de la finance et la religion juive est reproduite par douze des 23 modèles, dont Claude Haiku 4.5 en français, Claude Opus 4.6 en anglais ou encore GPT-4o en ukrainien.
Or, les fournisseurs de LLM effectuent leur analyse de biais dans une seule langue, majoritairement l’anglais. « Il y a peut-être un déséquilibre entre la qualité des données en anglais et celles présentes dans d’autres langues », suppose Pierre Le Jeune. « C’est plus facile de collecter des données en provenance de forums dans toutes les langues que d’en extraire de livres ou d’articles de qualité. Je pense que les données les plus facilement accessibles pour les fournisseurs sont celles qui regorgent le plus de biais ».
De plus, la majorité des stéréotypes ne sont pas nocifs en soi, mais les modèles peuvent les reproduire massivement. « Si le modèle nous raconte une histoire à propos d’une femme dont le salaire est bas, c’est tout à fait acceptable. Le problème apparaît lorsque 80 % des histoires générées reproduisent cette association. Dans ce cas-là, l’on a un problème d’équité », illustre Pierre Le Jeune. « C’est bien plus difficile à juger et à filtrer qu’un biais raciste ».
Ici, l’analyse porte sur les modèles de dix fournisseurs, dont Anthropic, Google, OpenAI, Mistral AI, Alibaba, xAI et Moonshot. Le chercheur considère que les résultats dépendent moins de l’origine de ces acteurs que leurs efforts à l’entraînement pour tenter de maîtriser les stéréotypes et les biais. « Sur les biais en particulier, nous constatons que les fournisseurs ne mettent pas assez l’accent sur leur contrôle », note-t-il. À noter que la taille d’un modèle n’affecte pas sa capacité à reproduire des associations plus ou moins dangereuses.
La responsabilité des entreprises en jeu
Dès lors, il incombe aux entreprises de faire cette chasse aux biais à travers une pratique de red teaming. En particulier dans les outils d’IA générative accessible aux clients finaux.
L’enjeu n’est plus seulement réputationnel. À l’aune de la régulation européenne sur l’IA, une entreprise pourrait être tenue pour responsable si elle n’a pas mis en place une pratique robuste et une piste d’audit fiable dans ses chatbots. Evidemment, Giskard prêche pour sa paroisse, mais plutôt qu’un outil ou un service, Pierre Le Jeune évoque surtout un point méthodologique important. « La seule bonne manière de le faire est de couvrir les usages réels d’un chatbot ou d’une fonctionnalité d’IA dans une application. Il convient d’adapter les tests en conséquence afin d’anticiper un maximum de cas de figure », recommande-t-il.
Les prochaines itérations de l’étude StereoTales pourraient justement porter sur la détection des stéréotypes et des biais dans des scénarios applicatifs en sus de l’étendre à davantage de langue et de recruter un panel plus diversifié.
