Qu'est-ce que le biais cognitif ?

Principales causes des biais cognitifs

Il est difficile de reconnaître et d'atténuer les biais cognitifs, car ils ont des causes diverses :

• Capacité cognitive. Les gens ne peuvent connaître, se souvenir et traiter qu'une quantité limitée d'informations dans un laps de temps limité. Cela restreint leur capacité à prendre en compte tous les enjeux et détails liés à une décision. Par conséquent, certains détails pertinents sont oubliés, ignorés ou mal pris en compte, ce qui conduit à des biais.
• Les émotions. Les émotions humaines sont source de partialité. Par exemple, l'amour pour son conjoint peut atténuer la réaction face à des violences physiques ou psychologiques, alors que de telles violences ne seraient jamais tolérées de la part d'un étranger. Il est impossible pour les gens de prendre toutes leurs décisions de manière objective, sans émotion.
• Motivations personnelles. Les gens prennent souvent des décisions en fonction de ce qui les motive. Ils prennent une décision en fonction de l'atteinte d'un objectif, même si cette décision peut être mauvaise ou malsaine. Par exemple, une personne qui suit un régime peut sacrifier les nutriments nécessaires pour réduire son apport calorique et perdre du poids.
• Pression sociale. Les conventions sociales, telles que les valeurs, les comportements et les objectifs, peuvent influencer les décisions des gens, même lorsqu'elles sont en contradiction avec leurs propres préférences ou convictions. Par exemple, une personne peut choisir de se marier en raison de la pression familiale et sociale plutôt que par conviction personnelle dans l'institution du mariage.
• La pression du temps. Les raccourcis mentaux impliqués dans l'heuristique et les biais sont un sous-produit de l'évolution qui permet aux gens de traiter rapidement l'information avec un effort mental limité. C'est une manifestation de la réponse « combat ou fuite ». L'objectif n'est pas de prendre la meilleure décision en tenant compte de tous les faits saillants, mais plutôt d'arriver à une décision adéquate et de réagir le plus rapidement possible.
• Effets du vieillissement. Bien que l'âge ne soit pas une garantie de biais cognitif, la tendance des personnes âgées à négliger, sous-estimer ou simplement ignorer les informations nouvelles et changeantes peut conduire à un biais cognitif. Prenons l'exemple d'un parent âgé qui évite les nouvelles technologies parce qu'il a perdu la souplesse mentale nécessaire pour adopter et utiliser quelque chose de nouveau, préférant utiliser des alternatives familières même si elles ne donnent pas toujours des résultats optimaux.

Biais cognitif vs sophisme logique

La cognition concerne le fonctionnement normal du cerveau. La logique fait référence à un raisonnement et à une prise de décision plus abstraits. Cela crée deux niveaux différents de défauts potentiels dans la pensée humaine. Ces défauts peuvent se produire séparément ou ensemble.

• Un biais cognitif survient lorsque le jugement d'une personne est altéré en raison de tendances ou de prédispositions humaines naturelles difficiles à reconnaître.
• Une erreur logique ou un sophisme survient lorsque le jugement d'une personne est altéré en raison d'erreurs de raisonnement ou de failles dans un argument sous-jacent.

Supposons qu'un homme politique prononce un discours en faveur des investissements dans une nouvelle technologie. Un électeur n'apprécie pas cet homme politique et invoque des allégations d'inconduite. Dans cet exemple, il y a un biais cognitif : ne pas apprécier l'homme politique en raison d'allégations non prouvées. De plus, il y a un sophisme logique : le rejet de la suggestion de l'homme politique en raison d'allégations non prouvées. Cette dernière situation est connue sous le nom de sophisme ad hominem. Même si les allégations contre le politicien s'avéraient fondées, cela ne remettrait pas nécessairement en cause l'intérêt sociétal d'un soutien accru du gouvernement à la nouvelle technologie.

Types de biais cognitifs

Au cours des six dernières décennies de recherche sur le jugement humain et la prise de décision en psychologie cognitive, en psychologie sociale et en économie comportementale, une liste en constante évolution des biais cognitifs courants a été identifiée. Elle comprend les éléments suivants :

• Biais acteur-observateur. Il s'agit de la tendance d'un individu à attribuer sa propre situation à des causes externes tout en attribuant les comportements des autres à des causes internes.
• Heuristique affective. Il s'agit de la tendance de l'humeur ou de l'état émotionnel d'une personne (son affect) à influencer ses décisions. Par exemple, une personne en colère peut dire quelque chose de blessant qu'elle n'aurait jamais dit si elle n'avait pas été en colère.
• Biais algorithmique. Ce phénomène se produit lorsqu'un algorithme informatique favorise ou discrimine systématiquement certains groupes ou individus en fonction de facteurs tels que la race, le sexe ou le statut socio-économique.
• Biais d'ancrage. Il s'agit de la tendance du cerveau à trop se fier à la première information qu'il reçoit lorsqu'il prend des décisions.
• Biais attentionnel. Il s'agit de la tendance d'un individu à prêter attention à un seul objet ou une seule idée tout en s'écartant des autres.
• Biais de disponibilité. La tendance du cerveau à conclure qu'un exemple connu est plus représentatif de l'ensemble qu'il ne l'est en réalité entraîne un biais de disponibilité.
• Heuristique de disponibilité. Il s'agit de la tendance à utiliser les informations qui viennent rapidement à l'esprit lorsqu'on prend des décisions basées sur l'avenir.
• Le phénomène Baader-Meinhof. Également connu sous le nom d'illusion de fréquence, il s'agit du sentiment de voir de nouveaux schémas partout dès lors que nous en prenons conscience.
• Effet d'entraînement. Il s'agit de la tendance du cerveau à conclure que quelque chose doit être désirable parce que d'autres personnes le désirent.
• Angle mort du biais. Il s'agit de la tendance du cerveau à reconnaître les biais des autres, mais pas les siens.
• Illusion de regroupement. Il s'agit de la tendance du cerveau à vouloir voir un schéma dans ce qui n'est qu'une séquence aléatoire de chiffres ou d'événements.
• Biais de confirmation. Il s'agit de la tendance du cerveau à accorder plus d'importance aux nouvelles informations qui corroborent les idées existantes, parfois appelée biais de croyance.
• L'effet Dunning-Kruger. Il s'agit de la tendance d'un individu ayant des connaissances ou des compétences limitées dans un domaine donné à surestimer ses propres compétences dans ce domaine.
• Biais d'exclusion. Lorsque certains points de données sont omis ou exclus d'une étude ou d'une analyse, cela conduit à une représentation biaisée ou incomplète de la population, ce qui peut affecter la précision des résultats.
• Effet de faux consensus. Il s'agit de la tendance d'un individu à surestimer le degré d'accord des autres avec lui.
• Effet de cadrage. Il s'agit de la tendance du cerveau à arriver à des conclusions différentes lorsqu'il examine les mêmes informations, en fonction de la manière dont celles-ci sont présentées.
• Fixité fonctionnelle. Il s'agit de la tendance à considérer les objets comme n'ayant qu'une seule utilisation spécifique.
• Pensée de groupe. Il s'agit de la tendance du cerveau à accorder de l'importance au consensus.
• Effet de halo. Il s'agit de la tendance à laisser l'impression qu'une personne donne dans un domaine influencer l'opinion que l'on a d'elle dans un autre domaine.
• Biais rétrospectif. Il s'agit de la tendance à interpréter les événements passés comme étant plus prévisibles qu'ils ne l'étaient en réalité.
• Escompte hyperbolique. Tendance à préférer un gain immédiat à un gain ultérieur qui pourrait être plus important ou plus avantageux d'une manière ou d'une autre.
• Effet de désinformation. Il s'agit de la tendance des informations apparaissant après un événement à interférer avec le souvenir de l'événement initial.
• Biais de négativité. Il s'agit de la tendance du cerveau à accorder inconsciemment plus d'importance aux événements négatifs qu'aux événements positifs.
• Préjugés. Il s'agit de la tendance à se fier à des opinions, attitudes ou points de vue préconçus pour interpréter ou agir sur la base d'informations, ce qui conduit à un traitement injuste ou discriminatoire fondé sur des caractéristiques non pertinentes telles que la race, le sexe ou l'âge.
• Biais de proximité. La tendance à accorder un traitement préférentiel aux personnes physiquement proches peut entraîner un biais de proximité. Le fait qu'un employé local soit pris en considération pour une augmentation avant un employé distant parce qu'il se trouve à proximité immédiate de son supérieur hiérarchique est un exemple de biais de proximité.
• Biais de récence. Il s'agit de la tendance du cerveau à accorder inconsciemment plus d'importance aux dernières informations reçues sur un sujet.
• Heuristique de représentativité. Il s'agit de la tendance d'une personne à évaluer une situation et à prendre des décisions en se basant sur un autre modèle situationnel similaire déjà présent dans son esprit. Comme les situations se ressemblent, les conclusions sont également similaires, même si les faits environnants peuvent être différents.
• Biais d'échantillonnage. Lorsque l'échantillon sélectionné pour une étude n'est pas représentatif de l'ensemble de la population, ce qui conduit à des résultats qui ne sont pas généralisables.
• Biais d'auto-servi. Il s'agit de la tendance d'un individu à blâmer des forces externes lorsque des événements négatifs se produisent, mais à s'attribuer le mérite lorsque des événements positifs se produisent.
• Effet du coût irrécupérable. Également appelé « sophisme du coût irrécupérable », il s'agit de la tendance du cerveau à continuer d'investir dans quelque chose qui ne fonctionne manifestement pas afin d'éviter l'échec.
• Biais de survie. Il s'agit de la tendance du cerveau à se concentrer sur les résultats positifs plutôt que sur les résultats négatifs. Un phénomène similaire est l'effet autruche, qui consiste à enfouir métaphoriquement sa tête dans le sable pour éviter les mauvaises nouvelles.

Signes et effets des préjugés

Comme les biais cognitifs sont souvent inconscients, il est plus facile pour un individu de reconnaître les biais chez les autres. Cependant, voici quelques moyens de reconnaître les biais :

• Si une personne s'attribue à elle-même ses succès, tout en attribuant ceux des autres à la chance.
• Si une personne se fie à des informations préliminaires ou initiales et ne parvient pas à adapter ou à modifier sa façon de penser en fonction des nouvelles informations.
• Si une personne pense avoir plus de connaissances qu'elle n'en a réellement sur un sujet.
• Si une personne insiste pour blâmer des facteurs extérieurs plutôt que soi-même.
• Si une personne ne prête attention qu'à ce qui confirme ses opinions.
• Si une personne suppose que tout le monde partage ses opinions.

Les individus doivent faire de leur mieux pour éviter ces signes, car ils influencent tous, à un niveau fondamental, la manière dont ils interprètent le monde qui les entoure. Même si une personne est objective, logique et capable d'évaluer avec précision son environnement, elle doit tout de même se méfier de l'adoption de nouveaux préjugés inconscients.

Impact des biais cognitifs sur l'analyse des données relatives au développement logiciel

Les biais cognitifs peuvent affecter les individus en modifiant leur vision du monde ou en influençant leur travail. Par exemple, dans les domaines techniques, les biais cognitifs peuvent affecter l'analyse des données logicielles et les modèles d'apprentissage automatique (ML).

Prendre conscience de la manière dont les préjugés humains peuvent brouiller les analyses est une première étape importante pour éviter que cela ne se produise. Si les outils d'analyse de données peuvent aider les dirigeants d'entreprise à prendre des décisions fondées sur les données, c'est toujours à l'être humain qu'il revient de sélectionner les données à analyser. C'est pourquoi il est important que les chefs d'entreprise comprennent que les biais cognitifs qui surviennent lors de la sélection des données peuvent amener les outils numériques utilisés dans l'analyse prédictive et l'analyse prescriptive à générer des résultats erronés.

Si un analyste de données utilisait la modélisation prédictive sans avoir préalablement examiné les données à la recherche de biais, il pourrait obtenir des résultats inattendus. Ces biais pourraient également influencer les actions des développeurs. Parmi les exemples de biais cognitifs susceptibles d'affecter involontairement les algorithmes, on peut citer les stéréotypes, l'effet d'entraînement, l'amorçage, la perception sélective et le biais de confirmation.

Les biais cognitifs peuvent également entraîner des biais dans l'apprentissage automatique, un phénomène qui se produit lorsqu'un algorithme produit des résultats systématiquement biaisés sur la base d'hypothèses formulées au cours du processus d'apprentissage automatique. Les biais liés à l'apprentissage automatique proviennent souvent de données médiocres ou incomplètes qui donnent lieu à des prédictions inexactes. Les personnes qui conçoivent et entraînent les systèmes d'apprentissage automatique peuvent également introduire des biais, car ces algorithmes peuvent refléter les biais cognitifs involontaires des développeurs. Parmi les types de biais qui affectent l'apprentissage automatique, on peut citer les biais liés aux préjugés, aux algorithmes, aux échantillons, aux mesures et à l'exclusion.

Par conséquent, les projets d'apprentissage automatique exigent une attention particulière aux méthodologies de qualité des données et aux sources de données, telles que les référentiels publics, open source et gouvernementaux, afin d'identifier les biais potentiels dans les données et de prendre des mesures décisives pour atténuer ces biais dans la formation des modèles d'apprentissage automatique.

Conseils pour surmonter et prévenir les préjugés

Pour éviter les biais cognitifs et autres types de confiance excessive biaisée qui en découlent, les organisations doivent vérifier que les données utilisées pour entraîner les modèles d'apprentissage automatique sont exhaustives.

Les scientifiques des données qui développent des algorithmes d'apprentissage automatique doivent façonner les échantillons de données de manière à minimiser les biais algorithmiques et autres types de biais liés à l'apprentissage automatique. Les décideurs doivent évaluer quand il est approprié d'appliquer la technologie d'apprentissage automatique. Les données associées aux personnes doivent être représentatives des différentes races, sexes, origines et cultures.

La sensibilisation, la bonne gouvernance et l'application de la pensée critique sont des moyens de prévenir les biais liés au ML. Cela signifie que les mesures suivantes doivent être prises :

• Il convient de sélectionner des données d'entraînement appropriées.
• Les systèmes doivent être testés et validés afin de garantir que les résultats ne reflètent pas de biais.
• Les systèmes doivent être surveillés pendant qu'ils exécutent leurs tâches, en particulier s'ils continuent à apprendre ou à affiner leur formation au fil du temps.
• Il convient d'utiliser des outils et ressources supplémentaires, tels que l'outil What-If Tool de Google ou la boîte à outils open source AI Fairness 360 d'IBM.

Les organisations peuvent prévenir les biais en recourant à la fois à des mesures automatisées et humaines. Cependant, elles ne seront peut-être pas en mesure de les éliminer complètement. De plus, tous les biais ne sont pas nécessairement préjudiciables. Par exemple, les biais algorithmiques peuvent inclure le processus utilisé par un algorithme pour déterminer comment trier et organiser les données. Il est important de s'assurer que le type de biais n'est pas intrinsèquement préjudiciable et qu'il est pertinent pour la tâche à accomplir.

Apprenez-en davantage sur les biais algorithmiques dans l'intelligence artificielle et comment les gérer efficacement.