L’IA rebat les cartes de la qualité de données

Des critères conçus pour les humains, pas pour les machines

Complétude, exactitude, cohérence, actualité, validité, unicité : la plupart des cadres qualité combinent ces six dimensions. Elles restent d’actualité. Cependant, elles ont été pensées pour un monde où le destinataire final des données était un rapport, et le destinataire du rapport une personne.

Cette personne accomplissait un travail invisible, jamais reconnu. Elle savait que la région Nord était peu fiable avant mars à cause d'une migration système. Elle savait que le pic d'attrition venait d'un comptage en double, quels champs commerciaux étaient remplis sérieusement.

Rien n'était écrit nulle part. Ces informations résidaient dans la tête de l'analyste, qui corrigeait discrètement toute une catégorie de problèmes que le cadre qualité n'avait jamais eu à détecter.

L'agrégation aidait aussi. Quelques lignes erronées dans une somme d'un million de lignes se noient dans l'arrondi. Les erreurs à l’enregistrement n’empêchent pas d’obtenir des chiffres exploitables.

L'IA générative supprime simultanément les deux filets de sécurité. Elle consomme un enregistrement à la fois, sans analyste pour appliquer les corrections tacites. Un document obsolète n'est pas moyenné. Il est récupéré, résumé en prose fluide, et livré à quelqu'un qui n'a aucun moyen de savoir que c'était le mauvais document.

Les six dimensions de la qualité de données comptent toujours. Trois autres critères, autrefois en note de bas de page, deviennent des priorités absolues.

La fraîcheur de données change de dimension

La notion traditionnelle de fraîcheur vérifie si les données sont arrivées à temps. En matière d’IA, elle revient à se poser la question de la validité de l'enregistrement.

Ces deux notions divergent souvent, et c'est dans cet écart que se nichent la plupart des défaillances de l'IA.

Un document chargé la nuit dernière dans votre base vectorielle est parfaitement « à jour » au sens du pipeline, et peut dater de quatre ans sur le fond. Pour le reporting, les documents n'ont jamais vraiment été des données. Or, vos règles de qualité renseignent rarement leur péremption.

Les moteurs de recherche n'ont quasiment aucune perception du temps. Ils fonctionnent par similarité sémantique. Un document obsolète sur votre politique de retour correspond parfaitement, sémantiquement, à une question sur cette même politique. Parfois même mieux que la version actuelle si l'ancienne reprenait davantage les mots employés par l'utilisateur. Rien ne privilégie l'information exacte face à une information simplement ressemblante, à moins de le construire explicitement.

La gestion du cycle de vie du contenu, longtemps ignorée, devient donc un problème d'IA. Quelqu'un doit décider quand un document cesse d'être une référence, et cette décision doit être une métadonnée visible pour la couche de récupération - pas un nom de fichier se terminant par « _v3_FINAL ».

Posez-vous la question : si un document a été remplacé l'an dernier, qu'est-ce qui, dans votre système, le sait ? Pour la plupart, la réponse honnête est « la personne qui l'a écrit, si on pense à lui demander ».

La provenance est désormais une question de permission

La traçabilité (lineage) répondait à « pourquoi ce chiffre diffère de tel autre ». Quel système source, quelle transformation, quelle tâche de traitement.

La traçabilité version IA doit répondre à des questions plus complexes. Qui, ou quoi, a produit ce contenu ? Un expert humain, une page web extraite, un modèle antérieur, un résumé de résumé ? Quels droits détenons-nous dessus ? Sommes-nous autorisés à l'utiliser, dans cette juridiction, pour ce client ?

Deux forces poussent le sujet en haut de l'agenda. La première est juridique : les droits sur les données d'entraînement et de récupération sont désormais scrutés par régulateurs, clients et achats. Répondre « nous ne savons pas trop d'où ça vient » a un coût réel.

La seconde est plus discrète et plus corrosive : à mesure que le contenu généré par machine se multiplie, la part du corpus paraphrasé ne cesse de croître. Redigérer ad nauseam, ces extraits accumulent les erreurs sans qu'on puisse les retracer, car un document généré ressemble en tout point à un document écrit à la main.

Si l'on ne distingue plus la source rédigée par un humain de son ersatz généré, l’on perd la capacité à distinguer la vérité terrain de son écho. Cette distinction ne coûte presque rien à enregistrer à la création. Elle est pratiquement impossible à reconstituer après coup. Autant s'y atteler maintenant, même sans usage immédiat.

La représentativité, c'est la couverture, pas le volume

Il y a un troisième impératif, moins intuitif. De loin, il ressemble à un problème statistique plus qu'à un problème de gestion de données. Les équipes reporting se satisfont généralement du volume. Plus il y a de lignes, mieux c'est, et la répartition se règle d'elle-même puisqu'on décrit ce qui s'est passé.

L'IA, elle, généralise à partir des données et applique cette généralisation à des situations à peine couvertes. La compétence de l'assistant n'est pas uniforme. Il excelle où le corpus est dense, mauvais là où les données manquent. Or, le ton de la réponse est identique. C'est ce qui rend la chose dangereuse.

Le schéma est d'une régularité désolante : documentation riche pour le produit phare, clairsemée pour les produits de niche. Des transcriptions abondantes pour les problèmes courants, rares pour les cas exceptionnels et coûteux. Les segments qui génèrent le plus de volume génèrent le plus de données. Le modèle d’IA est donc le plus à l'aise avec ce qu'on comprend déjà, et moins fiable là où l'on aurait réellement besoin de lui.

Aucun cadre qualité classique ne détecte cela. Chaque zone restreinte peut être complète, exacte, cohérente, à jour, valide, unique. Il y en a simplement peu de données, et ce trop peu n'a jamais constitué un critère de qualité mesuré par quiconque.

Mesurer la couverture, c'est cartographier l'espace des situations que le système doit gérer et confronter le corpus à cette carte, plutôt qu'à lui-même. Cela ressemble davantage à une analyse des lacunes qu'à un test de qualité des données, et nécessite en général l'implication d'une expertise métier. D'où le fait que cette démarche ne soit presque jamais effectuée par défaut.

Les quatre conseils à retenir

• Datez le contenu, et faites respecter ces dates par le système RAG. Cela n’est pas une politique de gouvernance, mais l’intégration des métadonnées réelles sur des documents réels, avec remplacement de version enregistré et filtré à la requête. C'est le changement le plus rentable que la plupart des organisations puissent apporter à un système de recherche, et il ne demande généralement qu'une semaine de travail, pas un programme complet.
• Enregistrez l'origine dès la création des données : rédigé par un humain, généré par une machine, tiers, scrapé. Un seul champ suffit pour l’indique. Cela ne coûte presque rien à l’instant et si cela n’est pas fait, c’est irrécupérable dans deux ans. Si vous ne faites qu'une chose sur cette liste, faites celle-là.
• Faites une revue de couverture avant un contrôle de qualité. Prenez les vingt questions les plus susceptibles d'être posées à votre système d'IA sur les domaines où une erreur coûte cher. Pour chacune, demandez-vous ce qui, dans le corpus, y répond réellement et avec quelle exhaustivité. Les lacunes identifiées constituent votre véritable registre des risques, et elles n'apparaîtront sur aucun tableau de bord.
• Élargissez la définition de « donnée » dans votre périmètre de gouvernance. La gestion des données gouverne l'entrepôt structuré, rarement les wikis, dépôts documentaires, tickets et transcriptions que l'IA consomme réellement. Cette frontière avait un sens quand les documents n'étaient pas véritablement exploités. Plus maintenant : la redessiner est un enjeu politique autant que technique.

En conclusion

La qualité de données n'a jamais été absolue. C'est une question d'adéquation à un usage. Les six dimensions classiques de la qualité de données encodent un usage précis. C’est-à-dire la création de rapports pour des humains qui apportent leur contexte et lisent en agrégé.

Un second lecteur s'est installé à côté du premier. Il lit un enregistrement à la fois, sans mémoire institutionnelle. Il est incapable de distinguer l'obsolète de l'actuel, il ignore ce qu'il maîtrise vraiment - et il dit tout et son contraire avec la même assurance.

Le tableau de bord restera au vert pendant que l'assistant citera, avec aplomb, une politique retirée en 2023. La bonne question n'est plus « nos données sont-elles propres », mais « propres pour qui, et pour faire quoi ». La réponse n'est plus celle d'il y a trois ans.

Cet avis d'expert a été initialement publié sur le site de Omdia.

Omdia est un cabinet d'analystes et de consultants spécialisés en IT. Il fait partie du groupe Informa TechTarget, également propriétaire du MagIT. Ses analystes entretiennent des relations commerciales avec des fournisseurs de technologies.