Chaosamran_Studio - stock.adobe.
Qualité de données et IA : Qlik fait évoluer son « Trust Score »
Qlik fait légèrement évoluer le Trust Score acquis avec Talend afin de l’adapter aux exigences des entreprises à l’ère de l’IA générative et agentique.
Qlik a annoncé la disponibilité générale de « Qlik Trust Score for AI » au sein de Qlik Talend Cloud Enterprise Edition. Cet « outil » est une extension du Trust Score introduit en 2020 par Talend dans sa plateforme d’intégration. C’était avant son rachat par l’acteur américain d’origine suédoise.
Selon une étude de Qlik, « seuls 42 % des dirigeants expriment une confiance totale, prête à être auditée, dans les informations générées par l’IA, même si près de 90 % d’entre eux affirment que l’IA est désormais au cœur de leur stratégie concurrentielle ».
Justement. L’éditeur croit fermement en l’adage « garbage in, garbage out ». Tout comme il est nécessaire d’évaluer les résultats des LLM contre des cas d’usage réels, Qlik insiste sur la nécessaire mise en qualité de données pour l’IA générative et agentique.
En cinq ans, le Trust Score a fait ses preuves
D’après Jacques Padioleau, vice-président de la région EMEA Sud chez Qlik, l’éditeur « considère » que le Trust Score est utilisé par 70 % des clients de Qlik Talend Cloud. « Les entreprises l’exploitent pour fédérer leurs populations autour d’un objectif, la qualité de données », vante-t-il. « Avec l’émergence de l’IA générative et agentique, nous avons besoin d’intégrer des dimensions différentes », ajoute-t-il.
Le Talend Trust Score se présente sous la forme d’une note et d’un diagramme de Kiviat (plus connu sous les appellations diagramme en radar ou en toile d’araignée). Ce score était jusqu’alors fonction de l’usage, de la « découvrabilité », de la complétude, de la validité et de la popularité des jeux de données.
La validité correspond à la proportion de valeurs correctes et incorrectes au sein des jeux de données, à partir des anomalies détectées par de règles de validation et de types sémantiques (par exemple, noms, codes postaux, numéro de téléphone pour un fichier client). La note de complétude prend en compte le nombre de lignes non vides. La popularité combine les notes des utilisateurs et le niveau de certification des jeux de données. La découvrabilité jauge la documentation (métadonnées, labels, attributs) et l’accès (présence d’une API) aux données. La note d’usage découle du nombre de pipelines et de jobs de préparation de données s’appuyant sur ces « data sets » référencés dans la plateforme.
Des dimensions supplémentaires pour juger la qualité des données vouées à alimenter les IA
Désormais, la mise à jour Trust Score for AI ajoute les notions de diversité, de fraîcheur, de données (« timeliness ») et l’exactitude (« accuracy »).
Le score d’exactitude indique le taux d’application des règles de validation de qualité des données, pondéré suivant leur criticité. En clair, il s’agit de renseigner les données à remédier dans le cadre d’une application d’IA. Les règles de validation sont configurées à l’aide d’une interface reprenant les codes « If Then Else ».
La note de fraîcheur compare la fréquence réelle d’actualisation des données aux seuils configurés dans la plateforme. L’évaluation de la diversité résulte de l’analyse « d’homogénéité et de la répartition du volume de données ». Plus précisément, cela doit permettre d’apprécier la variété de sources, les volumes et les distributions au sein des jeux de données.
Ici, il ne s’agit pas de noter les résultats des grands modèles de langage sur les données des entreprises, mais de s’assurer que les informations qui leur sont transmises sont exactes et correctement formatées.
Cette analyse de la qualité des données peut être réalisée sur des fichiers (CSV, TXT, QVD, XLS et XLSX) ou des « connexions », des intégrations avec des jeux de données plus régulièrement utilisées. Dans le cas d’un mécanisme RAG, il convient d’avoir converti les données non structurées – les documents – en fichiers semi-structurées ou structurées.
C’est pour cela que Qlik Talend a prévu d’ajouter deux dimensions supplémentaires au cours des six prochains moins. Il entend intégrer les notions de sécurité et de « préparation pour les LLM ». Selon un livre blanc publié par Qlik, le score de sécurité résultera de l’analyse de l’application des règles de classification (sensible, confidentiel, restreint), de protection (pseudonymisation, chiffrement, etc.) et de contrôle des accès. La « préparation pour les LLM » semble prendre en compte la tokenisation, le chunking et surtout la vectorisation des données non structurées.
En parallèle, l’éditeur a historicisé le score de confiance. L’idée est de permettre aux usagers de suivre les tendances en matière de qualité des données, en amont afin de corréler ces notes avec les potentiels effets, en aval. Qlik imagine pouvoir expliquer les dégradations de performance d’une application d’IA (biais, résultat incohérent, dérive des modèles IA/ML) ou la perte d’intérêt pour un produit de données.
Le Trust Score est généralement mis à disposition des métiers par les ingénieurs de données. L’éditeur prévoit d’équiper les data stewards à travers un programme d’accès anticipé consacré à l’intégration de l’IA dans sa suite de gouvernance. Règles automatisées et contrôle à l’échelle de la plateforme seront de la partie en vue de détecter et résoudre plus rapidement les problèmes de qualité de données.
Améliorer la qualité des produits de données
Le renforcement des attributs du Trust Score est aussi corrélé à l’apport d’un catalogue de produits de données. « Le Data Product Catalog intègre les règles métiers, la gestion des pipelines, des transformations, des jeux de données et des produits de données tout en offrant un lignage de données complet », promet Jacques Padioleau. Le catalogue embarque également une place de marché interne, ainsi qu’une prise en charge d’applications Qlik Sense. « Notre but est de permettre de redonner plus vite la main aux métiers », assure l’interlocuteur du MagIT.
Ce catalogue de produits de données, dont la disponibilité générale est prévue pour cet été, est actuellement en test chez un petit nombre de clients.
« Au lieu de commencer par une simple expression de besoin, nous visons à construire directement des preuves de concept (POC) concrètes », explique Jacques Padioleau. « Cette méthode permet à chacun – collaborateurs comme managers – de visualiser ses attentes, en matière de prise de décision, de niveau de qualité et de maintenance des données attendues, de produits de données, etc. ».
