carte-modèles dans l'apprentissage automatique

Avantages de l'utilisation de cartes-modèles pour les projets d'IA, de ML et de LLM

L'essor de la ML et de l'IA entraîne un besoin de transparence et de gouvernance responsable. Les entreprises doivent comprendre à quoi servent les modèles de ML, comment ils fonctionnent, comment ils se comparent à d'autres modèles concurrents, comment ils sont formés et leur adéquation aux tâches prévues.

Les cartes modèles sont un outil qui permet de répondre à ces préoccupations qui ont un impact direct sur les questions de gouvernance et de réglementation pour l'entreprise. Les cartes de modèle peuvent apporter une série d'avantages importants aux projets de ML et d'IA, notamment les suivants :

• Sélection de modèles. En adoptant une norme cohérente pour le format et le contenu, les cartes de modèle peuvent aider les développeurs de ML et d'IA à évaluer et à sélectionner le modèle de ML le plus approprié pour le projet. Les cartes de modèle peuvent aider à réduire une liste initiale de candidats ML, à concentrer les tests et l'évaluation sur les modèles les plus appropriés et à accélérer la sélection finale du meilleur modèle ML pour la tâche à accomplir.
• Comportement et performance du modèle. Les modèles de ML ne sont pas parfaits, et les limites des ensembles de données d'entraînement ou les biais des méthodologies d'entraînement peuvent avoir un impact sur le comportement du modèle lorsqu'il traite des données du monde réel. Les cartes de modèles incluent généralement les limites connues des données et de la formation, ce qui permet aux utilisateurs de modèles de ML de voir et de corriger ces limites grâce à une formation et à des données supplémentaires. Cela peut aider l'entreprise à réduire les erreurs et les biais dans le modèle de ML et à améliorer les performances et les résultats du projet d'IA.
• Amélioration continue de l'IA. Les détails et les informations fournis par les cartes de modèles de ML aident les entreprises à sélectionner les modèles les plus appropriés et permettent aux développeurs de modèles de ML de comparer leurs modèles à d'autres afin de rendre les plateformes plus performantes et plus compétitives. Cela permet d'innover et d'améliorer les modèles de ML et les plateformes de ML et d'IA qui les utilisent.
• La gouvernance d'entreprise. Le vieil axiome "on ne peut pas gérer ce que l'on ne voit pas" est tout à fait approprié aux modèles modernes de ML. Une entreprise qui utilise des modèles de ML opaques ou incompréhensibles ne peut pas comprendre ou expliquer le comportement de son projet de ML ou d'IA en cours de développement, ce qui risque d'entraîner de graves violations en matière de continuité de l'activité, de gouvernance d'entreprise et de conformité réglementaire. Les cartes de modèles de ML sont un moyen pour l'entreprise de démontrer qu'elle comprend les modèles de ML sous-jacents qu'elle sélectionne et utilise.
• Transparence et éthique des affaires. Les technologies de ML et d'IA ont un impact sur la société - à la fois dans les données collectées et utilisées et dans la manière dont ces données sont traitées pour prendre des décisions. La documentation et les détails fournis dans les cartes de modèles de ML peuvent aider une entreprise à gérer le développement responsable de l'IA et à répondre aux préoccupations sociales concernant l'utilisation par l'organisation de l'IA et des données sous-jacentes.

Les 7 sections clés d'une carte-modèle

Les étiquettes et autres résumés informatifs sont généralement plus efficaces lorsqu'ils permettent de comparer des produits similaires côte à côte en utilisant des contenus et des formats comparables. Cependant, les informations présentées sur une carte de modèles ML peuvent varier. Contrairement aux affichages informatifs très réglementés, tels que l'étiquetage nutritionnel des aliments, il n'existe actuellement aucune norme régissant les informations ou le formatage inclus dans les cartes de modèle ML.

Les modèles de ML peuvent varier considérablement en termes de portée, d'objectif et de capacités, ce qui rend leur réglementation difficile. Par exemple, un modèle de ML développé pour aider au diagnostic médical peut être nettement différent d'un modèle de ML créé pour effectuer des analyses sur les opérations de vente au détail, ou d'un LLM complexe utilisé dans une construction d'IA. Par conséquent, les développeurs de modèles de ML font largement appel à leur propre jugement pour déterminer les informations à inclure et la manière dont ces informations doivent être présentées. Cependant, à mesure que les grandes entreprises technologiques développent des plateformes de ML/AI et documentent ces offres au moyen de cartes de modèles, certaines normes de documentation de facto prennent forme. Les modèles de cartes devraient comprendre les éléments suivants :

1. Données de base

Cette première section d'une fiche de modèle est généralement l'introduction du modèle, qui peut présenter les détails essentiels du modèle, notamment son nom, sa version, la liste des révisions, une brève description générale du modèle, les coordonnées de l'entreprise ou du développeur et les informations de contact, ainsi que les détails ou les limites de la licence.

2. Détails du cas d'utilisation

Cette section décrit les utilisations prévues, les cas d'utilisation et les utilisateurs du modèle. Par exemple, une section sur les cas d'utilisation peut décrire les utilisations dans la détection d'objets, la détection faciale ou les diagnostics médicaux. Cette section peut également inclure des mises en garde, des limitations d'utilisation ou des utilisations jugées hors du champ d'application. Par exemple, un modèle destiné à la détection d'objets peut détailler les données d'entrée provenant de photos ou de vidéos ; les données de sortie comprenant la détection d'un nombre spécifié de classes d'objets ; et d'autres données de sortie telles que les coordonnées de la boîte englobante de l'objet, l'identifiant du graphe de connaissances, la description de l'objet et le score de confiance.

3. Détails architecturaux

Cette section décrit la conception générale du modèle et du matériel sous-jacent qui exécute le modèle et héberge les données correspondantes. Les lecteurs peuvent se référer à la fiche de modèle pour comprendre les éléments de conception ou les technologies sous-jacentes qui permettent au modèle de fonctionner. Pour l'exemple du modèle de détection d'objets, la fiche de modèle peut décrire une architecture comprenant un modèle de détecteur d'images unique avec un réseau fédérateur Resnet 101 et une carte des caractéristiques du réseau de la pyramide des caractéristiques.

4. Détails de la formation

Cette section présente, décrit ou résume les données utilisées pour l'apprentissage du modèle ; où et quand les données ont été obtenues ; et toute distribution statistique des facteurs clés dans les données qui peuvent permettre un biais involontaire. Étant donné que les données d'entraînement peuvent être la propriété des développeurs du modèle, les détails de l'entraînement peuvent être délibérément limités ou protégés par un accord de confidentialité distinct. Les détails de la formation peuvent également décrire les méthodologies de formation employées avec le modèle.

5. Détails des performances

Cette section décrit les détails relatifs à la performance du modèle mesurée par rapport à un ensemble de données de test, et non à un ensemble de données d'apprentissage, ainsi que les détails relatifs à l'ensemble de données du test lui-même. Pour l'exemple du modèle de détection d'objets, les mesures de performance figurant sur la carte du modèle peuvent indiquer l'utilisation de l'ensemble de données d'images internes de Google et d'un ensemble d'images de source ouverte comme données de test, ainsi que le nombre de classes d'objets que le modèle peut détecter dans chaque ensemble de données. En outre, les détails de performance peuvent décrire les mesures rapportées, y compris la précision et l'exactitude de la détection d'objets. Les modèles plus sophistiqués peuvent utiliser d'autres mesures détaillées pour mesurer les performances.

6. Détails des limitations

Un segment clé de toute fiche de modèle est la section décrivant les limitations, les biais possibles ou les facteurs variables susceptibles d'affecter les performances ou les résultats du modèle. Pour l'exemple du modèle de détection d'objets, les limitations connues peuvent inclure des facteurs tels que la taille de l'objet, l'encombrement, l'éclairage, le flou, la résolution et le type d'objet, puisque le modèle ne peut pas tout reconnaître.

7. Informations sur l'entreprise

Ce dernier segment d'une fiche de modèle est souvent consacré à des détails d'ordre commercial, notamment des informations sur les développeurs du modèle, des coordonnées détaillées, des informations sur l'assistance et les licences, des informations sur l'équité/la confidentialité et l'utilisation, des suggestions pour le suivi du modèle, toute évaluation pertinente de l'impact sur les individus ou la société, et d'autres préoccupations éthiques ou juridiques potentielles liées à l'utilisation du modèle.

Exemples de cartes-modèles

Au fur et à mesure que les principales organisations technologiques construisent des plateformes de ML et d'IA, leur travail sur les cartes de modèle et d'autres documents a fourni une norme que les autres entreprises de ML doivent suivre. Il existe aujourd'hui de nombreux exemples de cartes de modèle de ML à examiner, dont les principaux suivants :

• Carte-modèle de Google pour la détection des visages.
• Carte-modèle du lama de Meta.
• Carte-modèle GPT-3 d'OpenAI.

Il existe également des outils plus standardisés pour la création de cartes de modèles, ainsi que des référentiels de cartes de modèles, tels que ces exemples :

• GitHub héberge un "template"pour la création de cartes-modèles ML.
• Google propose une boîte à outils de cartes-modèles disponible sur GitHub.
• Hugging Face propose un outil permettant de générer des cartes-modèles.

GitHub et Hugging Face fournissent tous deux un référentiel de modèles de cartes qui sont disponibles pour examen et étude, offrant des exemples de modèles de cartes pour de nombreux types de modèles, d'objectifs et de segments d'industrie différents.