Qu'est-ce que le réglage fin dans l'apprentissage automatique et l'IA ?

Comment fonctionne le réglage fin ?

Le réglage fin commence avec un modèle existant qui a déjà été entraîné sur un ensemble de données vaste et diversifié, apprenant ainsi un large éventail de caractéristiques et de modèles. Par exemple, un modèle de reconnaissance d'images pré-entraîné peut avoir été entraîné sur des millions d'images, allant de paysages à des objets ménagers en passant par des personnes.

Dans le cadre de cette formation initiale, le modèle pré-entraîné apprend à généraliser en identifiant les modèles et les caractéristiques sous-jacents dans ses données d'entraînement. Au fil du temps, le modèle devient capable d'interpréter correctement les nouvelles entrées. Un modèle d'image de grande taille comme celui-ci apprendrait progressivement à détecter si une image contient un oiseau après avoir analysé des milliers d'images d'oiseaux.

Mais, malgré leurs impressionnantes capacités de généralisation, les modèles pré-entraînés prêts à l'emploi ne fonctionnent pas toujours bien pour des cas d'utilisation spécifiques. Le modèle susmentionné, entraîné sur des images générales, peut reconnaître un oiseau de manière générale, mais a du mal à distinguer précisément les différentes espèces, ce qui pose problème lorsqu'il s'agit de développer une application destinée à aider les ornithologues amateurs à identifier les oiseaux qu'ils observent, par exemple.

Construire un modèle complet de traitement d'images à partir de zéro pour une tâche aussi spécifique serait très gourmand en ressources informatiques, coûteux et probablement hors de portée d'un petit développeur d'applications. Le réglage fin joue un rôle crucial dans de tels scénarios, en tirant parti de l'apprentissage approfondi des modèles pré-entraînés et en adaptant ces connaissances de base à des tâches spécifiques. De cette manière, le réglage fin permet d'atteindre un équilibre entre les connaissances générales et l'expertise spécifique à une tâche.

Pour commencer à affiner un modèle d'apprentissage automatique, le développeur du modèle crée ou sélectionne un ensemble de données plus petit et spécialisé, adapté à son cas d'utilisation, tel qu'une collection de photos d'oiseaux. Bien que ces ensembles de données d'affinage puissent comprendre des centaines ou des milliers de points de données, ils restent généralement beaucoup plus petits que l'ensemble de données d'entraînement du modèle d'origine.

Après avoir acquis et prétraité ces données supplémentaires, le développeur continue à entraîner, ou affiner, le modèle pré-entraîné. Les premières couches du réseau neuronal, qui capturent les caractéristiques de base telles que les textures simples dans les images ou les intégrations vectorielles dans le texte, restent généralement inchangées, ou « gelées ». En revanche, les couches suivantes sont ajustées ou ajoutées afin de capturer les nouvelles données et de mieux correspondre à la tâche à accomplir.

Ce processus vise à trouver un équilibre entre la conservation des précieuses connaissances fondamentales du modèle et l'amélioration de ses performances dans le cas d'utilisation du réglage fin. À cette fin, les développeurs de modèles fixent souvent un taux d'apprentissage plus faible, un hyperparamètre qui décrit dans quelle mesure les poids d'un modèle sont ajustés pendant l'entraînement. La fixation d'un taux d'apprentissage plus faible pendant le réglage fin permet d'éviter des changements radicaux dans les poids déjà appris, garantissant ainsi que le modèle conserve ses connaissances existantes.

Quels sont les risques et les avantages du réglage fin ?

Comme pour toute technique d'apprentissage automatique, le réglage fin d'un modèle présente certains avantages et inconvénients.

Les principaux avantages du réglage fin sont les suivants :

• Coût et efficacité des ressources. L'ajustement d'un modèle pré-entraîné est généralement beaucoup plus rapide, plus rentable et plus efficace en termes de calcul que l'entraînement d'un modèle à partir de zéro. Cela se traduit par une réduction des coûts et des exigences moins contraignantes en matière d'infrastructure.
• Meilleures performances dans les cas d'utilisation restreints. Les modèles pré-entraînés affinés, qui combinent un apprentissage fondamental étendu et un entraînement spécifique à une tâche, peuvent atteindre des performances élevées dans des cas d'utilisation spécialisés. Cela s'avère particulièrement utile dans les scénarios où les données spécifiques à une tâche sont limitées.
• Démocratisation des capacités d'apprentissage automatique. Le réglage fin contribue à rendre les modèles d'apprentissage automatique avancés plus accessibles aux particuliers et aux organisations disposant de ressources informatiques et financières limitées. Même les petites organisations qui ne seraient pas en mesure de créer un modèle à partir de zéro peuvent adapter des modèles pré-entraînés à toute une série d'applications.

Cependant, l'ajustement fin comporte également un certain nombre de risques et de défis, notamment les suivants :

• Sur-ajustement. Problème courant lors du traitement de petits ensembles de données, le sur-ajustement se produit lorsqu'un modèle d'apprentissage automatique s'appuie trop étroitement sur ses données d'entraînement et apprend des caractéristiques non pertinentes, ou « bruit », ce qui entraîne de mauvaises performances sur des données nouvelles et inconnues. Des stratégies telles que l'augmentation des données, la régularisation et l'intégration de couches de dropout peuvent aider à atténuer cette limitation.
• Équilibrer les connaissances nouvelles et celles acquises précédemment. Il existe un risque que le modèle affiné oublie les connaissances générales acquises lors du pré-entraînement, en particulier si les nouvelles données diffèrent considérablement des données d'origine. Le gel d'un trop grand nombre de couches peut empêcher le modèle de bien s'adapter à la nouvelle tâche, tandis que le gel d'un trop petit nombre risque de faire perdre des caractéristiques importantes acquises précédemment.
• Dépendance vis-à-vis des modèles pré-entraînés. Le réglage fin dépendant fortement du modèle pré-entraîné, toute faille ou limitation de ce dernier peut affecter son équivalent réglé finement. Par exemple, si le modèle pré-entraîné présente des biais ou des failles de sécurité, ces défauts pourraient persister, voire s'aggraver dans le modèle réglé finement s'ils ne sont pas corrigés avant ou pendant le réglage fin.

Applications concrètes pour le réglage fin

Le réglage fin peut être utilisé dans de nombreux cas concrets. En voici quelques exemples :

• Service client. Une entreprise pourrait affiner un LLM général à partir d'un ensemble de données issues d'interactions antérieures avec le service client, spécifiques à ce secteur ou à cette organisation. Le chatbot ainsi affiné pourrait alors répondre plus efficacement aux questions des utilisateurs concernant le secteur d'activité et les produits de l'entreprise.
• Commerce de détail et commerce électronique. Une plateforme de commerce électronique cherchant à améliorer son moteur de recommandation de produits pourrait affiner un modèle pré-entraîné à partir des données d'interaction des utilisateurs de l'entreprise, telles que l'historique des achats et les évaluations des utilisateurs. Ce modèle affiné pourrait alors offrir aux utilisateurs des recommandations de produits plus personnalisées et plus précises.
• Santé et médecine. Les chercheurs médicaux qui étudient une maladie rare pourraient affiner un modèle de traitement d'images pré-entraîné à partir d'un petit ensemble de données provenant de tomodensitométries spécifiques à cette maladie. Le modèle affiné pourrait alors identifier les marqueurs de la maladie avec une plus grande précision.
• Recherche historique. Un historien travaillant à la numérisation de textes anciens peut rencontrer des difficultés pour effectuer une reconnaissance optique automatique des caractères dans une langue archaïque. Le pré-entraînement d'un modèle de traitement du langage naturel (NLP) sur un corpus de ces textes anciens pourrait aider le modèle à mieux reconnaître leurs caractéristiques linguistiques distinctives.
• Conservation et durabilité. Une équipe d'écologistes qui suit la faune dans une forêt peut avoir besoin de différencier les sons des animaux du bruit de fond dans les enregistrements audio. Elle peut affiner un modèle de traitement audio pré-entraîné à partir d'un ensemble de données d'enregistrements audio forestiers, en apprenant au modèle affiné à isoler les bruits spécifiques des animaux.

RAG vs ajustement fin vs apprentissage par transfert

La génération augmentée par la récupération (RAG), le réglage fin et l'apprentissage par transfert sont des concepts distincts qui partagent certaines similitudes générales. En bref, le réglage fin et l'apprentissage par transfert sont des stratégies permettant d'appliquer des modèles préexistants à de nouvelles tâches, tandis que la RAG est un type d'architecture de modèle qui combine la récupération d'informations externes avec des capacités d'IA générative.

L'apprentissage par transfert, le concept le plus large des trois, consiste à utiliser les connaissances acquises par un modèle lors d'une première tâche comme point de départ pour une deuxième tâche connexe. L'apprentissage par transfert est une stratégie courante dans les domaines de l'apprentissage profond tels que le NLP et la vision par ordinateur, en particulier pour les tâches où la collecte de données exhaustives est difficile.

Le réglage fin est une technique spécifique appartenant à la catégorie plus large de l'apprentissage par transfert qui consiste à apporter de légers ajustements aux paramètres d'un modèle pré-entraîné afin d'améliorer ses performances sur une tâche spécifique. Cela implique souvent de modifier ou d'ajouter certaines couches au modèle, tout en conservant la majeure partie de la structure du modèle pré-entraîné d'origine.

Contrairement à l'apprentissage par transfert et au réglage fin, le RAG fait référence à un type spécifique d'architecture de modèle NLP. Le RAG combine un modèle linguistique pré-entraîné avec un système de recherche de connaissances. Contrairement au réglage fin et à l'apprentissage par transfert, qui sont des méthodes d'entraînement par apprentissage automatique, le RAG est une technique permettant d'améliorer les résultats du modèle en intégrant des informations supplémentaires provenant de sources de données externes.

Dans le RAG, le modèle récupère des informations contextuelles à partir d'une source de connaissances externe (par exemple, une base de données ou une collection de documents) en réponse à la requête d'un utilisateur. Un modèle d'IA générative, tel qu'un LLM basé sur un transformateur, utilise ensuite ces données pour alimenter sa sortie. Cela s'avère particulièrement utile pour les applications où la génération de réponses précises nécessite des informations qui ne sont pas contenues dans le LLM lui-même.