Gen AI : 2024, année des « petits » Large Language Models (étude)

Little Big Models et SLM

En 2024, les grands modèles de langage se feront tout petits, prédit Capgemini. Qui n’est pas le seul à anticiper cette tendance.

L’industriel commence en effet à parler de SLM, alias des Small Language Models (par opposition aux Large Language Models), comme Microsoft avec son Phi-2 (moins de 3 milliards de paramètres).

« Les LLMs vont continuer à rencontrer le succès, [mais] le besoin de modèles plus petits et moins coûteux va croître aussi. »

« En 2024, l’IA générative sera-t-elle à la hauteur de l’énorme battage médiatique qu’elle a suscité en 2023 ? Oui », répond Capgemini. « Et si les LLMs actuels vont continuer à rencontrer beaucoup de succès, le besoin de modèles plus petits et moins coûteux va croître également », prédit l’ESN.

Le bénéfice de ces modèles plus « petits » est double. D’abord, moins de paramètres permettent à une IA générative d’être moins énergivore et plus « green ».

L’autre est que « ces modèles deviendront de plus en plus petits pour fonctionner sur des installations plus compactes, dotées de capacités de traitement limitées, comme le Edge ou sur de plus petites architectures d’entreprise ».

À noter que ces « petits » modèles peuvent être de deux types : des modèles conçus initialement pour être « petits » (les SML) et des modèles déclinés de grands modèles que l’on a « compressés » (que l’on pourrait appeler des « Little Big Models »).

IA générative clef en main

Les experts de Capgemini anticipent trois autres tendances pour l’IA générative.

Première tendance, pour minimiser les travers des « hallucinations » – les réponses fausses et inventées par l’algorithme – « de nouvelles plateformes [associeront] des modèles avec des informations de haute qualité provenant de graphes de connaissances ».

La qualité des données d’entraînement, de réentraînement ou de fine-tuning, est en effet critique pour optimiser les modèles et leurs empreintes énergétiques.

Deuxième tendance, des outils plus orientés métiers que développeurs automatiseront une partie de la mise en place d’une IA générative – « sans avoir besoin d’une expertise technique interne approfondie » (pour reprendre l’expression de Capgemini).

Cette démocratisation est à l’œuvre, par exemple, avec l’AI App Builder annoncé en novembre par OVHcloud (et actuellement en alpha), et des services Vertex AI Studio chez Google, Knowledge Base for Bedrock (ou les connecteurs pour Q) d’AWS, AI Studio chez Microsoft, ou encore dans Einstein Copilot Studio de Salesforce.

Mix d’IA génératives expertes

Troisième tendance, « à plus long terme », souligne Capgemini : des réseaux interconnectés de modèles spécifiques pour arriver à de « véritables écosystèmes génératifs multi-agents ».

« Ces progrès témoignent d’une évolution vers une IA générative plus accessible, polyvalente et rentable. »

La logique est déjà à l’œuvre chez certains éditeurs, comme Workday. « Nous utilisons des modèles beaucoup plus petits et de haute qualité que nous combinons souvent dans ce que nous appelons “un mix d’expertises”. Dans cette approche, chaque modèle est très qualifié pour connaître et faire une chose très bien », détaille Sayan Chakraborty, son CTO, qui souligne que l’avantage de modèles de taille plus petite est une consommation exponentiellement plus modeste.

« Ces progrès de l’IA générative témoignent d’une évolution vers une technologie plus accessible, plus polyvalente et plus rentable », conclut Capgemini. « Ces innovations permettront de développer plus rapidement des applications, tout en tirant davantage de valeur à long terme de l’IA générative. »