Getty Images
IA : peut-on conjuguer frugalité et performance ?
L'attrait de l'intelligence artificielle n'est pas près de se démentir. Mais certains modèles peuvent s'avérer particulièrement gourmands en ressources, notamment énergétiques, ne serait-ce que pour leur entraînement. C'est l'une des raisons pour lesquelles l'IA frugale entre en scène.
L’utilisation de l’Intelligence Artificielle a fortement augmenté ces dernières années avec un marché valorisé à 341,8 milliards de dollars en 2021 et dont la croissance pour 2022 devrait atteindre près de 19%. Cette croissance est portée en premier lieu par les entreprises qui ont lancé massivement des projets utilisant l’intelligence artificielle, s’appuyant sur les nombreux cas d’usage qui sont permis par cette technologie.
Il s’agit également d’un thème au cœur de la stratégie de la France pour ces prochaines années, avec un grand plan d’investissement dans ce secteur annoncé par Emmanuel Macron dès 2018. Une nouvelle phase de cette stratégie mobilisera 2 milliards d’euros.
Néanmoins, cette utilisation croissante de l’intelligence artificielle n’est pas neutre sur le plan environnemental. En effet, plusieurs impacts sont associés à cette technologie : cycle de vie des équipements utilisés, consommation énergétique associée à l'entraînement et à l’utilisation des modèles, notamment.
Et les impacts environnementaux peuvent devenir vraiment problématiques lorsque l’on utilise de gros modèles de Deep Learning. Concrètement, la consommation énergétique d’une seule exécution d'entraînement d’un modèle de Deep Learning dédié au traitement du langage naturel tel que le modèle GPT-3 ou le MT-NLG, qui comptent des centaines de milliards de paramètres, dépasse le million de kilowatts-heures sur un mois de calcul, l’équivalent de 500 vols aller-retour entre Paris et New York en terme d’émissions carbone.
Face à ce constat, une sous-thématique de l’intelligence artificielle émerge de plus en plus, celle de l’IA dite frugale.
Frugalité de l’IA, de quoi parle-t-on ?
La raison d’être de l’IA frugale réside dans la construction de modèles robustes, nécessitant peu de données et de puissance de calcul et consommant moins d’énergie. Cette notion de frugalité peut être envisagée sous plusieurs aspects : technique, philosophique, économique…
Elle vise à répondre à des enjeux de numérique responsable et de nécessaire sobriété face aux défis environnementaux auxquels sont confrontés l’Humanité mais également à contrer la logique du « toujours plus » qui a tendance à primer dans le champ de la recherche en intelligence artificielle.
Idée qui s’illustre notamment dans la course à la performance que se livrent principalement les plus grosses entreprises de la Tech, GAFAM en tête, avec des modèles de Deep Learning intégrant toujours plus de paramètres.
Face à cela, la recherche en IA frugale vise à fournir une troisième voie entre le statu quo technologique et la destruction environnementale, celle de remettre les besoins réels au centre de la recherche et de faire aussi bien avec moins.
Frugalité rime-t-elle avec nullité ?
Si sur le champ purement prosodique ces deux notions riment bien, qu’en est-il sur le champ technologique ?
Il s’agit d’une idée bien installée chez un certain nombre d’entre nous et plus globalement au sein de nos sociétés : la sobriété serait nécessairement synonyme de perte de performance, d’ennui voire de déclin. En effet, il peut être difficile d’admettre que quelque chose puisse rester sobre et performant à la fois.
Et il est alors tout à fait légitime de se poser la question dans le cadre de l’intelligence artificielle. Est-il possible de faire aussi bien avec moins ? En d’autre termes, est-il possible de conjuguer frugalité et performance ?
Des techniques au service de la frugalité
La recherche en IA frugale a déjà produit un certain nombre de techniques qui permettent de construire des algorithmes moins gourmands en ressources tout en préservant leurs performances.
La première de ces techniques, et également l’une de plus prometteuses, est l’apprentissage par transfert ou transfer learning. Cette technique d’apprentissage permet d’exploiter les connaissances de modèles précédemment formés afin de former de nouveaux modèles. Concrètement, au lieu de former un réseau de neurones à partir de zéro pour exécuter une tâche, il est possible d’utiliser un réseau déjà formé dans un domaine différent et de l’adapter au domaine qui nous intéresse.
Par exemple, un algorithme ayant été entraîné pour reconnaître des fleurs pourrait ainsi être réutilisé pour reconnaître des voitures. Cette solution présente ainsi de nombreux avantages car elle réduit considérablement le volume de données nécessaires à un algorithme de Deep Learning, mais également le temps d'entraînement et donc l’empreinte carbone associée.
Même Google s’est lancé dans l’utilisation de cette technique avec son algorithme DistillBERT une version allégée de BERT qui utilise 40 % de paramètres en moins et s'entraîne 60 % plus rapidement tout en conservant 95 % des performances de l’algorithme original, une perte de performance infime au regard des gains dans les autres domaines.
Parmi les autres méthodes l’on peut nommer le pruning ou élagage qui consiste à sectionner certaines branches du réseau de neurones pour ne conserver que les informations qui seront réellement nécessaires à la résolution du « use case » avec une légère perte de performance encore une fois compensée par les gains de temps et de ressource.
La quantization constitue également une option. Ici, on vient simplifier l’information qui circule dans les neurones en arrondissant les valeurs numériques, ce qui permet d’alléger le poids de l’algorithme.
Finalement la technique des mixtures of experts, avec pour exemple Switch Transformer de Google, permet également de faire de la frugalité tout en restant performant.
Un changement de paradigme est nécessaire
Néanmoins, la seule prise en compte de l’aspect technique ne suffit pas à répondre à la question. En effet, il peut être nécessaire de reconsidérer l’idée de performance dans le cadre de l’intelligence artificielle.
Ainsi, un grand nombre de cas d’usage qui existent à l’échelle d’une organisation peuvent être résolus grâce à des algorithmes simples intégrant un nombre limité de paramètres. Les modèles de Deep Learning les plus puissants ont, dans les faits, peu de chance d’être utilisés en dehors des laboratoires de recherche.
En ce sens, il n'y a pas de perte de performance induite par l’utilisation d’algorithmes frugaux car ils répondent à un besoin réel de manière efficace. Nous pouvons en tirer la conclusion suivante : si le système d’IA utilisé par l’entreprise répond au besoin alors il est performant, indépendamment du nombre de paramètres et de sa complexité architecturale.
De la même manière, il faut envisager le concept de performance sous un angle plus large : ne pas considérer uniquement la performance comme un indicateur de la puissance de calcul d’un algorithme mais également la performance environnementale, énergétique et économique. En intégrant ces notions l’on peut dire que l’utilisation d’algorithmes d’IA frugaux ne nuit pas à la performance dans sa globalité, et peut même l’améliorer en induisant des économies d’énergie et une baisse des émissions carbone.
En considérant l’importance croissante des critères environnementaux et l’augmentation du coût de l’énergie, le fait d’intégrer la performance au sens large s'avère pertinente pour les organisations.
Ainsi, on se rend compte qu’il est tout à fait possible de conjuguer frugalité et performance, à la fois grâce à la recherche dans ce domaine qui permet de faire émerger des techniques innovantes, mais également en reconsidérant le concept de performance à l’échelle de l’organisation.
Les algorithmes d’IA frugaux pourraient même devenir un avantage comparatif en permettant d’économiser des ressources énergétiques qui se feront de plus en plus précieuses, mais également en permettant une industrialisation simplifiée, un enjeu majeur lorsque l’on parle d’intelligence artificielle.
Nous le voyons, la clé pour un usage efficace de l’intelligence artificielle dans le futur sera de considérer l’usage de la technologie comme une solution répondant à un besoin, et de toujours avoir en tête le rapport entre le coût (énergétique, environnemental et économique) et la puissance requise pour accomplir une tâche.
A cet égard, il y a fort à parier que le futur de l’intelligence artificielle sera frugal pour une majorité des organisations.
Pour approfondir sur Intelligence Artificielle et Data Science
-
L’IT et le marketing sont friands d’IA, la finance et les RH beaucoup moins (KPMG)
-
Esker développe sa propre IA générative « frugale » pour automatiser le traitement de commandes
-
L’intelligence artificielle démystifiée par… une IA
-
Les LLMs de Mistral enrichissent les jumeaux numériques de Dassault Systèmes