GenAI : « les hallucinations ne sont pas un bug, c’est une fonctionnalité » (Sam Altman)

ChatGPT, une découverte empirique

ChatGPT est un peu comme la tarte Tatin : une invention due quasiment au hasard. Et qui a, en tout cas, précédé sa compréhension.

« Il aura de plus en plus de travaux sur l’interprétabilité, même si aujourd’hui notre compréhension en est encore faible. »

« ChatGPT1 était d’abord et avant tout un résultat empirique », confirme Sam Altman. « On l’a souvent vu dans l’histoire des technologies. On fait une découverte. Cela fonctionne très bien sans que l’on sache trop pourquoi. Puis la science approfondit notre connaissance. Et la technologie s’améliore grâce à ce savoir ».

Aujourd’hui, les LLM (grands modèles de langages) et les modèles de fondation restent des « objets » à explorer. « Il y a eu de très bons travaux de fait sur l’interprétabilité », rappelle Sam Altman, « je pense qu’il y en aura de plus en plus [et] que nous serons capables de comprendre ces réseaux de neurones, même si aujourd’hui notre compréhension en est encore faible », admet-il.

En plus de lutter contre les biais, cette « explicabilité » est d’autant plus intéressante que les « petits morceaux que l’on comprend » (sic) ont déjà permis d’améliorer et d’optimiser les LLM.

Évolutions de ChatGPT et de l’IA générative

En plus de cette compréhension, le dirigeant d’OpenAI anticipe plusieurs évolutions majeures :

Le développement de la multimodalité. C’est à dire la capacité des modèles à interpréter et à générer de l’audio, des images et des vidéos. « Quand nous avons ajouté la voix à ChatGPT, l’accueil a été bien plus fort que ce que nous avions prévu », souligne Sam Altman.

« Aujourd’hui, nous engageons la même capacité de compute pour chaque token, que ce soit une question très simple, ou un problème complexe. »

La capacité à raisonner. ChatGPT 4 ne peut raisonner que de manière très limitée. Mais pour Sam Altman, ces capacités vont arriver. Si cette faculté venait à se concrétiser, ce serait un pas de plus vers l’AGI.

La fiabilité : « si on pose 10 000 fois la même question à ChatGPT, il y a aura forcément une réponse meilleure que toutes les autres. La question est de savoir laquelle c’est ». Or aujourd’hui, le LLM ne sait pas laquelle choisir. OpenAI travaille donc activement sur ce sujet.

L’adaptabilité (dont la capacité à utiliser ChatGPT sur ses propres données) et la personnalisation.

Des capacités de calcul qui s’adaptent en fonction des demandes (ou adaptive compute). « Aujourd’hui, nous engageons la même capacité de compute pour chaque token ; que ce soit pour répondre à une question très simple, ou pour comprendre un problème complexe ». Par exemple, demander d’expliquer la conjoncture de Riemann utiliserait la même capacité de calcul que de générer le mot « la », résume Bill Gates en forçant le trait.

Mais pour cela, il faudra « des choses beaucoup plus sophistiquées derrière », renchérit Sam Altman.

Réduction des coûts. Les coûts des LLMs – et le corollaire qu’est l’empreinte carbone – auraient déjà drastiquement diminué. Depuis trois ans, OpenAI aurait ainsi réussi à optimiser ses modèles et à réduire le coût de fonctionnement de ChatGPT 3 par 40, et ceux de la version 3.5 par 10. « Nous allons continuer », promet Sam Altman.

« Je pense que nous allons faire baisser le coût de l’intelligence à un niveau proche de zéro. »

« Je pense que nous sommes sur la tendance de réduction des coûts la plus forte de toutes les technologies, c’est bien plus que la loi de Moore », s’enthousiasme-t-il. « Il ne s’agit pas seulement de trouver comment rendre les modèles plus efficaces, mais aussi, à mesure que nous comprenons mieux la recherche, d’intégrer plus de capacités dans un modèle plus petit. »

Particulièrement optimiste, Sam Altman pense même que cette baisse amènera « le coût de l’intelligence à un niveau proche de zéro ».

Régulation : une AIEA de l’IA

On s’en doute, Sam Altman n’est pas un grand fan de régulations ni des appels à ralentir les développements de l’IA. « C’est une course inarrêtable », lâche-t-il à Bill Gates, « la valeur qu’elle apporte est trop importante ».

Il n’en reste pas moins qu’il milite pour un certain encadrement, conscient que l’accélération de l’IA est un défi majeur qui va au-delà du monde l’IT.

« Si cette technologie progresse autant que nous le pensons, les futurs systèmes extraordinairement puissants, encore hypothétiques aujourd’hui (avec 100 000 ou un million de fois la puissance de calcul de GPT-4) auront un tel impact sur la société, sur l’équilibre des pouvoirs géopolitiques, sur l’emploi et sur tant d’autres choses [que] nous avons commencé à intégrer l’idée de la nécessité d’un organisme de réglementation au niveau mondial. Un modèle souvent évoqué est celui de l’AIEA pour le nucléaire ».

« J’ai parlé à des chefs d’État dans de nombreux pays. J’ai vu un accord quasi unanime. »

L’idée serait d’assimiler les plus puissants supercalculateurs (ceux qui motoriseront les modèles d’IA les plus poussés) à des centrales voire à des armes nucléaires, et de soumettre pour audit l’entraînement des modèles qui utiliseront ces infrastructures à des experts indépendants avant leurs déploiements.

« Cela me semble possible. Je n’en étais pas si sûr avant, mais j’ai fait un grand voyage autour du monde cette année. J’ai parlé à des chefs d’État dans de nombreux pays qui devraient participer à ce projet. Et j’ai vu un accord quasi unanime en sa faveur ».

Cette AIEA de l’IA ne sera cependant pas la panacée. « Cela ne nous évitera pas tout », concède Sam Altman. « Il y aura toujours des choses qui tourneront mal avec des systèmes à plus petite échelle… et dans certains cas même probablement très mal. Mais je pense que cela peut nous aider à gérer les risques les plus importants ».

Pouvoir de transformation de l’IA : faire mieux et autrement

En attendant ces super systèmes, l’IA – générative ou non – a déjà commencé à faire sentir ses effets.

Le travail d’un développeur a par exemple déjà été accéléré par trois, estime Sam Altman. Ce qui, selon lui, permet non seulement de coder trois fois plus, mais surtout d’envisager des choses différentes.

« Le consensus était que l’on verrait un impact d’abord sur les cols bleus, puis sur les cols blancs, mais pas sur les créatifs. À l’évidence, ce n’est pas ce qui se passe. »

Et ce ne sont que les prémices, avertit le dirigeant qui, tout comme Bill Gates, n’a que peu de doutes sur l’avènement de l’AGI+ (IA généraliste qui dépassera les capacités humaines).

« Au moins pour les 5 ou 10 prochaines années, nous allons connaître une courbe d’amélioration très pentue. Les modèles actuels sont les plus bêtes [de ceux que nous connaîtrons]. Un jour, il y aura peut-être une IA à qui l’on pourra dire : “Va créer et diriger cette entreprise pour moi” ou “Va découvrir une nouvelle physique” ».

Une hypothèse futuriste farfelue ? Peut-être. Mais loin de la « science-fiction », Sam Altman rappelle que dix ans en arrière, personne n’aurait imaginé qu’une IA puisse remplacer, ou tout du moins concurrencer, des auteurs ou des graphistes.

« Le consensus était que l’on verrait d’abord un impact de l’IA (N.D.R. : avec l’automatisation et la robotique) sur les emplois ouvriers et peu qualifiés ; puis sur les employés de bureau et les cols blancs. Quant aux créatifs, on se disait que cela n’arriverait jamais, ou en tout cas bien après les autres. À l’évidence, ce n’est pas ce qui se passe ».

Sam Altman l’explique par le fait que les applications métiers « critiques » de l’IA – et la robotique – sont très contraintes et ne laissent pas facilement la place à l’expérimentation à tout va. Au contraire, l’IA générative est un champ beaucoup plus libre… qui a débouché sur les fameuses « hallucinations » (réponses inattendues, totalement et souvent fausses, données par un algorithme).

« En fait, les hallucinations des modèles ne sont pas un bug, c’est une fonctionnalité », plaisante Sam Altman. « Elles permettent de découvrir [et de générer] de nouvelles choses. […] il s’agit d’un cas où il faut simplement suivre l’évolution de la technologie. Vous pouvez avoir des idées préconçues, mais parfois la science ne veut pas les suivre ».

Le problème de la vitesse du changement pour la société

Le plus gros problème, pour Sam Altman, ne serait pas foncièrement ces changements, mais leurs vitesses. Car par rapport aux technologies précédentes, l’IA progresse beaucoup plus vite.

« Ce que je trouve potentiellement un peu préoccupant, c’est la vitesse à laquelle la société va devoir s’adapter. »

« L’humanité sait très bien s’adapter. Il y a déjà eu des basculements technologiques avec des quantités de métiers qui ont changé en une ou deux générations. Et sur ce laps de temps, on encaisse très bien l’évolution », avance-t-il. « Mais les révolutions technologiques vont de plus en plus vite. Celle-ci sera la plus rapide de toutes. Et de loin. C’est cela que je trouve potentiellement un peu préoccupant : la vitesse à laquelle la société va devoir s’adapter ».

Une problématique qui risque bien d’être la même pour les entreprises.