Peur de l’IA : Anthropic ne ralentit pas, elle renforce l’évaluation de ses LLM

Le cas Jacob Coxon

La démission bruyante du chercheur britannique Jacob Coxon d’Anthropic, déjà parti d’OpenAI pour ces mêmes raisons, oblige les deux leaders à prendre position. « Aucune des deux sociétés n’agit de manière responsable. Elles courent droit vers une forme de superintelligence qui s’autoaméliore et elles jouent avec nos vies », affirme-t-il, dans un tweet publié le 9 septembre.

Cette intelligence d’une forme supérieure dépasserait l’Intelligence artificielle générale, c’est-à-dire la capacité d’un algorithme à égaler un humain dans l’exécution de tâches cognitives.

« Ces gens qui bâtissent ces IA croient sincèrement qu’elles pourraient nous tuer d’ici à la fin de la décennie », ajoute-t-il.

Selon lui, OpenAI n’aurait pas intégré ce danger dans ses processus. Le 5 juillet dernier, avant l’attaque d’Hugging Face par ses agents autonomes, OpenAI a présenté son approche de « superalignement » afin de s’adapter aux capacités futures de modèles bien plus performants. Il s’agissait en premier lieu d’une annonce pour présenter la création d’une nouvelle équipe et la volonté de lui confier 20 % de la puissance de calcul réuni par la société dirigée par Sam Altman.

Anthropic en serait conscient, mais aurait dû mal à se dépêtrer de cette course à l’armement.

Le même jour, Evan Hubinger, membre des équipes techniques et responsable de la « science de l’alignement » des LLM chez Anthropic, a confirmé cette peur. « Je crois qu’il y a plus 10 % de chances qu’une IA tue des humains dans les dix prochaines années. Anthropic fait de son mieux, mais nous n’avons pas encore un plan pour résoudre le problème d’alignement de modèles superintelligent et nous n’y sommes pas encore en chemin ».

La crainte de l’amélioration récursive autonome

Evan Hubinger d’Anthropic considère toutefois que « le risque avec les modèles actuels est faible. Ce qui m’inquiète, c’est qu’une superintelligence émerge d’une amélioration récursive autonome et que cela se produise plus rapidement que nous l’avions prévu ».

L’amélioration récursive autonome implique qu’un réseau de neurones soit capable de réécrire ses propres paramètres, sans intervention humaine. Anthropic, OpenAI et Google ont rapporté des comportements et des pratiques (réécriture de pipelines d’entraînement par des modèles, planification des étapes d’entraînement, génération de base de code entière, etc.) rendant cette hypothèse tangible. Le phénomène n’en serait en réalité qu’à ses débuts.

Le 12 septembre, Dario Amodei, cofondateur et CEO d’Anthropic, a publié une tribune pour expliquer « pourquoi l’industrie de l’IA devrait ralentir ».

Lui aussi craint l’amélioration récursive autonome. « Elle commence à prendre forme à travers l’industrie IA, chez Anthropic également, comme nous et d’autres l’avons déjà décrit », affirme-t-il « Sans surveillance, elle pourrait dépasser notre capacité à comprendre et à contrôler ces systèmes, et doit donc être poursuivie avec une grande prudence, voire pas du tout ».

Coutumier du fait, le dirigeant estime que des modèles plus « intelligents » permettraient à une flotte d’agents comme celle qui a attaqué les systèmes d’Hugging Face, de produire beaucoup plus de dégâts à l’échelle d’Internet. Un risque qu’il estime plausible dans six à douze mois sans prise de mesure adéquate.

Des évaluations plus fines et plus transparentes, mais pas de ralentissement formel

Pour contrer ce phénomène, Dario Amodei prône l’intervention d’évaluateurs tiers. Puisque les modèles sont maintenant capables de tricher, il faut renforcer les évaluations et la manière de les analyser. Le dirigeant n’établit pas clairement que ces résultats serviront immédiatement à filtrer ou à aligner plus finement les LLM. Il évoque plus certainement les notions de transparence et deuxième opinion.

Anthropic est déjà en train de le faire avec le laboratoire METR. Celui-là même qui a repéré la capacité des modèles GPT-5.6 à « mentir ». L’évaluateur a aussi signé un contrat avec le concurrent d’OpenAI pour examiner de plus près les incidents des agents IA Claude et l’alignement des modèles.

Ces évaluateurs « embarqués » auront un accès limité au bureau et aux outils d’Anthropic. Ils doivent aussi avoir la liberté de publier leurs rapports « sans contrôle éditorial de la part d’Anthropic ».

La société veillera toutefois à prendre quelques mesures de supervision.

« Nous disposerons d’une capacité limitée à masquer les informations sensibles sur le plan de la sécurité, du secret professionnel, commercial ou des données confidentielles appartenant à des tiers. Cependant, nous ne pourrons pas masquer des conclusions simplement parce qu’elles sont défavorables », ajoute Dario Amodei. « Les évaluateurs pourront signaler publiquement si une suppression a occulté un élément important pour leurs conclusions ».

Dans un même temps, le dirigeant affirme qu’il est possible de continuer la course au sommet.

« Pour être clair, cette approche ne signifie pas interrompre l’entraînement des modèles ou freiner les progrès techniques, mais veiller à ce que les entreprises prennent le temps nécessaire pour harmoniser et sécuriser leurs modèles, et à ce que des évaluateurs tiers puissent le confirmer », affirme-t-il. « Notre cadre d’alignement vise à renforcer encore davantage notre engagement en faveur de la sécurité et à encourager une “course vers le haut” ».

OpenAI suit, SpaceX et Microsoft saluent l’initiative

Des pratiques d’évaluation que certains laboratoires pourraient voir comme des freins à l’innovation. Ces coûts supplémentaires seront plus difficiles à assumer s’ils n’ont pas les moyens des grands fournisseurs de LLM. « Je suis d’accord avec Dario que nous avons besoin de ralentir [les modèles] frontières. C’est un des principaux sujets de discussion chez OpenAI ces dernières semaines », a répondu Sam Altman sur X (ex-Twitter). « S’engager à donner un accès en interne aux évaluateurs indépendants est une bonne idée et nous allons faire de même. Nous en dirons plus prochainement ».

Dans un entretien publié par Fortune le 12 septembre, Sam Altman assure qu’il serait malavisé d’introduire OpenAI en bourse dans ce climat de suspicion. L’IPO ne sera donc pas pour 2026. L’entreprise devrait par ailleurs prendre des décisions qui ne sont pas dans l’intérêt immédiat de son activité économique et de ses investisseurs. L’on peut aussi supposer qu’OpenAI veuille observer le comportement des actionnaires lorsque son concurrent entrera en bourse.

Le 13 septembre, Bloomberg a écrit qu’Anthropic préparerait son IPO au NASDAQ dès le mois d’octobre, suggérant que le concurrent d’OpenAI n’a aucune intention de freiner son ascension financière. Une information que le fournisseur a refusé de commenter.

Elon Musk, dirigeant de SpaceX, se dit d’accord avec Dario Amodei, mais n’a pas pris d’engagement concernant le suivi de quelconques mesures par son laboratoire xAI. Lui aussi avait déjà réclamé à plusieurs reprises des pauses de développement des modèles.

« Nous saluons la recherche, l’attention portée à ce sujet et le ralentissement nécessaire pour faire de l’alignement un objectif de conception », a réagi Satya Nadella, CEO de Microsoft, sur LinkedIn. « Nous saluons également des idées telles que les “évaluateurs intégrés” et les efforts plus larges visant à développer les mécanismes permettant de passer de la théorie à la pratique ».

« L’essentiel est que cela ne puisse pas être contrôlé par une poignée d’entités, mais doit bénéficier d’une large représentation à travers l’écosystème, les pays et les domaines, y compris le monde universitaire », ajoute le dirigeant de Microsoft.