Ascannio - stock.adobe.com
GPT-6.2 Astra et Sol : OpenAI paie la rançon de l’efficience
Avec sa collection GPT-6.2, le fournisseur de LLM égale à nouveau ses concurrents sur le papier. Il l’emporte sur le rapport performance-prix, mais ses processus d’entraînement provoquent une plus faible transparence de la chaîne de pensée, ce qui amplifie les risques de cybersécurité.
OpenAI a annoncé hier la disponibilité de GPT-6.2 Astra, un « modèle pour les projets les plus difficiles » et de GPT-6.2 Sol, un LLM « efficace et polyvalent pour le travail quotidien ».
Cette mise à jour n’est pas si anodine qu’il y paraît. OpenAI entend rester au niveau face à Anthropic et Google. Jusque-là, rien de nouveau. Mais il le doit le faire en conservant les bénéfices des collections GPT-6 et GPT-6.1. Toutes deux ont présenté un rapport prix-performance pertinent.
Évidemment, en matière de performance, GPT-6.2 Astra fait mieux que son aîné. Il obtient un score de 62 points sur l’intelligence Index d’Artificial Analysis, soit 5 de plus que GPT-6 Astra. Il passe devant Gemini Carbon (60 points), mais ne détrône pas le nouveau patron Claude Fable 5.2. Le bilan est plus mitigé pour GPT-6.2 Sol. Il ne gagne que deux points (55 points vs 57 points) face à GPT-6.1 Sol et reste derrière Claude Opus 5.5.
Confronté à l’index de Vals AI, GPT-6.2 Astra (67,66 %) et Sol (66,06 %) ne dépassent pas Claude Opus 5.5 (70,14 %), Gemini 4 Carbon (70,45 %) et Fable 5.2 (71,31 %).
« OpenAI affiche de solides performances dans nos deux principales évaluations axées sur les sciences », affirme Artificial Analysis. GPT-6.2 Astra « arrive en tête du benchmark “Terminal-Bench-Science 0.1”, qui porte sur les flux de travail de recherche scientifique automatisés, et se classe deuxième, juste derrière Claude Fable 5.2, dans le benchmark “CritPt v2” (sous-ensemble difficile), consacré au raisonnement en physique », poursuit-il. Vals AI obtient des résultats similaires.
Pour Artificial Analysis, GPT-6.2 Astra ne pécherait qu’en matière de connaissances factuelles (un score AA-Omniscience 1.1 plus faible) et de finesse de raisonnement (HLE-Diamond). L’écart avec GPT-6.2 Sol semble se jouer sur les tâches les plus difficiles, principalement liés à la recherche scientifique agentique. Les deux modèles ont un taux d’hallucination de 59 % et 55 %, bien supérieur à celui de Gemini 4 Carbon et Hydrogen.
GPT-6.2 Sol perd surtout trois points sur l’Intelligence Coding Index. Cette baise est en grande partie due à une chute de 14 points sur le test SWE-Atlas-Qna-AA, où l’évaluateur mesure la compréhension d’une base de code situé sur GitHub par le modèle. Il « omettait des faits importants dans ses réponses ».
Tout comme GPT-6.2 Astra, Sol se rattrape sur la modélisation 3D où il se frotte à Claude Fable 5.2. Les deux LLM seraient également performants en matière de robotique.
Un rapport coût-performance toujours très avantageux
Malgré cette régression en matière de programmation, GPT-6.2 Sol surpasse de peu GPT-6.1 Sol et reste facturé au même prix : 2 dollars pour 1 million de tokens en entrée, 10 dollars pour le même volume en sortie.
GPT-6.1 Sol avait déjà l’avantage d’être peu gourmand. GPT-6.2 Sol fait légèrement mieux. Il ne génère « que » 60,9 millions de tokens pour terminer les tests de l’Intelligence Index. Le cabinet rapporte 2,22 milliards de tokens vus en entrée. A contrario, GPT-6.1 Sol génère 63,7 millions de tokens pour 1,92 milliard de tokens enregistrés en entrée.
En conséquence, le coût à la tâche tombe de 1,27 à 1,01 dollar. En face, Claude Opus 5.5, au même niveau d’effort, coûte 10,04 dollars par tâche, presque dix fois plus.
Mais c’est sans doute du côté de GPT-6.2 Astra que cette efficience se fait plus fortement ressentir. Celui-ci est facturé 8 dollars pour 1 million de tokens en entrée, 40 dollars en sortie.
Selon Artificial Analysis, son coût par tâche atteint 4 dollars contre 26,54 dollars pour Claude Fable 5.2 et 7,76 dollars avec Gemini 4 Carbon. Le fleuron d’OpenAI ne génère que 65,8 millions de tokens pour 2,16 milliards de tokens comptabilisés en entrée. À titre de comparaison, Fable 5.2 génère 275 millions de tokens pour 28,3 milliards de tokens vus en entrée.
C’est toutefois plus que GPT-6 Astra (54,3 millions de tokens générés pour 1,68 milliard vues). OpenAI compense par un prix en baisse de 20 % (10/50 dollars).
Il faudrait toutefois suivre les indications d’OpenAI pour bénéficier de ce comportement. « Pour GPT-6.2 Astra et Sol, afin d’améliorer la réutilisation du cache, de contribuer à réduire les coûts et la latence et de préserver le raisonnement d’un tour à l’autre, nous recommandons de conserver les préfixes des prompts inchangés et d’ajouter les nouvelles instructions à la suite de la conversation », précise le fournisseur.
Comme LeMagIT l’a déjà mentionné, cette efficience est à la fois liée à l’efficacité du tokenizer d’OpenAI et sa manière de gérer au post-entraînement la chaîne de pensée (Chain of Thought ou CoT).
Obfuscation de la chaîne de pensée : OpenAI ne rattrape pas le tir
Or, ce comportement économique est contrebalancé par un gros défaut. Lorsqu’OpenAI a combiné des capacités de raisonnement longues avec un mécanisme de réponse immédiate tout en réduisant les tokens générés par la CoT, les modèles de la collection GPT-6 ont commencé à produire des résultats inattendus, voire dangereux.
Plus particulièrement, ils se sont montrés plus efficaces lors des tentatives d’évasion de leur sandbox. C’est le même type de modèle qui a conduit à l’incident de sécurité vécue par Hugging Face cet été.
Comme GPT-6 Astra, GPT-6.2 Astra peut tenter de cacher sa chaîne de pensée. Il s’avère même meilleur que son prédécesseur à cet exercice. Pire, il présente naturellement ce comportement non souhaité aux niveaux d’effort inférieur (low, medium).
« Quand les modèles n’étaient pas invités à dissimuler leur comportement […], les deux modèles GPT-6.2 ont généré des traces de raisonnement plus courtes que GPT-6 Astra aux niveaux d’effort les plus bas testés, et étaient plus difficiles à surveiller à partir de ces seules traces », notent les chercheurs d’OpenAI. Avec une longue chaîne de pensée, ils supputent que les modèles auraient plus de mal à effacer les traces de leur tentative d’évasion des sandbox.
Malgré tout, OpenAI affirme avoir renforcé son système d’observabilité et ses garde-fous.
« Tant en mode guidé qu’en mode non guidé, le taux d’évasion détecté par le moniteur de trajectoire complète est proche de zéro, et aucune évasion réussie n’a échappé au moniteur basé uniquement sur les actions. Cela suggère que les modèles ne sont pas capables de dissimuler leurs actions lorsqu’ils s’échappent des bacs à sable, et que nos moniteurs ayant accès à la trajectoire complète les détecteraient », ajoutent les chercheurs.
En attendant, l’enjeu de compréhension du code source relevé par Artificial Analysis pourrait découler des mêmes mécanismes. GPT-6.2 Astra et Sol démontrent une plus forte propension à omettre les erreurs d’appels aux outils et les obstacles rencontrés dans leurs réponses.
Des filtres de sécurité renforcés
En de rares occasions, selon les tests menés par l’AI Security Institute britannique, « GPT-6.2 Astra est capable de dissimuler ses actions afin de déjouer certains systèmes de surveillance (ou contrôleurs humains), par exemple en encodant des commandes malveillantes dans des données d’apparence inoffensive (comme des tests unitaires ou de la documentation) ».
Et OpenAI de noter que ses modèles sont capables de réaliser des tâches plus complexes qu’auparavant sans produire de traces de raisonnement (comme un LLM classique). « Cette capacité pourrait permettre à GPT-6.2 Astra de mieux échapper à la surveillance, par exemple s’il détermine de manière stratégique quand et comment dissimuler ses actions sans produire de raisonnement compromettant ».
Il reste néanmoins difficile de calculer un risque d’évasion. À l’instar d’Anthropic a déjà joué du marketing de la peur. D’autant que ces comportements sont généralement observés pendant des exercices de sécurité.
C’est aussi pour cela qu’OpenAI a renforcé ses filtres. Tout en prenant en compte que les deux modèles de raisonnement offrent de meilleures cyber-capacités et de recherche de vulnérabilités. Certains flux légitimes peuvent être bloqués. Le fournisseur redirige évidemment ses clients vers son programme Daybreak.
Pour approfondir sur IA appliquée, GenAI, IA infusée
-
IA : Gemini 4 Hydrogen pèche (lui aussi) par gourmandise
-
Claude Fable 5.2 est toujours plus performant… et encore très cher
-
Gemini 4 Carbon : Google troque l’efficience contre la première place du classement
-
Copilot Fusion : GitHub veut choisir et combiner les modèles d’IA à la place des développeurs
