GPT-6 Astra : les évaluateurs indépendants tempèrent les affirmations d’OpenAI

GPT-6 Astra ne fait pas mieux que Claude Fable 5.1, selon Artificial Analysis et Vals AI

Artificial Analysis n’observe pas un bond de performance. Sur son Intelligence Index, GPT-6 Astra obtient le même score général de 61 points que GPT-5.6 Sol, 5 points de moins que Claude Fable 5.1. Sur son propre Index, l’évaluateur Vals AI observe une hausse de performance de 2,9 points de pourcentage entre GPT-5.6 Sol et GPT-6 Astra (63,71 % vs 66,61 %) qui reste derrière Claude Fable 5.1 (68,83 %).

Néanmoins, sur le test de recherche légale de Vals AI, GPT-6 Astra perd nettement en efficacité face à son prédécesseur. Quand GPT-5.6 Sol obtenait un score de 48,08 % à l’évaluation « Legal Research Bench », son successeur n’obtient que 39,42 %, un cheveu devant Gemini 3.8 Flash. Claude Fable 5.1 et Opus 5 obtiennent le même score (55,29 %). Du côté de la finance, GPT-6 Astra perd 0,22 point de pourcentage d’efficacité (53,54 %, vs 53,76 %). Là, c’est Gemini 3.8 Flash qui s’en sort le mieux (61,44 %).

La force relative de ce GPT-6 Astra, c’est la programmation agentique.

Chez Artificial Analysis, couplé à l’IDE agentique Codex, GPT-6 Astra égale le score de 67 points sur le « Coding Agent Index » de Claude Fable 5 dans Claude Code, mais reste derrière Muse Spark 1.3 de Meta, Claude Opus 5 (tous deux à 68 points) et Claude Fable 5.1 (70). Hormis sur son test de migration de code, Vals AI remarque une petite avance en faveur de GPT-5.6. En revanche, l’évaluateur lui trouve un score de précision de 81,53 % sur ses évaluations de code, devant Claude Fable 5.1 (76,5 %) et GPT-5.6 Sol (67,53 %). À noter qu’OpenAI a modifié le comportement du LLM dans Codex. « Astra peut conserver des notes dans différentes fenêtres de contexte, en préservant les détails accumulés sans les condenser à plusieurs reprises en un seul résumé », indique OpenAI. « Les fenêtres de contexte antérieures restent consultables. Astra peut ainsi retrouver des exigences ou des résultats de test issus de messages précédents et de sorties d’outils, même si ces informations n’ont pas été enregistrées dans ses notes ». Cette fonctionnalité expérimentale sera pleinement disponible dans les « prochaines semaines ».

Une efficience gâchée par la forte hausse des prix

Bonne nouvelle d’après Artificial Analysis, GPT-6 Astra consomme bien moins de tokens que son prédécesseur. Pour accomplir les tests du cabinet, GPT-5.6 Sol avait généré 70 millions de tokens. GPT-6 Astra les termine avec 42 millions de tokens au compteur. Un gain de 40 %. « GPT-6 Astra profite d’une amélioration considérable en matière d’efficience : il utilise trois fois moins de tokens que GPT-5.6 Sol (max) dans le benchmark Codex, et cinq fois moins que Claude Opus 5 (xhigh) », précise Artificial Analysis.

Sur ce point, OpenAI réussit là où ses concurrents échouent. À la tâche, le cabinet estime que le LLM ( Large Language Model ou grand modèle de langage) génère environ 10 % de tokens en moins que GPT-5.6 Sol réglé sur l’effort maximum.

Malheureusement, ces gains sont « effacés » par l’augmentation franche du prix du modèle. GPT-6 Astra coûte 10 dollars pour 1 million de tokens en entrée et 50 dollars en sortie pour le même volume. Autant que Claude Fable 5.1. Un tarif multiplié par 2,5 par rapport au prix remisé de GPT-5.6 Sol (4 dollars en entrée et 20 dollars en sortie par million de tokens). Une fois le tarif final en vigueur (5/30 dollars), la hausse moyenne atteindra 83,33 %. La hausse du coût à la tâche est de 75 % (0,95 dollar vs 1,67 dollar). En la matière, GPT-6 Astra s’en sort bien en matière de programmation agentique : il coûte aussi cher que son prédécesseur pour la même tâche et « moins de moitié moins du prix de Claude Fable 5 pour un score identique ».

Vals AI se cantonne à évaluation des dépenses par test. GPT-6 Astra lui a coûté en moyenne 19,09 dollars par benchmark, contre 13,79 dollars pour GPT-5.6 Sol. À titre de comparaison, Gemini 3.8 Flash lui a demandé de débourser en moyenne 5,39 dollars par évaluation, avant la hausse tarifaire prévue au 1^er janvier 2027.

Le véritable gain notable concerne la baisse d’hallucinations. Sur le benchmark AA-Omniscience d’Artificial Analysis, le taux d’hallucination est divisé par deux par rapport à GPT-5.6 Sol à niveau d’effort équivalent (max). Selon OpenAI, c’est la conséquence d’un effort d’alignement sur les préférences humaines. Le fournisseur s’est tout simplement appuyé sur les retours des utilisateurs à travers ChatGPT. Claude Fable 5.1 s’en sort mieux sur ce même benchmark (63 % vs 67 %).

Concernant les affirmations en matière de computer use, c’est-à-dire la capacité d’un modèle à comprendre et à naviguer dans des interfaces utilisateurs, elles sont difficiles à vérifier. D’autant qu’OpenAI compare GPT-6 Astra aux LLM de sa catégorie, Opus 5 et GPT-5.6 Sol. Des modèles spécialisés comme ceux du Français H Company sont réputés pour mieux s’en sortir dans ce domaine.

GPT-6 Astra est plus sûr que GPT-5.6 Sol… quand il est encadré

Reste la question épineuse de la cybersécurité. OpenAI a défrayé la chronique parce que certains de ses modèles s’en sont pris à Hugging Face lors d’une évaluation. Pas moins de 1200 agents IA se sont mobilisés pour orchestrer l’exfiltration de données depuis la plateforme communautaire.

En la matière, sans ses filtres, GPT-6 Astra représente autant un atout pour les défenseurs que pour les attaquants. Sur le test ExploitBench qui mesure la capacité d’un modèle à générer des « exploits » à partir de vulnérabilités connus, le modèle obtiendrait un score de 100 %, contre 78,5 % pour GPT-5.6 Sol. Sur ExploitGym, une évaluation similaire, ce taux de succès tomberait à 42,4 %, contre 30,2 % pour le prédécesseur. GPT-6 Astra serait par ailleurs doté de capacité d’ingénierie inversée supérieure.

Ces capacités sont utiles pour des revues de code poussées et l’écriture de patch. Évidemment, OpenAI a entraîné le modèle et y a apposé des filtres.

« Les contrôles de sécurité supplémentaires peuvent parfois ralentir, suspendre ou interrompre des activités légitimes, y compris les mesures de cybersécurité défensives », prévient le fournisseur. « Si une tâche est suspendue dans ChatGPT ou Codex, il se peut qu’on vous demande de valider l’action avant de poursuivre. Dans l’API, la tâche s’arrêtera. Ces contrôles peuvent parfois interrompre des activités légitimes, et nous continuons à améliorer ce système afin de réduire les interruptions inutiles ».

Sans ceux-là, des partenaires ont prouvé que GPT-6 Astra peut sortir des environnements sécurisés isolés (sandbox) censés le limiter. Si le modèle est plus prompt à refuser une demande illégitime que son prédécesseur, il contrôle mieux son raisonnement et pourrait tenter d’échapper à la supervision.

« À l’heure actuelle, ces résultats reposent en grande partie sur des évaluations adversariales (c’est-à-dire lorsque nous demandons au modèle de contourner la surveillance) ; dans l’ensemble, nos évaluations d’alignement montrent qu’Astra est globalement moins susceptible que GPT-5.6 Sol d’enfreindre les restrictions en matière de sécurité et de sûreté ». 

Le cabinet d’évaluation METR avait prouvé que GPT-5.6 était capable de mentir et de manipuler les mécanismes de récompenses. OpenAI semble pour l’instant plus inquiet par la cause identifiée de ce problème d’évasion : la baisse de visibilité sur le cheminement de pensée. « Nous avons constaté que ces changements sont liés à l’amélioration des capacités “sans CoT” (c’est-à-dire la capacité à agir ou à donner une réponse sans qu’un raisonnement verbal soit nécessaire) », expliquent les chercheurs. En conséquence, le modèle fournirait des raisonnements peu détaillés ou plus difficiles à comprendre. Cela ne serait pas forcément lié à la longueur du cheminement. OpenAI cherche donc à mettre en place d’autres types de supervision.

En conséquence, GPT-6 Astra est d’abord accessible par un nombre limité d’entreprises avant un déploiement généralisé auprès des abonnés de ChatGPT Plus, Pro, Business et Enterprise.

Il sera aussi disponible dans les prochains jours pour les clients de Microsoft Azure et d’Amazon Bedrock, ainsi qu’à travers l’API OpenAI. Comme Anthropic, le fournisseur offrira plus tard un mécanisme renforcé permettant à ses clients de conserver les données chiffrées à des fins d’audit tout en obtenant les résultats de revues de sûreté automatisées. OpenAI obtiendra de son côté les alertes et leur sévérité, pas l’historique de la session concerné. Les entreprises pourront s’ils le souhaitent partager des informations avec le fournisseur.