Aleksandr Kondratov - stock.adob
IA : Gemini 4 Hydrogen pèche (lui aussi) par gourmandise
S’il remplace avantageusement Gemini 3.8 Flash en se rapprochant de Sonnet 5.5 et GPT-6.1 Sol, Gemini 4 Hydrogen souffre d’une consommation de tokens trop gourmande. La faute à sa chaîne de pensée qui, en contrepartie, gagne en lisibilité.
Le 12 novembre, Google a présenté Hydrogen, le plus petit modèle de la collection Gemini 4. Ce LLM multimodal est déjà disponible au sein de Gemini Enterprise Agent Platform.
Contrairement à Argon et Carbon, le géant du cloud le destine aux tâches agentiques les plus courtes et à la programmation. Ce remplaçant de Gemini 3.8 Flash, Gemini 3 et 2.5 obtient un score de 54 sur l’Intelligence Index d’Artificial Analysis, soit un point de moins que Claude Sonnet 5.5 et GPT-6.1 Sol, et 4 de plus que Gemini 4 Argon. Carbon est toujours devant avec 60 points, seulement dépassé par Claude Fable 5.2.
Pour ce dérivé de Gemini 4 Carbon, Artificial Analysis observe un haut niveau de raisonnement sur des documents visuels. Avec 33 % sur le test GDP.pdf en mode d’effort moyen, il vole la première place à GPT-6 Astra (xhigh), suivi de près par GPT-6.1 Sol (high). « Sur AA-Briefcase, notre plateforme d’évaluation des tâches intellectuelles, les évaluateurs octroient à la présentation d’Hydrogen une note supérieure à celle des autres modèles Gemini, y compris Carbon », ajoute Artificial Analysis.
Les scores d’Hydrogen sur les tâches financières, légales et la santé sont dans la moyenne élevée, d’après Artificial Analysis. Sur son index, Vals AI lui attribue 68,49 %, à deux points de pourcentage de Gemini 4 Carbon (70,45 %) et à 3 de Claude Fable 5.2 (71,31 %). Ce haut score de Gemini 4 Hydrogen s’explique justement par la primeur faite aux tests financiers (73,63 %) et légaux (66,14 %).
Gemini 4 Hydrogen est trop gourmand pour détrôner le très efficace GPT-6.1 Sol
Son autre atout majeur, selon Artificial Analysis, c’est son faible taux d’hallucination : seulement 8 % sur le test AA-Omniscience. En face, Claude Sonnet 5.5 et GPT-6.1 Sol décrochent une note de 43 % et 52 % au niveau d’effort maximum.
En revanche, sur les tâches agentiques de programmation et scientifiques, le troisième modèle de la collection Gemini 4 fait moins bien que Sonnet 5.5 et GPT-6.1.
Au niveau high et xhigh, « Hydrogen obtient un score de 54 % sur Terminal-Bench 4.0 et de 50 % sur Terminal-Bench-Science 0.1, qui couvrent la programmation agentique et les flux de travail de recherche scientifique dans le terminal », écrit l’évaluateur, sur LinkedIn. « Claude Sonnet 5.5 (max) affiche 64 % et 53 %, tandis que GPT-6.1 Sol (max) décroche 56 % et 58 % ».
Sur le papier, Gemini 4 Hydrogen est plus rapide que ses concurrents. En mode d’effort xhigh, il accomplit une tâche en 15 minutes en moyenne, contre 22 minutes pour GPT-6 Astra (max) et 25 minutes pour Claude Opus 5.5 (max).
Précisons que Google ne propose pas de mode d’effort max. Le fournisseur s’arrête à xhigh.
Le tarif fixé par Google paraît avantageux. Hydrogen coûte 1,50 dollar pour 1 million de tokens en entrée, et 7,50 pour le même volume en sortie.
Or, deux semaines après le lancement de Gemini 4 Carbon, Google n’a pas eu le temps de corriger le plus gros défaut de la collection. Comme ses aînés, Hydrogen consomme beaucoup de tokens. Il a eu besoin de générer 304 millions de tokens pour 11,3 milliards de tokens en entrée. C’est le deuxième modèle le plus verbeux testé par Artificial Analysis après Sonnet 5.5 (335 millions de tokens générés pour 30,6 milliards de tokens comptabilisés en entrée). C’est 101 millions de plus que Gemini 4 Carbon (pour 7,62 milliards de tokens en entrée) et 191 de plus qu’Argon (pour 7,55 milliards en entrée).
A 2 dollars en entrée et 10 en sortie, Claude Sonnet 5.5 coûte 10,02 dollars par tâche de l’Intelligence Index, contre 3,16 dollars pour Gemini 4 Hydrogen en mode d’effort xhigh, soit trois fois moins (3,17 fois exactement ou 68,26 % moins cher). Malheureusement pour Google, OpenAI conserve la palme du rapport qualité-prix. Proposé au même tarif que Sonnet 5.5, GPT-6.1 Sol ne coûte que 1,27 dollar par tâche, soit 2,5 fois moins que le dernier né de Google. Il ne génère que 63,7 millions de tokens pour 1,92 milliard de tokens comptabilisés en entrée.
« Le niveau “xhigh” [de Gemini 4 Hydrogen] double presque le nombre de tokens générés par rapport au niveau “high”, pour un gain de 3 points d’intelligence, tandis que le coût par tâche passe de 3,16 dollars au niveau “xhigh” à 1,87 dollar au niveau “high” », précise Artificial Analysis. « Les niveaux “medium” (0,80 $) et “low” (0,29 $) sont encore moins chers, mais obtiennent respectivement 41 et 27 points sur l’Intelligence Index ». En clair, le mode d’effort élevé (51 points sur l’Intelligence Index) offre le meilleur rapport performance-prix. C’est le mode par défaut dans Google AI Studio et de l’IDE agentique Antigravity.
Les clients de Google feraient donc mieux d’utiliser Gemini 4 Carbon pour les usages les plus avancés (5,49 dollars par tâche en mode d’effort xhigh).
Une chaîne de pensée plus coûteuse, mais aussi plus lisible
Plusieurs mécanismes expliquent ces différences. Il y a d’abord le tokenizer. Celui-ci est responsable du découpage des mots en séquences de tokens. Celui d’Anthropic est officiellement réputé pour sa précision et donc sa gourmandise, comme les résultats mentionnés plus haut le prouvent. Le tokenizer de Gemini 4 Hydrogen semble faire preuve du même travers. Plus de tokens en entrée entraînent mécaniquement davantage de tokens en sortie.
Ensuite, l’architecture du modèle de raisonnement peut jouer. Mais c’est surtout sa chaîne de pensée – dont le comportement est déterminé par la longueur des données d’entraînement et le temps de calcul dédié à l’apprentissage par renforcement – qui affecte la verbosité. Les vérifications faites par le modèle, ainsi que les filtres peuvent aussi influencer ce paramètre. Google DeepMind désigne cette chaîne de pensée et les niveaux d’efforts plus élevés comme les responsables de cette surconsommation. « Il arrive parfois que le modèle utilise davantage de jetons pour optimiser ses performances, en particulier aux niveaux de réflexion les plus élevés », lit-on sur la carte du modèle.
GPT-6.1 Sol profite d’un comportement économique. OpenAI prévient toutefois que ce résultat s’obtient au prix d’une chaîne de pensée plus difficile à interpréter pour un humain. Le fournisseur a déjà précisé qu’il lutte contre cette tendance pour sa prochaine génération de modèle. « Hydrogen garantit une lisibilité de 99,9 % du fil conducteur de la réflexion, sans aucune modification trompeuse du raisonnement, sur plus de 200 000 tours vérifiés », affirme de son côté Koray Kavukcuoglu, vice-président senior chez Google DeepMind et architecte en chef de l’IA chez Google, dans un billet de blog.
Malgré tout, puisque Gemini 4 Hydrogen remplace Gemini 3.8 Flash (deux fois moins cher jusqu’au 31 décembre, 31 points sur l’Intelligence Index), il n’est pas dit que Google introduise des variantes flash pour alléger la consommation de tokens. La donne pourrait changer dans deux à cinq mois, le délai habituellement nécessaire pour entraîner une nouvelle collection.
