Andrey Popov - Fotolia

Non, Claude Sonnet 5 n’est pas forcément moins cher qu’Opus 4.8

Taillé pour l’IA agentique et la programmation, Claude Sonnet 5 réduit l’écart avec Opus 4.8. Moins cher sur le papier, le LLM consomme plus de tokens que son prédécesseur Sonnet 4.6… et Opus 4.8. Un comportement qui se reflète dans le coût à la tâche accomplie, à savoir environ 15 % supérieur à celui d’Opus 4.8, selon Artificial Analysis.

S’il ne peut pas proposer à tout le monde ses modèles consacrés à la cybersécurité, Anthropic poursuit la mise à jour des modèles Haiku, Sonnet et Opus.

Hier, il a prĂ©sentĂ© Claude Sonnet 5, un modèle dĂ©rivĂ© de Claude Sonnet 4.6. Pour rappel, la sociĂ©tĂ© n’a pas lancĂ© de versions 4.7 et 4.8 de ce modèle de taille intermĂ©diaire. Il est disponible depuis sa plateforme, Microsoft Foundry, Amazon Bedrock, Google Enterprise Agent Platform et Ă  peu près toutes les bonnes crĂ©meries IA.

IA agentique et programmation : Sonnet 5 Ă©gale Opus 4.8… au prix d’une flambĂ©e de la consommation de tokens

Claude Sonnet 4.6 est apprĂ©ciĂ© des dĂ©veloppeurs. Il se plaçait dans la continuitĂ© du travail effectuĂ© avec Sonnet 3.5, dont la sortie avait marquĂ© un tournant pour la programmation. Anthropic inscrit Sonnet 5 dans cette lignĂ©e : il serait le modèle Sonnet « le plus agentique Â» Ă  ce jour.

Par ailleurs, Sonnet 5 rĂ©duit Ă  nouveau l’écart avec Opus 4.8 tout en Ă©tant moins cher, dixit l’entreprise.

Selon les parangonnages effectuĂ©s par Artificial Analysis, Claude Sonnet 5 se situe Ă  trois points de pourcentage derrière Claude Opus 4.8, et un point derrière Opus 4.7. Avec un score de 53 sur 100, Sonnet 5 est sur le papier ex aequo avec GPT-5.5. Il est en revanche devant le modèle chinois GLM 5.2. Sur les tâches agentiques, Sonnet 5 dĂ©passe de très peu Opus 4.8.

Ă€ noter que le LLM, qui n’a pas Ă©tĂ© entraĂ®nĂ© pour les flux de travail de cybersĂ©curitĂ©, est protĂ©gĂ© par une nouvelle passerelle et probablement des classifieurs proches de ceux de Fable 5. En effet, s’il est loin d’atteindre le niveau d’Opus 4.8 et Mythos 5 sur cet aspect, il fait mieux que Sonnet 4.6.

Pour obtenir ces scores, Sonnet 5 « travaille plus dur Â» que ses prĂ©dĂ©cesseurs. « Il a utilisĂ© environ 40 % de tokens de sortie en plus par tâche de l’intelligence Index que Sonnet 4,6, et environ trois fois plus de tours d’agent pour nos Ă©valuations sur des tâches habituellement effectuĂ©es par des travailleurs de la connaissance AA-Briefcase et GDPval-AA Â», note Artificial Analysis.

Cela s’explique par les ajustements effectuĂ©s par Anthropic. Outre un entraĂ®nement portĂ© sur les tâches agentiques, la grande diffĂ©rence entre Sonnet 4.6 et 5 tient dans l’activation par dĂ©faut de la rĂ©flexion adaptative et l’adoption du tokenizer introduit avec Opus 4.7.

La rĂ©flexion adaptative permet au LLM de choisir lui-mĂŞme le niveau d’effort (low, medium, high, xhigh, max) pour accomplir une tâche. « Ce comportement Ă©volue bien en fonction du paramètre “effort” : avec un effort maximal, le nombre de tours est environ six fois supĂ©rieur Ă  celui observĂ© avec un faible effort sur GDPval-AA Â», prĂ©cise le cabinet.

Le tokenizer est un outil intĂ©grĂ© au modèle qui dĂ©coupe les mots en entrĂ©e en tokens Ă  partir d’une bibliothèque de sĂ©quences. Ce tokenizer, plus adaptĂ© aux tâches longues, « consomme environ 30 % de tokens d’entrĂ©e de plus que sur Claude Sonnet 4.6 Â», prĂ©vient Anthropic. Ce qui veut dire que les usages doivent changer la manière de compter le nombre de tokens. Il faut considĂ©rer que la fenĂŞtre de contexte de 1 million de tokens est plus rapidement saturĂ©e, puis, qu’à volume Ă©quivalent, elle contient moins de texte que Sonnet 4.6. Cela implique une revue des budgets de tokens Ă  la hausse, au risque que le rĂ©sultat en sortie (128 000 tokens au maximum) soit tronquĂ©. 

Un coĂ»t Ă  la tâche qui double par rapport Ă  Sonnet 4.6

Ă€ l’échelle de l’Intelligence Index d’Artificial Analysis, Sonnet 5 est gourmand, très gourmand. Pour le complĂ©ter, avec l’effort rĂ©glĂ© au maximum, il gĂ©nère 300 millions de tokens en sortie, sans compter les tokens de raisonnement. Dans les mĂŞmes conditions, Sonnet 4.6 complète les exercices avec 200 millions de tokens et Opus 4.8 le fait avec 120 millions de tokens.

En consĂ©quence, le coĂ»t Ă  la tache augmente. Ce n’est pas pour rien qu’Anthropic propose un rabais jusqu’au 31 aoĂ»t : 2 dollars pour un million de tokens en entrĂ©e, 10 dollars en sortie pour le mĂŞme volume au lieu de 3 dollars et 15 dollars habituellement. L’éditeur n’a pas changĂ© les quotas limites dans Chat (Claude.ai), Cowork, Claude Code et la plateforme Claude. Il les avait dĂ©jĂ  relevĂ©s en avril dernier pour les modèles Haiku et Sonnet.

Hors promotions, « Claude Sonnet 5 coĂ»te 2,29 dollars par tâche sur l’Intelligence Index, soit environ deux fois plus que Sonnet 4.6 [1,14 dollar par tâche, N.D.L.R.] et environ 15 % de plus que Claude Opus 4.8 [1,80 dollar]. Cette augmentation s’explique entièrement par une utilisation accrue des tokens Â», observe Artificial Analysis. Claude Opus 4.8 est facturĂ© 5 dollars pour un million de tokens en entrĂ©e, 25 dollars pour le mĂŞme volume en sortie.

« Une fois que la tarification standard entrera en vigueur après le 31 aoĂ»t, vos factures de tokens pourraient augmenter considĂ©rablement si vous ne redĂ©finissez pas vos paramètres de rĂ©fĂ©rence Â», anticipe Edison Sanchez, dĂ©veloppeur freelance spĂ©cialisĂ© dans la pile React. « RĂ©exĂ©cutez votre suite d’évaluations ET votre modèle de coĂ»ts sur une charge de travail reprĂ©sentative avant de basculer en production Â», conseille-t-il.

Anthropic suggère une procĂ©dure similaire. Aussi performant que puisse ĂŞtre Sonnet 5, ce n’est pas un bon signal envoyĂ© aux entreprises. Si le fournisseur cherche Ă  trouver un compromis entre Sonnet 4.6 et Opus 4.8, l’opĂ©ration finit par ressembler Ă  un effort d’upselling. Ă€ moins qu’il arrive entretemps Ă  faire baisser la consommation de tokens dans une prochaine mise Ă  jour. Reste Ă  voir si les entreprises valident ou infirment les tests d’Artificial Analysis dans le monde rĂ©el. Certains sur LinkedIn rapportent dĂ©jĂ  qu’ils obtiennent de meilleurs rĂ©sultats avec Sonnet 4.6 ou avec Opus 4.8 rĂ©glĂ© sur l’effort minimum.

« Les Ă©quipes qui optimisent actuellement leurs dĂ©penses se concentrent sur le coĂ»t total par tâche accomplie et non sur le prix affichĂ© par token Â», signale Shawn Chauhan, fondateur et CEO de Sypha, une startup qui dĂ©veloppe un IDE agentique. « Tous les autres risquent de recevoir des factures qui vont semer la confusion Â».

Pour approfondir sur IA appliquée, GenAI, IA infusée