adimas - stock.adobe.com

Claude Fable 5.2 est toujours plus performant…et encore très cher

Claude Fable 5.2 permet à Anthropic de reprendre la tête des classements. Or le modèle de raisonnement ne se montre pertinent que dans son mode d’effort élevé. À plein régime, il se montre performant, mais très cher, malgré la baisse tarifaire, et moins efficace aux niveaux d’effort moyen et faible.

Comme une Formule 1 à la boîte de vitesse capricieuse. Le 9 novembre, Anthropic a annoncé le lancement de Claude Fable 5.2 et de Mythos 5.2. Les deux modèles s’appuient sur la même architecture et disposent d’une fenêtre de contexte de 1 million de tokens. Leur date limite de connaissance est fixée au mois de juin 2026. Seuls les filtres dédiés à la cybersécurité et aux biosciences distinguent Mythos de Fable.

« Lors de notre contrôle interne, “CVE Rediscovery”, Claude Mythos 5.2 a détecté 10,2 % de vulnérabilités en plus que Claude Opus 5.5 et 14,4 % de plus que Claude Mythos 5.1 », vante Anthropic. « Claude Mythos 5.2 fait également preuve d’un meilleur jugement et d’un meilleur calibrage. Un évaluateur a constaté que les modèles précédents avaient surestimé la gravité d’environ 1 découverte sur 20, alors que Claude Mythos 5.2 n’en avait survalorisé aucune ».

Les deux modèles ont tout de même subi de nouveaux tests pour mesurer leurs capacités à « fuir » les sandbox. Le marché a été traumatisé par l’incident HuggingFace et Anthropic a surfé sur le marketing de la peur.

Pour rappel, Mythos 5.2 n’est disponible qu’en souscrivant aux programmes de vérification Life Sciences et Cyber.

Fable 5.2 est fort, mais la baisse de prix ne suffit pas

Ce lancement est surtout marqué par les arrangements de la communication tarifaire d’Anthropic avec la réalité. Le fournisseur de LLM est à nouveau très fier d’annoncer une baisse de tarif de Claude Fable 5.2. Le modèle coûte 8 dollars pour 1 million de tokens en entrée et 40 dollars pour le même volume en sortie, contre 10 et 50 dollars pour Fable 5.1. Le mode rapide est disponible au prix de 16 dollars en entrée et 80 dollars en sortie.

Or, pour obtenir son score de 65 points sur l’Intelligence Index v5 d’Artificial Analysis, le plus haut enregistré à ce jour – cinq points devant Gemini 4 Carbon –, génère 275 millions de tokens, contre 163 millions pour Fable 5.1 à niveau d’effort équivalent (maximum). L’évaluateur précise désormais le nombre de tokens en entrée. Claude Fable 5.2 a utilisé 28 milliards de tokens en entrée, contre 9,46 milliards pour Fable 5.1. Malgré la baisse tarifaire de 20 %, le coût à la tâche a doublé (12,99 dollars vs 26,54 dollars). Anthropic n’a (toujours) pas changé son tokenizer depuis Opus 4.7. C’est le mécanisme responsable de la conversion des mots en tokens. Celui-ci est réputé pour sa gourmandise. Bonne nouvelle tout de même, le temps d’exécution a été divisé par deux.

Claude Fable 5.2 obtient néanmoins 15 points de plus que son prédécesseur. Selon Artificial Analysis, le modèle surpasse ses concurrents sur cinq des neuf tests de l’Intelligence Index. Les gains les plus notables sont liés à la science, les connaissances et la programmation. « Les progrès sont moins manifestes dans le travail intellectuel agentique et la programmation depuis un terminal », précise l’évaluateur.

De son côté, GitHub remarque que Fable 5.2 « résout davantage de tâches que Fable 5.1 en utilisant moins d’étapes et d’appels aux outils », tout en résolvant des tâches plus complexes.

Mais il faut surtout comparer Fable 5.2 à Claude Opus 5.5. Dans son mode d’effort élevé (high), Fable 5.2 obtient 62 points sur l’Intelligence Index, soit trois points de plus qu’Opus 5.5 à son plus haut niveau d’usage. Il le fait en coûtant 9,08 dollars, 96 centimes de moins qu’Opus 5.5 (10,04 dollars). Il utilise alors 98 000 tokens, contre 173 000 par tâche pour Opus 5.5.

Un comportement malheureusement moins prévisible au niveau d’effort le plus bas

À son niveau d’effort le plus bas, Claude Fable 5.2 obtient 54 points en ne coûtant « que » 3,10 dollars à la tâche. C’est toujours 2,44 fois plus que GPT-6.1 Sol Max, qui décroche 55 points sur ce même parangonnage, mais le gain est notable. Fable 5.1 « low » affiche un score de 39 points pour 4,47 dollars par tâche.

Ce n’est pas ce que préconise Anthropic. « Fable et Mythos sont les modèles les mieux adaptés aux travaux techniques les plus ambitieux et ouverts », précise le fournisseur, dans son communiqué. « Pour la plupart des tâches de programmation et de recherche de connaissances, nous recommandons aux usagers de commencer par Claude Opus 5.5, notre modèle le plus performant au quotidien, puis de passer à un autre modèle selon les besoins, en fonction de l’ampleur et de la complexité de leur travail », ajoute-t-il.

Les utilisateurs optent « pour Fable ou Mythos si nécessaire, ou Claude Sonnet 5.5 et Claude Haiku 5.5 si cela s’avère plus approprié ». Fable 5.2 peut également être exploité comme l’orchestrateur d’agents IA.

À noter que Haiku 5.5 max obtient 35 points sur l’Intelligence Index pour 0,41 dollar par tâche.

D’après les dires Anthropic, ces recommandations ne semblent pas liées aux manques de ressources de calcul disponibles. Comme d’habitude, avant le lancement d’un nouveau modèle, les précédents paraissent générer des résultats moins pertinents du fait de réallocation d’une partie de la puissance de calcul.

Non, l’entraînement pour des tâches de longue haleine semble introduire des comportements qui rendent Fable 5.2 moins fiables pour les travaux les plus simples.

Au niveau d’effort moyen, le modèle continue à raisonner même lorsqu’on lui demande de répondre avec concision, indique la documentation du fournisseur. Il peut interrompre des tâches avant qu’elles ne soient terminées en mode Low et Medium. Les consignes sur la propriété du code influencent sa manière de modifier ou non l’existant. Il cherchera à savoir à qui appartient le code plutôt qu’à le changer. Les longues séquences d’appels d’outils sont moins transparentes qu’auparavant. Enfin, la capacité à déléguer des tâches dépend beaucoup du harnais et des tâches. Les sous-agents seraient ainsi plus coûteux.

Il faudra attendre que les entreprises se manifestent concernant l'usage de Fable 5.2. Les démonstrations de la société sont impressionnantes (preuve formelle du dernier théorème de Fermat, jeu vidéo en un prompt, système d’exploitation bâti par des agents IA, conceptions d’un ordinateur monocarte, etc.), mais finalement peu utiles pour les organisations.

Claude Fable 5.2 est disponible sur AWS, GCP, Microsoft Azure et depuis la plateforme Claude. Remarquons enfin que le véritable programme « zero data retention » est ouvert pour les entreprises qui le demandent (Enterprise Frontier Safeguards).

Pour approfondir sur IA appliquée, GenAI, IA infusée