GPT-4.5 : un mastodonte sans avenir chez OpenAI

Un modèle entraîné sur plusieurs datacenters interconnectés

GPT-4.5 a été entraîné sur « des supercalculateurs » Microsoft Azure AI. Ces datacenters sont interconnectés à l’aide d’une matrice réseau à haut débit (High Bandwith Networking Fabric) et exploités en parallèle. Jusqu’alors, c’est principalement Google qui entraînait ses modèles de la sorte du fait de leur taille (l’un d’entre eux fait 1600 milliards de paramètres) et de la nature particulière de ses TPU.

« Nous voulions utiliser autant de puissance de calcul que possible », explique Jason Teplitz, ingénieur logiciel chez OpenAI, dans une vidéo diffusée par son employeur. « Cela nous a demandé de faire fonctionner beaucoup de nouveaux systèmes. Par exemple, nous avons largement utilisé l’entraînement à faible précision pour tirer le maximum de nos GPU ».

En clair, les ingénieurs d’OpenAI ont utilisé à minima des GPU Nvidia H100. En effet, les accélérateurs de la série Hopper sont les premiers à prendre en charge la faible de précision de calcul à virgule flottante FP8, également utilisé par DeepSeek lors de l’entraînement de V3 et R1. Une chose de plus en plus courante, d’après Nvidia.

OpenAI dit avoir utilisé plusieurs techniques, dont les réponses de LLM plus petit pour guider les réponses du mastodonte en générant des exemples. Une distillation de connaissances inversée en quelque sorte. « Ces techniques améliorent la maniabilité de GPT-4.5, la compréhension des nuances et le caractère naturel de la conversation ».

« GPT-4.5 comprend mieux ce que les humains veulent dire et interprète les indices subtils ou les attentes implicites avec plus de nuances ».

Plus de données et de puissance de calcul, mais pas de saut générationnel

Outre le préentraînement, OpenAI dit avoir revu ces processus d’apprentissage supervisé et d’apprentissage par renforcement avec retours d’expérience humains (RLHF) en introduisant des « méthodes de supervision ». 

Comme d’habitude, OpenAI se garde bien de dévoiler ses recettes. Il faut d’abord retenir que GPT-4.5 est le plus gros des modèles GPT, qu’il a été entraîné plus longtemps et avec davantage de données.

Étrangement, ces efforts ne sont pas aussi visibles que cela dans les parangonnages. GPT-4.5 est légèrement meilleur qu’o1 et bien meilleur que GPT-4o sur le benchmark SimpleQA Hallucination Rate. Il dépasse largement l’ensemble des modèles sur le test SimpleQA Accuracy.

S’il surpasse GPT-4o, il est en moyenne moins bon qu’o3-mini une fois confronté aux requêtes scientifiques. Sur les benchmarks de compréhension du langage, GPT-4.5 est, certes supérieur, mais son score ne semble pas présenter un saut générationnel.

De fait, son entraînement n’est pas terminé. OpenAI a lancé cette préversion pour éprouver son LLM.  « Il ne s'agit pas d'un modèle de raisonnement et il ne cassera pas les bancs d'essai », prévient Sam Altman, CEO et cofondateur d’OpenAI, sur X. « Il s'agit d'un autre type d'intelligence et il y a une magie que je n'avais jamais ressentie auparavant ».

Victime de son succès, OpenAI est à la recherche de GPU

Or, toujours selon Sam Altman, OpenAI manque de GPU.

« Mauvaise nouvelle : il s'agit d'un modèle géant et coûteux. nous voulions vraiment le lancer en même temps pour les abonnements Plus et Pro, mais nous nous sommes beaucoup développés et n'avons plus de GPU disponible », écrit-il. « Nous ajouterons des dizaines de milliers de GPU la semaine prochaine et nous le rendrons alors accessible aux abonnés Plus (des centaines de milliers seront bientôt disponibles, et je suis presque sûr que vous utiliserez tous les GPU que nous pourrons mettre en place) ».

Là encore, GPT-4.5 a réclamé de développer de nouveaux systèmes d’inférence pour rendre ce modèle « aussi réactif que GPT-4o », selon Jason Teplitz. À ce jeu, le partenariat entre Mistral AI et Cerebras souligne la lenteur de l’application d’OpenAI. Le Chat produit des réponses immédiates.

GPT-4.5 jusqu’à 30 fois plus cher que GPT-4o

Et Sam Altman d’avertir que GPT-4.5 n’est pas un remplaçant pour GPT-4o. Comme l’observe Andy Thurai, analyste Constellation Research, le nouveau modèle est « très cher ».

OpenAI facture 75 dollars le million de tokens en entrée, 37,50 dollars quand ils sont mis en cache et 150 dollars pour 1 million de tokens en sortie. C’est 30 fois plus cher en entrée et 15 fois plus cher en sortie que les tarifs de GPT-4o. L’éditeur avait jusqu’alors d’abaisser sa tarification d’environ 75 %.

Sam Altman a déjà prévenu que GPT-4.5 serait le dernier modèle de sa catégorie. Sa sortie a sans doute été précipitée par la direction imprimée par DeepSeek en faveur des modèles de raisonnement. OpenAI ne fera toutefois pas faire une croix sur l’apprentissage non supervisé.

« Nous pensons que le raisonnement sera une fonctionnalité au cœur de nos futurs modèles, mais nous pensons également que les deux paradigmes – l’apprentissage non supervisé et les techniques de raisonnement – sont complémentaires », conclut Amélia (Mia) Glaese, responsable de recherche chez OpenAI.