Gpt-oss : six ans après GPT-2, OpenAI dégaine ses modèles « open weight »

Architecture : un pot-pourri des techniques les plus populaires chez les fournisseurs de LLM

Le moins que l’on puisse dire, c’est qu’OpenAI fait davantage preuve de transparence qu’il ne l’a fait ces cinq dernières années. Tout du moins concernant l’architecture de ces LLM open weight.

Sans surprise, les LLM gpt-oss reposent sur un transformeur autorégressif dont l’architecture a été modifiée à l’aide de la technique Mixture of Experts (mélange d’experts en français). Celle-ci permet, entre autres, de réduire le volume de paramètres actifs lors du traitement des tokens en entrée. Ainsi, gpt-oss-120B active 5,6 milliards de paramètres par token, quand gpt-oss 20 b en enclenche 3,6 milliards.

Du fait de cette architecture, les deux modèles ont au total 117 et 21 milliards de paramètres. Oui, un LLM d’OpenAI aurait pu s’appeler gpt-oss-117B. Le fournisseur détaille même le nombre de paramètres entre le cœur du modèle (Le MLP – Multi Layer Perceptron – : 114,71 et 19,12 milliards de paramètres), l’attention (96 et 64 millions de paramètres) et le mécanisme d’embedding (1,16 milliard de paramètres dans les deux LLM).

Le papa de ChatGPT précise par ailleurs le nombre de couches neuronales par modèle, 36 pour gpt-oss-120b et 24 pour gpt-oss 20B. Quatre groupes de paramètres experts sont activés par token traité. La fonction d’activation n’est autre que SwiGLU, une méthode mathématique inventée par un chercheur de Google. Elle est réputée pour ses performances et sa capacité à capturer les relations complexes entre les données. Son implémentation serait toutefois « non conventionnelle ». OpenAI intègre un mécanisme d’écrêtage pour limiter les valeurs extrêmes et une connexion résiduelle entre l’entrée et la sortie afin d’améliorer la stabilité et la performance des modèles à l’entraînement.

Les gpt-oss reprennent le double mécanisme d’attention développé pour GPT-2 et 3. « Les modèles utilisent des patterns d’attention alternant entre des motifs denses et des motifs clairsemés localement, similaires à ceux de GPT-3 », expliquent les chercheurs d’OpenAI.

Dans la couche d’attention dense, chaque token peut « écouter » tous les autres tokens d’une séquence. Avec la couche locale, chaque token ne fait attention qu’à un nombre limité de token, dans une « bande » autour de sa position. Pour rappel, cette approche favorise l’efficacité des calculs, consomme moins de mémoire et préserve la capture des dépendances à l’échelle du contenu en entrée. Largement utilisée et déclinée par les fournisseurs, dont Mistral AI, cette méthode a surtout permis d’allonger la fenêtre de contexte des modèles de langage.

 « Pour l’efficacité de l’inférence et de la mémoire, les modèles [gpt-oss] utilisent également une attention multirequêtes groupées (GQA), avec une taille de groupe de 8. Nous utilisons l’encodage positionnel rotatif (RoPE) pour l’encodage positionnel [des tokens] et prenons en charge nativement des longueurs de contexte allant jusqu’à 128 000 tokens [131 072 exactement, N.D.L.R.] », poursuivent les chercheurs. Ce sont deux autres méthodes popularisées par Meta.

Concernant le Tokenizer, l’outil responsable de convertir les mots en entrée en token, OpenAI a utilisé o200k_harmony. Ce système open source disponible dans la librairie Tiktoken repose sur la technique Byte Pair Encoding (BPE). Elle consiste à diviser le texte en caractères individuels, puis fusionner les paires de symboles les plus fréquentes afin de créer un « vocabulaire » de tokens (des sous-mots). Il s’agit d’une version étendue du tokenizer o200k utilisé lors de l’entraînement de GPT-4o et o4 mini contenant un vocabulaire de plus de 200 000 tokens.

Un manque criant de transparence sur les données et les méthodes d’entraînement

Tous ces détails sont intéressants pour les chercheurs et les fournisseurs de LLM. Or, OpenAI est bien moins loquace concernant les données et méthodes d’entraînement. La Commission européenne pourrait dire que l’entreprise ne respecte pas le volet de l’AI Act en vigueur depuis le 2 août.

Le fournisseur évoque un jeu de données textuel principalement en anglais contenant des « milliers de milliards » de tokens avec « un focus sur les sciences, les technologies, les mathématiques et l’ingénierie, les connaissances générales et la programmation ». Les données dites dangereuses, dont celles qui permettraient d’obtenir des recettes de bombes biochimiques, ont été filtrées avec la même technique employée pour GPT-4o. La limite de connaissances de gpt-oss est arrêtée au mois de juin 2024. Il n’y a pas plus d’informations sur le pré-entraînement.

Lors du post-entraînement, OpenAI assure avoir appliqué un « processus similaire » à celui utilisé pour o4-mini. Il y aurait donc une première étape de fine-tuning supervisé, suivie d’une « phase d’apprentissage par renforcement, très intensive en calcul ». C’est à peu de chose près l’approche décrite par DeepSeek lors du lancement de DeepSeek-R1. À cela s’ajoute une phase d’alignement pour leur apprendre à refuser les réponses à certaines requêtes illicites ou cybermalveillantes.

« Notre objectif était d’aligner les modèles sur les spécifications OpenAI Model Spec [un guide de bonnes conduites pour les LLM conçues par l’entreprise, N.D.L.R.] et de leur apprendre à appliquer le raisonnement “chaîne de pensée” et l’utilisation d’outils avant de produire leur réponse », résument les chercheurs d’OpenAI. « En utilisant les mêmes techniques que nos modèles de raisonnement propriétaires, les LLM “open weight” démontrent des capacités exceptionnelles après la phase de post-entraînement ». Bref, OpenAI conserve ses recettes secrètes.

OpenAI affirme avoir utilisé le framework PyTorch, un supercalculateur doté de GPU H100 et l’équivalent 2,1 millions d’heures GPU pour gpt-oss 120B et « dix fois moins » (210 000 heures GPU, environ) pour entraîner gpt-oss-20B. Le fournisseur ne détaille pas l’impact carbone d’une telle phase, mais c’est toutefois bien moins important que l’entraînement de Llama 4 (plus de 7,3 millions d’heures GPU).

Sécuriser les modèles de raisonnement, l’objectif véritable d’OpenAI avec gpt-oss

Les résultats des modèles gpt-oss sur les benchmarks génériques surpassent o3-mini, et « égalent ou dépassent » ceux d’o4-mini. Dans les faits, les LLM propriétaires demeurent légèrement devant leurs homologues open weight. Les gpt-oss se distinguent en mathématiques, en programmation et ont tendance à obtenir de meilleures performances quand on leur laisse le temps de « réfléchir » (Test-time scaling). Évidemment, il faudra attendre des tests indépendants ou de tiers pour évaluer correctement ces performances.

 « Nous espérons que la publication d’un modèle ouvert avec une chaîne de pensée non supervisée donnera aux développeurs et aux chercheurs la possibilité […] de mettre en œuvre leurs propres systèmes de surveillance ».

Bien que de manière générale, les modèles gpt-oss présentent des performances de sécurité égales ou supérieures à o4-mini, ils suivent moins bien la hiérarchie des instructions. Ils ont pourtant été entraînés avec des instructions longues utilisant le format Harmony qui justement distingue des niveaux de prompts (système > développeur>utilisateur>assistant>outil). À noter que ce travail d’évaluation vérifié par trois entités indépendantes a retardé le lancement de gpt-oss, comme le précisait Sam Altman, sur X, en juillet. De fait, les red teams ont tenté de fine-tuner les modèles open weight pour détourner leurs usages à des fins malveillantes.

« Nos tests ont révélé que même avec un ajustement très complet basé sur les outils d’entraînement de pointe d’OpenAI, ces modèles malveillants sont incapables d’atteindre le niveau de capacité élevé défini par notre cadre de préparation », assure OpenAI.

Il faut préciser que l’ouverture de ces modèles vise un objectif précis : renforcer la surveillance du raisonnement des LLM concerné. Pour ce faire, l’entreprise a décidé de laisser apparaître le raisonnement interne du modèle, même s’il peut contenir du contenu inapproprié, interdit par OpenAI ou des hallucinations, comme avec o1 preview.

« Nos récentes recherches ont montré que la surveillance de la chaîne de pensée d’un modèle de raisonnement peut être utile pour détecter les comportements indésirables, à condition que le modèle n’ait pas été entraîné avec une supervision directe pour aligner sa chaîne de pensée. Ce point de vue est également partagé par d’autres acteurs du secteur », assurent les chercheurs d’OpenAI. « […] Nous espérons que la publication d’un modèle ouvert avec une chaîne de pensée non supervisée donnera aux développeurs et aux chercheurs la possibilité de rechercher et de mettre en œuvre leurs propres systèmes de surveillance ».

Les développeurs d’applications qui déploieraient les LLM gpt-oss « ne devraient pas » (« should not », en VO) afficher le raisonnement dans les réponses générées. Il n’y a bien sûr aucune obligation, tant que cela respecte les usages acceptables, donc les lois en vigueur dans les pays où l’application est disponible. Il est recommandé aux entreprises de mettre en place des garde-fous. Une approche qui semble alignée avec la stratégie IA révisée par l’Administration Trump.

« OpenAI ne peut pas se permettre de perdre les entreprises, car ce sont elles qui paieront les factures. »

Et OpenAI d’annoncer un « bug bounty » pour un total de 500 000 dollars afin d’encourager les chercheurs, développeurs et enthousiastes de rapporter les « problèmes de sécurité encore inconnus ».

Dans un même temps, le cabinet d’analystes Constellation Research estime « qu’OpenAI ne peut pas se permettre de perdre les entreprises, car ce sont elles qui paieront les factures ». Ainsi, les LLM gpt-oss sont disponibles sur AWS Bedrock, Databricks, Cloudflare, Together AI, Azure AI, Baseten, Vercel, Fireworks, Ollama, LM Studio, Hugging Face, Dell AI Factory ou encore OpenRouter. Nvidia, AMD, Cerebras et Groq participent à leur optimisation pour leur mise sur le marché.