Kimi K3 : le Chinois Moonshot AI engage le bras de fer avec OpenAI et Anthropic

Une architecture fondée sur les travaux de Nvidia

Elle est justement conçue à l’aune du fonctionnement des GPU. L’idée est de compresser les données en entrée dans un espace latent de dimension réduite avant leur soumission aux experts.

Pour rappel, les experts sont des groupes de paramètres responsables du traitement de certains tokens. Ici, ils « travaillent » dans ce même espace latent. Cela réduit les mouvements de données et donc la quantité de ressources requises pour les traitements. Nvidia a mis en pratique cette approche lors de l’entraînement de Nemotron 3 et Nemotron 3 Super.

En vue de stabiliser l’entraînement de ce géant, Moonshot AI a adapté le routage des tokens, la répartition des experts, optimisé les têtes d’attention, les fonctions d’activation tout en rendant l’attention plus sélective.

Par ailleurs, Kimi K3 utilise un mécanisme d’attention au fonctionnement bien spécifique. Ses composants, Kimi Delta Attention (KDA) et Attention Residuals (AttnRes), sont présentés comme « deux mises à jour architecturales conçues pour améliorer la circulation de l’information sur toute la longueur de la séquence et la profondeur du modèle ».

Un mécanisme d’attention inspiré de l’architecture Mamba

Avec un Transformer classique, chaque nouveau token doit recalculer son attention vis-à-vis de tous les tokens précédents. L’opération croit de façon quadratique avec la longueur du contexte. Elle est donc très coûteuse en calcul.

KDA remplace ce mécanisme par une attention linéaire fondée sur une mémoire matricielle compressée. Elle est mise à jour à chaque nouveau token. Moonshot AI s’inspire là des modèles à état (SSM) de type Mamba, qui conserve un état interne évoluant au fil de la séquence. En revanche, contrairement à Mamba, KDA conserve le schéma « requête-clé-valeur » (QKV) des Transformers. Il introduit une porte de contrôle qui décide quelles informations de la mémoire doivent être conservées, oubliées ou mises à jour.

Attention Residuals est effectivement un moyen de mieux distribuer l’information entre les couches du Transfomer. Traditionnellement, chaque couche de réseau de neurones modifie la représentation du contenu en entrée. Pour éviter de perdre l’information, les chercheurs ont mis en place des connexions résiduelles. Toutes les sorties des couches précédentes sont additionnées. Chaque couche contribue équitablement à l’évolution de la compréhension du texte.

Or la mise à l’échelle de cette approche atteint ses limites, selon les chercheurs de Moonshot AI. Avec un modèle de la taille de Kimi K3, la contribution de chaque couche est diluée. C’est particulièrement vrai pour les premières couches. Plusieurs projets ont tenté de résoudre ce problème d’après la startup, mais ils s’appuyaient encore sur l’addition des résultats ou étaient difficiles à passer à l’échelle. La startup a tout de même dû optimiser ses kernels GPU pour le faire fonctionner.

La méthode de Moonshot AI consiste à calculer l’importance relative des représentations produites par les couches précédentes avec une fonction softmax. Puis, le modèle combine ces représentations selon ces poids, afin de conserver les informations les plus utiles. Comme ce serait trop coûteux d’effectuer cette opération couche par couche, la startup les regroupe en blocs. Moonshot AI parle ainsi de profondeur, car AttnRes permet au modèle de sélectionner les représentations issues de différentes étapes de traitement du réseau de neurones, sans dépendre uniquement de la couche précédente.

Dès le fine-tuning supervisé (avant le post-entraînement), la startup a également appliqué une technique d’apprentissage visant à éviter la perte de précision des résultats des futurs modèles compressés. L'approche « simule » la compression des poids en MXFP4 et leur activation en MXFP8 afin que le modèle optimise le comportement des paramètres soumis à ces conditions lors de l’inférence. Par ailleurs, la startup a fait en sorte d’équilibrer l’importance des experts à l’entraînement. L'objectif : ne pas toujours mobiliser les mêmes experts au risque d'augmenter la latence des réponses. En outre, l’optimisation des pipelines et une sélection affinée des données pour le traitement de tâches à long terme permettrait d’améliorer la qualité des réponses.

Kimi K3 se rapproche très fortement de Claude Fable 5 et GPT-5.6 Sol…

Résultat, Kimi K3 obtient 57 points sur l’Intelligence Index, trois points derrière Claude Fable 5, 2 points derrière GPT-5.6 Sol, tout en étant devant Claude Opus 4.8 (56 points) et GPT-5.5 (55 points). Il se démarque sur les parangonnages liés à l’IA agentique et l’exécution de tâches professionnelles.

Kimi K2.6 a obtenu un score de 44 points sur la même batterie de tests, soit un écart de 13 points avec son remplaçant. Mieux, Kimi K3 consomme 34 millions de tokens en moins (21 %) que son prédécesseur pour se hisser à la troisième place de ce classement. Avec 132 millions de tokens générés, il reste l’un des modèles les plus gourmands derrière GLM 5.2 (141 millions de tokens), sans toutefois atteindre les sommets de Claude Sonnet 5 (304 millions de tokens).

Toutefois, Kimi K3 n’est pas donné : Moonshot AI propose un prix de 3 dollars pour 1 million de tokens en entrée et de 15 dollars pour le même volume en sortie.

« Le coût par tâche (0,94 dollar) est similaire à celui de GPT-5.6 Sol (1,04 dollar), soit environ la moitié du prix d’Opus 4.8 (1,80 dollar), et est supérieur à celui des autres modèles open weights comparables », souligne Artificial Analysis.

… sur le papier

Il faut prendre en compte d’autres limites. Pour l’instant, le modèle est uniquement disponible depuis les API de la startup chinoise. Les poids seront « libérés » le 27 juillet prochain. Tout le monde ne pourra pas l’exécuter : Moonshot AI recommande à minima 64 « accélérateurs ». Il utilise lui-même des GPU Nvidia H200 doté de 141 Go de VRAM chacun. Il faudrait donc environ 9 To de VRAM pour le servir correctement. Une telle quantité de GPU ne se trouvent pas sous les sabots d’un cheval. Et encore moins chez son équipementier préféré : les fournisseurs cloud l’auront sans doute dévalisé.

Par ailleurs, le fonctionnement de KDA n’est pas adapté à la méthode actuelle de mise en cache des préfixes (le fameux « prompt caching »). Moonshot AI a proposé une implémentation spécifique qu’elle a donnée à la communauté vLLM.

Il faudra donc statuer si les performances obtenues par Artificial Analysis sont reproductibles depuis d’autres infrastructures, signale Julien Simon, directeur du studio IA et partenaire chez le fonds d’investissement Fortino, ancien évangéliste technique Hugging Face et AWS.  Et, la startup d’avouer « un écart notable » d’expérience utilisateur avec les derniers modèles d’OpenAI et d’Anthropic.

Plus particulièrement, « K3 nécessite un accès continu à l’ensemble de son historique de raisonnement pour fonctionner de manière optimale », prévient MoonShot AI. « Si le système de gestion de l’agent ne transmet pas intégralement cet historique, ou si une conversation initiée avec un autre modèle est transférée vers K3, cela peut entraîner une forte instabilité dans la qualité des réponses produites ».

En clair pour tenter de reproduire les résultats de la startup, il faut pour le moment s’appuyer sur ses API et ses outils. Non loin derrière, GLM-5.2 (744 milliards de paramètres) peut être, en principe, opéré en cloud privé ou sur site.

En tout cas, l’écart entre les modèles frontières des laboratoires américains et chinois est de plus en plus ténu. De leur côté, les laboratoires européens, dont Mistral AI, préfèrent désormais se concentrer sur des modèles spécifiques (OCR, speech to text/text to speech, computer use, etc.). Il n’en reste pas moins que cette compétition est saine, notamment en matière d’ouverture.