g215 - stock.adobe.com

Actualites

Mistral ouvre les poids de Mistral Large 4 et se rapproche d'Orange Cyberdefense

Si l’ouverture des poids de Mistral Large 4 n’apprend pas grand-chose sur ses qualités et ses défauts, les tests revus et corrigés d’Artificial Analysis prouvent les dires du laboratoire français en matière d’IA appliquée à la cybersécurité. Si bien qu’Orange Cyberdefense entend tester le modèle en profondeur.

Gaétan Raoul
par
Publié le: 30 oct. 2026

Au début du mois d’octobre, Mistral AI avait présenté la préversion publique de son modèle Mistral Large 4. Le fournisseur avait promis de poursuivre son apprentissage par renforcement et de libérer les poids sur Hugging Face.

Après trois semaines de calcul supplémentaires, c’est chose faite. Le LLM est finalement proposé sous une licence MIT modifiée qui empêche la commercialisation du modèle à la demande par des tiers sans un contrat. Cette licence propriétaire s’avère permissive pour tous ceux qui ne sont pas concurrents ou coopétiteurs de Mistral. Mais elle n’est pas open source.

La startup avait également promis d’en dire davantage sur l’architecture de son modèle. Un travail mené avec les équipes d’Hugging Face.

« Mistral Large 4 associe un vaste ensemble d’experts à un mécanisme d’attention épars et à un encodeur de vision Pixtral », précisent les ingénieurs de l’entreprise en cours d’acquisition par Nvidia. D’ailleurs, le modèle Mixture of Experts pèse 1050 milliards de paramètres, pour 52 milliards de paramètres actifs, pas 49.

L’on apprend également que l’encodeur Pixtral pèse 1,6 milliard de paramètres pour 30 couches, 2048 dimensions cachées et 16 têtes d’attentions.

 Sous le capot de Mistral Large 4

« Le modèle linguistique sélectionne un petit groupe d’experts pour chaque token, tandis que son indexeur d’attention détermine les positions des tokens précédents auxquelles il faut prêter attention », renseignent les ingénieurs d’Hugging Face. « Il s’agit là de deux formes différentes de “sparsity” : l’une sélectionne des réseaux de type “feed-forward”, l’autre sélectionne des positions contextuelles ».

L’indexeur en question n’est autre que DeepSeek Spark Attention (DSA) – également repris par Zai pour GLM-5.3 – combiné avec un mécanisme d’attention latente multitête (MLA). Celui-ci s’assure de conserver une représentation des tokens dans le cache paire clé-valeur, tandis que DSA sélectionne jusqu’à 2048 clés de position pour chaque requête.

Pour trois couches qui utilisent la rotation de la position des embeddings (RoPe, plus particulièrement LeRope), une autre n’utilise pas ces positions (NoPe). Cela permet de combiner une attention locale et globale, en allongeant la stabilité de l’entraînement et le traitement de longues séquences. De même, le cache clé-valeur est partagé par toutes les couches afin de ne pas recalculer les représentations (embedding) à chaque nouvelle génération. Cela accélère l’inférence et la rend, en principe, moins coûteuse.

Sur les 72 couches du modèle, l’une est un réseau de neurones feed-forward, tandis que les autres sont des blocs MoE. Chaque bloc contient un routeur softmax pour sélectionner quatre des 128 experts pour chaque token.

 Mistral AI s’appuie sur bon nombre de techniques introduites ou améliorées par les laboratoires chinois DeepSeek et Zai. Il n’y a aucun détail sur le pipeline d’entraînement, hormis le fait que la startup s’appuie sur des données issues du domaine public, des données propriétaires et de celles des usagers de Mistral Vibe qui n’ont pas refusé l’utilisation de leurs données pour cette fin.

Ces informations sur l’architecture ne permettent pas d’expliquer le gros défaut repéré par Artificial Analysis lors de ses tests au début du mois d’octobre. Mistral Large 4 consommait beaucoup de tokens.

La version 15 du tokenizer de la startup, Tekken, utilise la technique BPE (fusion des caractères et des octets). Ce dictionnaire contient 204 800 tokens (des syllabes, des émojis, des chiffres, des lettres, des mots, etc.) et 1000 tokens spéciaux pour diviser des mots en tokens. Ce volume et la méthode de séparation le rendent normalement efficient. Les tokens de raisonnement pourraient en être la cause, tout comme la gestion du cache.

Les modèles chinois gagnent du terrain sur la plateforme Mistral Compute

Mistral AI a un autre problème. Artificial Analysis revoit régulièrement ses méthodes afin d’empêcher le « benchmaxxing », à savoir l’entraînement des modèles pour obtenir de haut scores sur ses tests.

Outre une chute apparente du score de 38 à 26 points sur l’Intelligence Index – qui est compensée par un barème plus sévère pénalisant la majorité des acteurs open weight, le coût par tâche double pratiquement avec le nouveau banc d’essai (1,13 vs 2,06 dollars). Mistral AI vient pourtant de baisser le prix de 1,36 à 0,7 dollar par million de tokens en entrée, et de 4,18 à 2,1 dollars par million de tokens en sortie. De même, Mistral Large 4 génère 110 millions de tokens de sortie pour terminer les bancs d’essai, contre 150 millions pour la préversion.

Problème, DeepSeek v4.1 Flash Max (32 points avec le nouveau parangonnage, 39 auparavant) gagne du terrain et ne coûte que 0,60 dollar par tâche, du fait d’une bonne gestion du cache et d’une tarification agressive. GPT-6.1 Sol obtient un score de 55 points tout en ne coûtant que 1,27 dollar par tâche.

Le fournisseur français semble conscient du problème. Le 28 octobre, Mistral AI a annoncé l’hébergement des modèles open weight chinois DeepSeek V4.1 Flash en préversion et GLM 5.3 Flash, en sus du modèle GLM 5.3 qu’elle hébergeait déjà. Sur ses serveurs et sur les clouds américains en Europe et aux États-Unis.

Alors que Mistral Large 4 affiche de bons scores sur les tâches génériques et légales, le fournisseur préfère mettre en avant ses compétences en programmation et en cybersécurité.

Loin des meilleurs en programmation, Mistral Large 4 peut se distinguer sur la cybersécurité

En matière de programmation, si l’on se réfère aux tests d’Artificial Analysis, GLM-5.3 Flash est nettement devant sur tous les parangonnages. DeepSeek V4.1 Flash l’emporte sur certains tableaux. D’après l’évaluateur, les modèles propriétaires de Google Cloud, d’Anthropic et d’OpenAI les « laminent » sur ces exercices.

Sur le Cyber Index d’Artificial Analysis, Mistral Large 4 obtient 51 %, soit deux points de moins que GPT-6 Luna. Un résultat tout à fait honorable. Mais Kimi K3.1 Pro et DeepSeek V4.1 Flash obtiennent respectivement 64 % et 57 %.

Néanmoins, Mistral AI est le seul laboratoire européen à proposer un modèle de cette trempe sur le volet cyber, pouvant être hébergé sur site. Si bien que Booz Allen Hamilton, Cisco, Cloudflare, le Crédit Agricole, Crowdstrike, Elastic, l’ENISA, l’ESA, Rubrik, Zscaler et Fortinet ont ou vont tester le modèle pour des cas d’usage liés à la cybersécurité.

Orange Cyberdefense, elle, a annoncé un partenariat pour obtenir un accès anticipé à une version de Mistral Large 4 optimisé pour la cybersécurité, comme le font OpenAI, Anthropic et Microsoft à travers des programmes dédiés.

OCD compte s’en servir pour prolonger ses tests d’intrusion, réaliser des audits, conduire ses pentests et ses analyses post-incidents. Les spécialistes feront leurs retours d’information à Mistral pour affiner le modèle. Comme Nebius et Nvidia, Mistral AI milite pour la spécialisation de modèles open weight.

Et la filiale de l’opérateur télécom d’assurer que le modèle sera soumis à des contrôles stricts : gestion des accès, traçabilité, tests et supervision humaine. Il sera hébergé sur les infrastructures européennes d’Orange.

Architecture Blackwell ou Vera Rubin fortement recommandée

Justement. La configuration recommandée pour héberger le modèle était également attendue. Selon les tests d’Hugging Face, Mistral Large 4 peut être hébergé sur une station de travail doté de quatre RTX 6000 Pro (96 Go par carte) ou sur un Mac Studio Ultra M3 doté de 512 Go de RAM unifiée.

Il faut compresser les poids du modèle et s’attendre à une vitesse de génération de moins de 20 tokens par seconde. En FP8, Unsloth recommande 1,2 To de VRAM pour l’exécuter.

Toujours d’après Hugging Face, avec un cluster de huit GPU Nvidia H200 (141 Go de VRAM chacun, 1,12 To au total), la vitesse pour une requête unique de 1000 tokens grimpe à 65 tokens par seconde.

Pour davantage d’utilisateurs, SGLang prévient que cette configuration FP8 demande deux nœuds minimums, car il ne reste pratiquement plus de place pour le KV Cache (et donc le contexte).

Les générations Blackwell et Vera Rubin sont recommandés, car elles prennent en charge le format de quantisation NVFP4. Un serveur doté de 8 GPU B300 ou 4 GB300 peut accueillir sans problème 64 utilisateurs concurrents. Problème, ces machines sont chères et difficiles à trouver en dehors du cloud.

Pour approfondir sur IA appliquée, GenAI, IA infusée