Cosmos 3 Edge : Nvidia pousse l’IA physique en local

Cosmos 3 : une architecture en forme de Tower Bridge

Pour rendre lisible cette architecture, Nvidia utilise l’image de deux tours. L’une est consacrée au traitement du texte et des images « pour la compréhension et le raisonnement ». L’autre au traitement des images, de l’audio et des ordres de commandes pour « la prédiction, la génération et la simulation neuronale ». La couche d’attention est leur point commun.

Il y a une analogie un peu plus parlante. Ce système se comporte comme si l’on appliquait un trafic différencié sur les passerelles piétonnes (la couche d’attention) du Tower Bridge, à Londres. Les piétons (les tokens) qui entrent par la tour « diffusion » sont autorisés à les traverser pour accéder aux informations produites par la tour « raisonnement ». En revanche, ceux qui entrent par la tour « raisonnement » ne peuvent pas traverser dans l’autre sens.

Pour que ce mécanisme fonctionne avec l’ensemble des modalités, il faut introduire une information spatio-temporelle. Les tokens sont d’abord convertis en embeddings (vecteurs), puis le mécanisme MRoPe encode l’information spatio-temporelle afin que la couche d’attention sache où et quand chaque token existe.

« Ensemble, ces éléments fournissent au modèle une représentation commune de ce qui se passe, de ce qui pourrait se produire ensuite et de la manière dont une action pourrait influencer le résultat », résument les porte-parole de Nvidia, dans un billet de blog publié sur Hugging Face.

Cette architecture complexe rend l’entraînement tout aussi délicat. Il faut compter trois phases par tour : préentraînement, entraînement à mi-parcours (midtraining) et post-entraînement. Les chercheurs ont réuni à la fois des images, du texte, des vidéos, du son relatifs à des domaines liés à la physique, à l’étude des trajectoires, à la robotique, aux véhicules autonomes, aux villes connectées et aux infrastructures IoT, etc.

Cosmos 3 Edge est le plus petit modèle de la gamme. Il ne contient que 4 milliards de paramètres, contre 16 milliards de paramètres pour la variante Nano et 64 milliards de paramètres pour le modèle Super. Tous ont été initialisés à partir d’un VLM dense. Dans le cas d’Edge, les chercheurs se sont inspirés sans le reprendre de Qwen 3 1.7B pour entraîner un Transformer dense à partir de la base de code du framework Nvidia Megatron.

Si Super est consacré à l’entraînement de systèmes robotisés, Nano doit prédire des actions à partir de vidéo, par exemple pour animer un agent IA d’analyse. Edge, lui, doit inférer des prédictions ou des actions en temps réel, c’est-à-dire animer un de ces agents ou un robot.

Les 4 milliards de paramètres lui permettent de tenir sur un « petit » GPU. Nvidia l’a testé sur B200, H100, H20, RTX Pro 6000, DGX Station, DGX Spark, ainsi que les plateformes Jetson Thor et AGX Orin. Difficile encore de parler de « temps réel » : les résultats sont produits en 1 à 230 secondes suivant les modalités. Les générations d’images et de vidéo sont évidemment les opérations les plus chronophages.

L’entraînement de Cosmos 3 Edge réclame un « petit cluster Nvidia H100 » ou une station DGX. Le fine-tuning est d’ailleurs recommandé. Pour cela, le géant fabless met à disposition des jeux de données, une variante de Cosmos 3 Super et un pipeline d’entraînement pour l’adapter « à [votre] domaine et obtenir de meilleures performances en aval ».

En matière d’agents IA d’analyse vidéo, le groupe a mis à jour sa plateforme Metropolis avec plus de 80 librairies notamment pour créer des résumés de vidéo, des analyses profondes ou des flux de travail d’identification d’incidents.

L’IA physique attire, mais émerge à peine

Néanmoins, comme le rappellent les analystes d’Omdia (une division d’Informa TechTarget, également propriétaire du MagIT) et de Forrester, la partie la plus difficile est de rassembler des données de qualité : des données opérationnelles, environnementales, de robots déjà installés, etc. La majorité des entreprises font face à la difficulté de moderniser leurs infrastructures IT/OT de manière cohérente.

Et, contrairement à ce qu’affirme Nvidia, les variantes de Cosmos 3 ne sont pas encore réellement des modèles mondes au sens où Yann Le Cun l’entend. « Étant donné que le modèle ne dispose pas d’un simulateur physique explicite, la géométrie 3D, l’évolution spatio-temporelle en 4D, la permanence des objets, la dynamique des contacts et les lois physiques ne sont qu’approximées », préviennent les chercheurs de Nvidia. « Cela entraîne des artefacts tels que des objets qui disparaissent ou se transforment, des collisions irréalistes et des mouvements physiquement improbables ». La combinaison de systèmes de simulation paramétriques avec des modèles omnimodaux sera probablement au programme pour valider leurs résultats.

C’est l’un des points d’amélioration identifiés, tout comme l’inférence qui a besoin d’être plus rapide et l’entraînement compatible avec une gamme « plus large gamme d’équipements ».

La simulation générée par IA et l’IA physique demeurent des domaines émergents. Toutefois, Nvidia croit qu’il reste important d’y investir, notamment en Europe et en Asie. Il avait déjà annoncé la coalition Cosmos en Europe avec Mistral AI, LightOn ou H Company. Au Japon, Nvidia reproduit l’essai avec Fanuc, Fujitsu, Hitachi, la branche industrie lourde du groupe Kawasaki, Kubota, NEC, Softbank, Sony ou encore Yaskawa Eletric. Ces acteurs travailleront sur l’IA physique et des applications robotiques.

Cela paraît logique : les plus gros acheteurs de GPU dédiés aux data centers sont situés aux États-Unis. Si les ambitions du groupe sont fortes en Europe, vendre des cartes et des plateformes matérielles plus spécialisées ouvre les perspectives d’une nouvelle ligne de revenus.