DSX : Nvidia veut faire des data centers IA de « bons citoyens » sur le réseau électrique

Coordonner la gestion des data centers IA avec les opérateurs des réseaux électriques

Mais la société dirigée par Jensen Huang cible principalement les gestionnaires de data centers et les fournisseurs cloud. Nvidia a ainsi présenté les préversions de DSX Flex, Exchange et MaxLPS, les composants principaux de la plateforme logicielle DSX.

DSX Flex est désigné comme un framework d’orchestration basé sur des règles pour adapter la charge de travail des data centers IA en fonction de l’état du réseau électrique et des ressources produites par les centrales énergétiques.

Flex permet d’abord de définir un modèle de données commun aux gestionnaires de centres de données et aux énergéticiens. Le responsable du réseau électrique définit des cibles de puissance mobilisée et les fenêtres temporelles associées. Ces informations sont transmises à travers DSX Exchange, qui est à la fois un Bus orienté événement et un broker MQTT. Un Hub IoT, donc.

« Cela commence par la collecte d’informations très détaillées et granulaires sur les installations au sein du centre de données, puis par l’échange de ces informations à travers le réseau et au sein du centre de données », indique Dion Harris, directeur senior de la mise sur le marché des solutions HPC et AI Factory chez Nvidia.

« Ensuite, DSX Exchange assure essentiellement l’échange de toutes les informations, les données de télémétrie, les statistiques élémentaires, qui sont capturées », ajoute-t-il.

Ces informations sont envoyées aux ordonnanceurs des opérateurs réseau.

« Nous essayons d’aider les centres de données à être de “bons citoyens”, à mieux s’intégrer au réseau électrique », affirme Dion Harris. « Les opérateurs de réseau peuvent informer les gestionnaires de data centers des pics de charge prévus, des vagues de chaleur qui impactent la puissance disponible, mais aussi communiquer sur l’énergie non utilisée ».

Il s’agit alors d’adapter la charge de travail en fonction de ces requêtes. Et Nvidia de promettre jusqu’à 40 % de réduction de la consommation par cluster. Reste que ce pourcentage correspond à un test basé sur des événements simulés sur le réseau électrique. Les parties prenantes doivent encore prouver que cela fonctionne en conditions réelles.

Maximiser l’usage de la puissance électrique allouée aux GPU

Nvidia compte également sur MaxLPS, une couche logicielle pour optimiser l’usage et la consommation des racks GPU. MaxLPS permet d’imposer des limites de puissance. L’outil récupère également la télémétrie des GPU pour l’envoyer aux systèmes de gestion du data center (refroidissement, BMS, BESS, etc.).

Les fonctionnalités de MaxLPS promettent de maximiser l’usage des GPU, d’assurer une allocation statique et, surtout, dynamique de la puissance électrique.

Dans le cas où l’énergie serait disponible et en s’appuyant sur l’allocation dynamique, MaxLPS permettrait de déployer jusqu’à 30 % de GPU en plus pour le même budget de puissance électrique.

Là, Nvidia tente de convaincre des fournisseurs de se procurer davantage de puces afin de rentabiliser leurs abonnements avec les distributeurs et les fournisseurs d’électricité. Toutefois, MaxLPS n’est pas magique. Maximiser l’usage de la puissance disponible induit la réduction de la marge de sécurité en cas de pics de consommation. Et la hausse de la température des installations.

« La marge disponible dépend également de la composition des charges de travail : des profils de puissance complémentaires offrent davantage de possibilités que des charges de travail dont les pics coïncident », précise Nvidia, dans un billet de blog. « Les opérateurs doivent donc tester des charges de travail de production représentatives par rapport à la limite de puissance globale ».

En clair, DSX MaxLPS semble plus à l’aise avec l’inférence, puisque les charges de travail sont plus hétérogènes que celles associées à l’entraînement d’un grand modèle de langage.

Un petit nombre de néoclouds, dont CoreWeave, Firmus, IREN, Lambda, Nebius, Nscale et Sharon AI – en sus de Google Cloud qui a déjà déployé ses premiers racks Vera Rubin NVL72 – sont en train de tester MaxLPS, dixit Nvidia.

DSX MaxLPS est aussi le logiciel qui doit aider à maintenir la température des boucles fermées de refroidissement liquide des racks Vera Rubin à 45 degrés.

« Les centres de données ne fonctionnent pas de manière isolée. Ils interagissent également avec leur environnement », rappelle Dion Harris. « Ainsi, s’il fait plus chaud à l’extérieur et que vous ne pouvez opérer qu’à une température plus basse, vous êtes alors contraints d’utiliser ce qu’on appelle des “chillers”, qui doivent ensuite évaporer l’eau servant à refroidir le circuit en boucle fermée », explique-t-il. « En imposant une température plus élevée de fonctionnement, à 45 degrés, l’on réduit considérablement le recours à ces refroidisseurs, notamment les refroidisseurs par évaporation. On peut ainsi utiliser à la place d’énormes refroidisseurs à sec, ce qui permet de ne pas gaspiller d’eau ».

Des déploiements IA de plus en plus distribués

Ce n’est pas tout. La gestion de la puissance électrique, de calcul et de la température s’accorde à l’orchestration des charges de travail elles-mêmes. Au sein de DSX OS, Nvidia rassemble l’ensemble des logiciels, principalement open source, permettant de gérer l’infrastructure (le réseau, les racks), les charges de travail, la sécurité, l’état de fonctionnement des GPU et le déploiement des modèles d’IA.

DSX OS vient justement d’accueillir Run:AI, une plateforme basée sur Kubernetes. Elle permet de planifier, d’allouer dynamiquement des ressources GPU aux charges de travail IA tout en assurant la gestion des accès et l’observabilité.

Il faut principalement retenir que le control plane de Run:ai donne les ordres au planificateur KAI au sein du data plane, qui est lui-même responsable soit de l’allocation des GPU, soit du fractionnement des ressources à l’échelle d’un GPU en fonction des charges de travail. Différents CRD permettent de maintenir la connexion et la gestion des états entre le control plane et le data plane.

Run:ai s’appuie aussi sur les outils Dynamo et Grove. Dynamo sert à la gestion des déploiements désagrégés des modèles d’IA et de la mémoire VRAM qui leur est allouée dans des environnements multi-noeuds. Grove expose une API Kubernetes permettant de décrire l’architecture d’un système d’inférence (prefill, décodage, routage, etc.) dans un seul fichier CRD. Il sert à créer à gérer les pods K8s correspondant à cette architecture, avant que le scheduler KAI les déploie.

Pour l’heure, Mirantis, filiale d’IREN, a promis d’intégrer Run:ai à K0rdent, sa plateforme de conteneurisation distribuée. Crusoe, Nebius, Rafay, OpenNebula ou encore SpectroCloud sont également de la partie.

Ces outils sont de toute façon adaptés au déploiement à large échelle. Les nouveaux fournisseurs, pressés par la demande, le temps, des moyens contraints et peut-être le soutien financier de Nvidia, seront plus enclins à adopter ces logiciels.

À voir maintenant si les entreprises pourront en bénéficier lorsqu’elles déploient quelques clusters pour compléter une pile d’inférence IA généralement hybride.