
Nvidia
Nvidia interconnecte les GPU des hyperscalers avec DGX Cloud Lepton
Nouvelle mouture du courtier Lepton AI racheté en avril dernier, le service en ligne permet à Nvidia de commercialiser des clusters de calcul virtuels qui n’ont pas de limite de capacité puisqu’ils piochent des ressources chez différents hyperscalers.
Dans un contexte où la production de GPU ne semble pas parvenir à suivre la demande, Nvidia, le principal fabricant de ces puces, lance un service en ligne qui permet d’agglomérer les GPU de différents hyperscalers en un seul pool logique. Appelé DGX Cloud Lepton, ce service est une extension du cloud virtuel DGX Cloud qui consistait déjà à louer chez Nvidia des ressources GPU physiquement présentes chez les hyperscalers.
Lancé en 2023, DGX Cloud se veut une version en ligne des clusters de calcul DGX de Nvidia. Pour autant, Nvidia n’est pas lui-même un hébergeur de serveurs. Cette version virtuelle est donc plus exactement constituée de clusters DGX physiquement installés dans les datacenters d’AWS, Azure, GCP et OCI. Jusque-là, ces clusters étaient chacun des pools de calcul autonomes, dont la puissance pouvait être commercialisée à la découpe soit au travers de DGX Cloud, soit via les offres de serveurs d’IA virtuels des hyperscalers.
De fait, la possibilité existait jusque-là qu’aucun pool de services DGX en ligne n’offre la puissance de calcul requise pour le projet d’une entreprise cliente à un instant T. L’offre DGX Cloud Lepton est censée résoudre ce problème, puisqu’elle permet à chaque cluster DGX d’augmenter dynamiquement sa puissance en allant chercher des ressources de calcul disponibles dans un autre cluster DGX.
Assembler virtuellement différents clusters DGX
Selon Nvidia, ce service permet soit de louer à la demande une puissance quelconque, soit de la réserver pour une durée indéterminée. Il est aussi possible de sélectionner les datacenters physiques d’où seront piochées les ressources, ce que le constructeur présente comme un effort de respect des besoins de souveraineté. A priori, tous les fournisseurs de cloud public hébergeant des clusters DGX sont susceptibles de rejoindre l’offre.
Accessoirement, DGX Cloud Lepton permet d’assembler entre eux des clusters DGX de différentes générations. Nvidia argumente que les différences de vitesse entre des GPU Hopper (H100, H200) et Blackwell (B200, B300) est prise en charge par ses logiciels de développement, lesquels sont fournis d’emblée dans ses offres DGX cloud.
DGX Cloud Lepton est né du rachat de Lepton AI en avril dernier. Lepton AI était un courtier de revente de services de GPU virtuels, transverse aux quatre fournisseurs américains d’infrastructures IaaS cités plus haut.
Il est à noter que les offres en ligne de GPU Nvidia ne sont pas forcément éligibles à rejoindre le pool de machines DGX Cloud. Simultanément à cette annonce, l’hyperscaler AWS a par exemple débuté la commercialisation d’instances virtuelles P6 basées sur les derniers GPU B200 de Nvidia. Ces instances sont des machines virtuelles qui, à l’unité, proposent huit GPU avec un total de 1,44 To de mémoire HBM, mais sont basées sur des processeurs Intel Xeon 5 de type x86 qui n’ont rien à voir avec les processeurs ARM Grace des clusters DGX.