Nvidia
Stockage : Nscale mettra du Vast Data dans ses datacenters Nvidia
L’hébergeur européen de services cloud pour l’entraînement des IA s’aligne sur un choix technique qu’avait fait avant lui CoreWeave, son équivalent aux USA. L’intérêt de la technologie Vast est d’être à mi-chemin entre NFS et pNFS.
Nscale, l’étoile montante des hébergeurs de puissance de calcul pour l’IA en Europe, vient d’annoncer que la partie stockage de ses datacenters serait incarnée par la solution de Vast Data. Plus précisément par son système d’exploitation Vast AI-OS que Nscale entend installer sur des matériels génériques (a priori des serveurs SuperMicro) richement pourvus en SSD.
Le système de Vast Data doit notamment servir à alimenter en données une flotte de GPU qui, aux dernières nouvelles, devrait totaliser 300 000 B300 de Nvidia que Nscale compte déployer en Norvège, en Angleterre et au Portugal, pour les comptes d’OpenAI et/ou de Microsoft.
« Il s’agit d’aller au-delà de la puissance brute. Nous avons besoin de couches basses élastiques, fiables. Choisir Vast nous permet d’avoir la technologie de pointe d’un hyperscaler de l’IA. Nous sommes véritablement en train de définir un standard technique pour l’infrastructure de l’IA au service des entreprises », déclare Tom Burke, le directeur opérationnel de Nscale dans un communiqué.
En filigrane, on comprend que le jeune hébergeur de services cloud entend réunir tous les atouts pour se prétendre un hyperscaler, c’est-à-dire un géant du cloud au même titre d’AWS, Azure ou GCP. Outre louer ses serveurs à OpenAI et Microsoft, Nscale compte vendre ses services d’infrastructure en ligne à une clientèle d’entreprises. Si ses ambitions se concrétisent, il deviendra un sérieux concurrent pour le seul véritable hyperscaler que comptait jusque-là l’Europe : OVHcloud.
Nvidia a officiellement validé la solution de Vast pour un usage conjoint avec ses clusters de calcul dès 2024. La raison de ce choix est la prise en charge dans le système Vast AI des cartes réseau BlueField qui servent à véhiculer le protocole GPUDirect de Nvidia. Ce support, qui a été développé en 2023, avait déjà permis à Vast de remporter l’appel d’offres de la partie stockage pour les clusters de calcul Nvidia de Coreweave, l’équivalent américain de Nscale.
Une approche technique qui n’est ni du NFS ni du pNFS
Si Vast Data a commencé sa carrière à la toute fin des années 2010 comme fabricant de NAS extrêmement rapides, le fournisseur s’est assez tôt mis à proposer son système d’exploitation seul, pour installation sur des matériels d’autres marques, moyennant certaines exigences en termes de connectique réseau. Pour les entreprises, Vast est depuis 2023 le système de fichiers embarqué dans les Alletra MP que vend HPE.
Dans le principe, le système de Vast est un NFS enrichi avec des accès parallélisés, sans pour autant être du pNFS. En NFS, les serveurs applicatifs ou de calcul du réseau lisent ou écrivent des données sur un serveur de fichiers qui dispose de disques soit internes, soit externes (en iSCSI, NVMe-oF, etc.), et qu’il pilote lui-même en mode bloc.
En pNFS, le serveur de fichiers est juste un répertoire des fichiers partagés et il répond aux requêtes en indiquant aux machines du réseau sur quel tiroir de disques iSCSI ou NVMe-oF elles peuvent aller chercher elles-mêmes les blocs des fichiers qu’elles désirent. PNFS est beaucoup plus rapide que NFS, car le serveur de fichiers n’est plus un goulet d’étranglement. Revers de la médaille, les machines du réseau doivent savoir lire et écrire en mode bloc sur des tiroirs de disques. Ce n’est pas ce que Nvidia a prévu dans ses clusters de calcul ; son protocole GPUDirect sert à lire et écrire des fichiers dans la mémoire de ses GPU.
Dans le système de Vast, les machines du réseau lisent et écrivent des fichiers en communiquant avec un serveur de fichiers, comme avec un NFS standard. Comme le veut Nvidia.
Mais ce serveur de fichiers est un cluster à trois étages. En frontal, un switch répartit les requêtes qui arrivent du réseau vers plusieurs appareils NFS. Ils forment le deuxième étage et sont tous redondants, de sorte à étaler la charge. Ces NAS n’ont pas de disques internes, mais ils sont tous connectés aux mêmes tiroirs de disques externes, qui constituent le troisième étage. Ces tiroirs cumulent l’espace de stockage total partagé en NFS, mais ils disposent aussi de données redondantes pour parer à la panne d’un nœud. Un peu comme du RAID en réseau.
L’idée originale du système de VAST est que l’appareil qui reçoit la requête du réseau n’est pas forcément celui qui y répond, mais celui qui a le plus de bande passante disponible. Ainsi, si l’architecture est différente de pNFS, le système de Vast évite tout autant que ce dernier les goulets d’étranglement, tout en préservant un accès à 100% en mode fichiers.
