VMware s’associe à Nvidia pour intégrer l’IA générative aux entreprises
VMware décline vSphere en une nouvelle plateforme Private AI Foundation spécialement optimisée pour prendre en charge les caractéristiques techniques des GPUs de Nvidia.
À son tour, VMware rejoint l’euphorie des solutions d’infrastructures prêtes à l’emploi, pour exécuter des projets d’intelligence artificielle à la ChatGPT sur les données des entreprises. En vedette du salon VMware Explore qui se tient en ce moment même à Las Vegas, l’annonce d’une nouvelle plateforme VMware Private AI Foundation. Elle se veut l’équivalent pour l’IA générative de ce qu’est Cloud Foundation dans le fait de bâtir des offres de clouds privés : une pile de logiciels aussi complète que possible pour concevoir, déployer et administrer tous les types de projets.
Prévue pour une commercialisation vers le début de l’année prochaine, Private AI Foundation est pour l’heure présentée comme une version de vSphere spécialement taillée afin de prendre en charge les caractéristiques des GPUs de Nvidia.
Parmi ses spécificités les plus saillantes, citons la possibilité pour une VM d’accéder à 16 GPUs (y compris s’ils sont physiquement dans une autre machine). Mais aussi une refonte de la couche réseau pour prendre en charge le routage des données directement entre les GPUs, via le bus NVSwitch de Nvidia (fonction « GPU Scaling »). Et la capacité pour chaque GPU de lire/écrire directement ses données dans un stockage vSAN (fonction tantôt appelée « vSAN Fast Path », tantôt « vSAN Express Storage Architecture »).
« Le jour 1 de l’intégration de l’IA aux activités commerciales »
Invité spécialement sur scène, Jensen Huang, le fondateur de Nvidia (à gauche sur la photo en haut de cet article), a salué « le jour 1 de l’intégration de l’IA générative aux activités des entreprises », expliquant que les applications internes exécutées sous la forme de VMs chez les grands comptes allaient désormais directement communiquer avec des moteurs qui comprennent leurs données et sauront les contextualiser.
Sans ces caractéristiques, les plateformes de virtualisation dans leur ensemble étaient menacées d’être exclues des infrastructures d’IA, du fait des multiples goulets d’étranglement qu’elles généraient, comparativement à un serveur bare metal de type HGX (la configuration matérielle standardisée par Nvidia et déclinée par les constructeurs habituels d’infrastructure).
« Combiner la virtualisation à l’IA générative rend les projets exportables sur d’autres sites. Les données des entreprises sont présentes partout, dans le datacenter de leur siège, dans leurs succursales et dans leurs clouds. L’enjeu de Private AI Foundation est ainsi de rendre les traitements adjacents aux données, afin de répondre aux besoins de gouvernance, de sécurité et de contrôle propres à chaque site », argumente Raghu Raghuram, le PDG de VMware (à droite sur la photo).
Des offres clés en main d’abord sur site, puis en cloud
Dell, HPE et Lenovo ont d’ores et déjà annoncé que leurs serveurs HGX supporteraient Private AI Foundation dès sa disponibilité, normalement au tout début de l’année 2024. À défaut de configuration HGX complète, les serveurs supportés devront intégrer des cartes GPU Nvidia L40S et des DPU Nvidia BlueField-3, notamment sur des cartes réseau ConnectX-7, également fabriquées par Nvidia.
« Les entreprises ont actuellement plus tendance à vouloir rapatrier des moteurs d’IA générative à côté de leurs données, plutôt qu’exporter leurs données dans des services d’IA en cloud public. »
Paul TurnerDirecteur produit responsable de vSphere et des solutions cloud, VMware
VMware estime que les fournisseurs de cloud qui proposent déjà sa plateforme d’infrastructure en IaaS (AWS, Azure et Google, mais aussi OVHcloud, pour les plus connus) pourraient rapidement ajouter une offre de VMs en ligne basées sur Private AI Foundation.
« Cela dit, l’une de nos convictions est que les entreprises ont actuellement plus tendance à vouloir rapatrier des moteurs d’IA générative à côté de leurs données, plutôt qu’exporter leurs données dans des services d’IA en cloud public. Ainsi, elles ont la garantie de se protéger des contrefaçons et elles protègent le caractère privé de leurs données », commente Paul Turner, le directeur produit de VMware responsable de vSphere et des solutions cloud.
Outre le moteur, VMware Private AI Foundation sera aussi livré avec des machines virtuelles préconfigurées pour exécuter des frameworks Open source ou non, qui entraîneront et inféreront les grands modèles de langage. Pêle-mêle, VMware cite Falcon LLM, Llama 2 et MPT de MosaicML, les modèles préentraînés issus de Hugging Face, le framework NeMo de Nividia, mais aussi les plateformes de calcul distribué PyTorch, Kubeflow et Ray.io. À cela s’ajoute une mystérieuse base de données vectorielle, simplement baptisée VectorDB.
