Le constructeur a dévoilé lors de sa conférence européenne une baie de stockage qui met les supercalculateurs dans les mains des entreprises pour entraîner des modèles, un cluster pour l’inférence sur site et des logiciels pour les métiers.
Après les applications « cloud native », voici le temps des infrastructures « AI native ». Ce slogan, qui, on n’en doute pas, perdurera longtemps dans les communiqués publicitaires des fabricants d’équipements informatiques, a été inventé début décembre lors de l’édition européenne de la conférence HPE Discover 2023.
En juin, aux USA, HPE jetait les bases d’un nouveau catalogue toujours plus orienté puissance à la demande et riche d’une offre stockage entièrement repensée autour de la très haute performance en mode fichiers. Le constructeur argumentait qu’il s’agissait exactement là des ingrédients nécessaires aux entreprises pour qu’elles démarrent leurs projets d’intelligence artificielle.
Ces derniers jours, à Barcelone, HPE a précisé les détails qui positionneraient mieux son offre que celle de ses concurrents dans le Machine learning (entraînement complet de modèles) et dans l’IA générative (calcul de réponses en conjuguant les modèles entraînés avec les données des entreprises).
« À l’heure actuelle, les entreprises réfléchissent encore à la manière d’implémenter l’IA dans leurs activités. »
Antonio NeriPDG, HPE
« Notre propos est d’apporter in fine tous les outils à toutes les entreprises pour que leurs métiers, le service financier, le service commercial, le service logistique puissent simplement créer des interfaces qui puisent dans les données et génèrent des réponses opérationnelles grâce au raisonnement de grands modèles de langages prêts à l’emploi. Et cela fonctionnera que vos données soient des tableaux Excel, des documents commerciaux ou encore des vidéos prises par vos caméras de vidéosurveillance », dit Antonio Neri (en photo), le PDG de HPE, lors d’un point presse.
« Il y aura des contraintes réglementaires ou des contraintes de coûts. Et c’est pourquoi nous proposons l’ensemble de la pile pour une exploitation sur site, ou en cloud, ou en mode hybride. »
« Pour autant, nous sommes en avance de phase sur ces questions. À l’heure actuelle, les entreprises réfléchissent encore à la manière d’implémenter l’IA dans leurs activités. Elles n’utiliseront l’IA générative que d’ici à 12 ou 18 mois. En attendant, les plus importantes d’entre elles ont besoin d’énormément de puissance pour entraîner les modèles. Nous leur apportons des solutions de supercalcul utilisables en dehors des habituels instituts de recherche », ajoute-t-il.
Décliner la puissance des supercalculateurs dans les datacenters classiques
Selon HPE, pour mettre le supercaclul dans les mains des entreprises, il suffit de lui accoler une baie de disques conçue pour l’entreprise. En ce sens, la baie de stockage Alletra MP supporte désormais une connexion directe aux GPU Nvidia via des liens Infiniband, ce qui devrait multiplier par quatre la lecture des données lors de l’entraînement. Elle dispose par ailleurs de SSD qui atteignent individuellement 30 To, ce qui permet d’assembler un volume source dont la capacité peut aller jusqu’à 88 Po. Cette baie va idéalement de pair avec les lames de supercalcul Cray que HPE mettra bientôt sur le marché.
Ces lames fonctionneront, au choix, sous Red Hat Linux pour exécuter les moteurs de Machine learning en machines virtuelles, ou sous Suse Rancher, pour les exécuter sous forme de containers.
Pour l’IA générative, HPE commercialisera sous peu une configuration basée sur 16 serveurs ProLiant DL380a Gen11, chacun équipé de quatre cartes GPU Nvidia L40S, ainsi que d’un DPU BlueFiled-3 de Nvidia en guise de contrôleur réseau et stockage. Ces 16 serveurs sont interconnectés via un switch Ethernet Spectrum, également de Nvidia. Un tel cluster serait taillé pour faire travailler le modèle de langage Llama 2 (70 milliards de paramètres) sur les données de l’entreprise. Tout juste annoncés, les serveurs ProLiant DL380 Gen11 correspondent à des boîtiers 2U qui contiennent deux processeurs Xeon de 8 à 56 cœurs chacun, vingt-quatre barrettes de mémoire DDR5 pour atteindre un maximum de 3 To de RAM et quatre logements pour des cartes PCIe 5.0 en 16 canaux chacune.
De leur côté, les switches Ethernet Spectrum de Nvidia portent la promesse d’accélérer par 1,7 le trafic Ethernet par rapport à des switches traditionnels, à condition que les serveurs du réseau disposent d’un DPU BlueField-3. En l’occurrence, cartes contrôleurs et switch communiquent en RDMA-over-Converged Ethernet (RoCE), une variante de l’Ethernet qui, entre autres, compresse et décompresse les données à la volée de sorte à réduire la charge du trafic.
La génération la plus récente des switches Ethernet est la famille SN5000. Elle est basée sur la puce Spectrum-4. Il s’agit d’un ASIC mis au point par Nvidia à partir d’un design similaire à celui du DPU BlueFiled-3. Le SN5400 offre 64 ports optiques en 400 Gbit/s. Le SN5600 en propose autant, mais en 800 Gbit/s. ils sont au format 2 U.
Outre les échanges réseau, le système Spectrum de Nvidia transporte aussi les accès au stockage via le protocole NVMe/RoCE. Nvidia présente sa solution comme un réseau quasiment aussi performant que l’Infiniband des supercalculateurs, mais pour les data centers classiques des entreprises.
Une pile logicielle spéciale IA signée HPE
Que ce soit pour ses serveurs Cray avec baie Alletra MP, comme pour le cluster à base de ProLiant DL380a, HPE propose d’accompagner ses équipements « AI Native » de trois logiciels censés simplifier la mise en place d’un projet d’intelligence artificielle. Le constructeur avance qu’il s’agit de la pile logicielle d’IA la plus complète créée par un fournisseur de serveurs. Ses concurrents (Dell…) auraient le désavantage de ne proposer en bundle que les kits de développement de Nvidia, plus orientés développeurs que métiers.
Le premier logiciel de cette suite est HPE Ezmeral Data Fabric. Il sert à rassembler les données sources. Il dispose de connecteurs pour aspirer les données depuis différents stockages, qu’ils soient à demeure ou en cloud. L’ensemble des données – fichiers, objets, tableaux et flux continus – est visualisable et administrable depuis une console fournie. Ce logiciel permet d’étiqueter la sensibilité des données pour les traiter sans violer les réglementations en vigueur. Il prend également en compte la présence de GPUs dans les serveurs.
Le second logiciel est l’application SaaS HPE Ezmeral Unified Analytics. Elle permet de construire le squelette d’applications analytiques et d’IA générative.
Le troisième est HPE Machine Learning Development Environment. Il s’agit d’un studio pour les data scientists et autres ingénieurs de la donnée. Il sert de support de collaboration entre les équipes et permet de répliquer des modèles pour multiplier les tests et les variantes d’un algorithme. C’est ce logiciel qui configure l’infrastructure sous-jacente, GPUs compris, pour optimiser les projets d’IA. Il est disponible en version installable sur site, mais également sous la forme d’un service SaaS chez AWS et, bientôt, d’autres hyperscalers.
À cela s’ajoute la suite d’outils AI Enterprise de Nvidia. Celle-ci comprend notamment le kit NeMo qui sert à construire et déployer de grands modèles de langage, mais également à les personnaliser avec les données de l’entreprise.
Tous ces produits sont achetables via le programme de consommation à la demande GreenLake de HPE. C’est-à-dire que les produits en question – infrastructures et logiciels – peuvent fonctionner soit sur site, soit en cloud chez AWS, soit sous la forme dans un cloud privé, éventuellement géré par HPE. Dans ce dernier cas, le constructeur a passé un accord avec la chaîne de datacenters en colocation Equinix pour y installer ses infrastructures et les commercialiser à la découpe sous forme d’IaaS.
« Par exemple, nous avons déjà déployé aux USA des configurations spécialisées dans certains domaines, notamment la recherche médicale. Nous sommes en train de faire la même chose en Europe et des offres seront disponibles courant 2024 », dit Antonio Neri.
