
Infrastructure IA : Nvidia rachète Enfabrica
Le contrôleur CXL de la startup doit permettre à plusieurs GPU de partager une extension mémoire externe, accélérant l’entraînement des IA et rendant plus élastique l’inférence. Étonnamment, cette extension serait reliée par Ethernet.
Dans le domaine de la répartition des calculs nécessaires aux IA, Nvidia annonce racheter pour 900 millions de dollars la startup californienne Enfabrica. Celle-ci a mis au point un contrôleur CXL, baptisé ACF-S (Accelerated Compute Fabric Switch), qui est capable d’étendre la mémoire de travail de plusieurs GPU vers 18 To de RAM stockés dans un module externe, lequel est relié en Ethernet aux serveurs.
En entraînement d’IA, ces 18 To de RAM sont bien plus rapides qu’une baie des SSD. En inférence, c’est-à-dire dans le cas d’une utilisation en entreprise d’IA génératives déjà entraînées, cette mémoire partagée externe permet à un cluster de GPU de collaborer directement sur plusieurs LLMs. Qui plus est de très grands LLM qui tiennent d’ordinaire difficilement dans la mémoire d’un GPU.
Bien qu’encore très peu implémentée, la solution d’étendre la mémoire en externe via le protocole standard CXL n’est pas une nouveauté. En revanche, la prouesse d’Enfabrica est de savoir le faire via un simple réseau Ethernet, alors qu’il faut normalement doter chaque serveur d’une carte contrôleur CXL.
18 To de RAM dans un boîtier relié par Ethernet
Côté Ethernet, l’ASIC ACF-S communique 3,2 Tbit/s au travers de huit ports Ethernet en 400 Gbit/s, ou quatre ports en 800 Gbit/s. Côté RAM, la puce d’Enfabrica gère 144 canaux PCIe 5 pour une bande passante totale de 5 Tbit/s. À raison de quatre canaux par barrette, ce contrôleur peut partager 36 barrettes d’un maximum de 512 Go chacune, d’où le total de 18 To de RAM.
L’été dernier, Enfabrica a construit un serveur EMFASYS (Elastic Memory FAbric SYStem) doté de sa puce ACFS-S et de barrettes mémoires pour présenter les cas d’usage. Les 18 To sont soit simultanément utilisés par huit GPU d’entraînement qui lisent ou écrivent leurs données en parallèle avec un débit de 400 Gbit/s, soit partagés comme une mémoire unifiée entre une trentaine de GPU d’inférence, via des switches Ethernet équipés de ports 100 Gbit/s.
Le réseau Ethernet doit nécessairement supporter le mode RDMA. Il doit donc s’agir d’équipements compatibles soit avec le protocole standard RoCE v2, soit avec le protocole Spectrum-X propriétaire de Nvidia.
Concernant la gestion de mémoire externe, Nvidia la supporte depuis ses GPU via son protocole propriétaire NVLink. À date, NVLink n’est pas directement compatible avec le protocole CXL standardisé par Intel. Mais il devrait suffire à Nvidia de développer un pilote logiciel pour que ses GPU NVLink utilisent la mémoire CXL partagée par la puce ACF-S.
En complément d’un projet de SSD CXL avec Kioxia
Simultanément à ce rachat, Nvidia a noué un partenariat avec Kioxia pour un projet similaire d’extension mémoire de ses GPU. Sauf que dans le cas de Kioxia, il s’agirait de simuler de la RAM à partir de la capacité de stockage de SSD extrêmement rapides, capables d’atteindre 100 millions d’IOPS d’ici à 2027. Pour l’heure, les SSD de Kioxia plafonnent plutôt à 1,5 million d’IOPS.
Pour parvenir à une telle vitesse, les SSD de Kioxia seraient dotés d’un nouveau contrôleur qui démultiplie les canaux de lecture/écriture devant des puces qui empilent 96 couches de cellules NAND. À la manière de la mémoire HBM, où les puces de DRAM ont plusieurs couches entassées verticalement, chacune avec un bus de communication dédié. D’ailleurs, Kioxia évoque le terme de NAND HBF (avec un F comme Flash, à la place du M de Memory, HB signifiant dans les deux cas High Bandwidth).
Pour pouvoir se présenter comme de la mémoire directement attachée aux GPU, le nouveau contrôleur de Kioxia saurait partager sa NAND au protocole CXL, via quatre canaux PCIe. Ce SSD serait soit directement monté juste à côté du GPU, soit dans un boîtier CXL externe. Tel que l’EMFASYS d’Enfabrica.
Une rafale d’investissements pour Nvidia
En ce moment, Nvidia dépense tous azimuts sa trésorerie. Après avoir consenti à racheter pour plusieurs milliards de dollars la puissance de calcul non utilisée chez les hébergeurs CoreWeave et Lambda à qui il a vendu des GPU, le constructeur annonçait la semaine dernière investir 5 milliards dans Intel et 700 millions dans la chaîne norvégienne de datacenters Nscale.
La prise de participation dans Intel, à hauteur de 4% de son capital, doit permettre à Nvidia d’imposer l’intégration de ses circuits dans les processeurs du fondeur de Santa Clara. Il se pourrait ainsi qu’Intel n’intègre plus son propre GPU dans ses processeurs Core pour PC, mais celui de Nvidia. Dans les serveurs, les processeurs Xeon pourraient être dotés d’un contrôleur NVLink, au détriment du plus standard UALink.
Dans les deux cas, Intel devrait reverser des licences à Nvidia, mais n’investirait plus dans le développement de circuits périphériques ni dans celui des pilotes concurrents à ceux de Nvidia. Une perspective économique a priori satisfaisante pour le financier Lip-Bu Tan qui a remplacé le technicien Pat Gelsinger à la tête d’Intel.
Quant à Nscale, il s’agit de la chaîne de datacenters qui doit déployer en Norvège et au Royaume-Uni les centres de calcul d’OpenAI, sous la marque Stargate. Centres de calcul qui seront remplis de GPU exclusivement Nvidia.
Les rachats de puissance de calcul chez les hébergeurs ont d’abord laissé certains analystes imaginer qu’il pouvait s’agir d’une simple optimisation fiscale. Les investissements de Nvidia dans Enfabrica, Intel et Nscale pourraient en revanche s’avérer bien plus générateurs de revenus et, à terme, compenser les 13% de chiffre d’affaires annuel que le constructeur vient de perdre après que ses produits ont été interdits d’importation en Chine.