Stockage : Everpure n’implémentera pas la technologie STX de Nvidia

Le contexte d’une domination des technologies par Nvidia

Le sujet est à vrai dire sensible à plus d’un titre. Fort d’un chiffre d’affaires qui a été multiplié par 11 en à peine trois ans (7,2 milliards de dollars de revenus trimestriels à la mi-2023 et 81,6 mds $ aujourd’hui), Nvidia a à ce point profité de l’essor de l’IA pour inonder le marché de ses cartes accélératrices qu’il fait aujourd’hui figure de boussole pour les fabricants de serveurs. D’autant que plus ses GPU ont évolué pour répondre aux besoins des algorithmes d’IA, plus les applications qui exploitent l’IA ont été développées pour s’interfacer spécifiquement avec les bibliothèques Cuda qui pilotent le fonctionnement de ses GPU.

Nvidia s’est cependant surtout enrichi grâce aux hyperscalers américains – Microsoft Azure, Amazon AWS, Google Cloud - qui se sont précipités sur ses GPU à coup de chèques extravagants pour doter leurs clouds des services d’IA les plus performants. Au détriment des fabricants de serveurs pour datacenters privés, qui n’avaient par conséquent plus accès à suffisamment de stocks de GPU pour proposer une alternative sur site.

Mais alors que les jours étaient comptés pour les fabricants de serveurs qui voyaient leurs clients partir en masse pour le cloud, cette situation s’est subitement grippée après le retour de Donald Trump à la tête des États-Unis en janvier 2025. Un mélange de mesures protectionnistes sur l’IA par le gouvernement américain et une situation géopolitique instable ont rapidement eu deux effets.

D’une part, les entreprises européennes ont pris conscience de l’importance de rapatrier les applications d’IA dans des datacenters privés, autant pour éviter de livrer aux cloud des données sensibles qu’ils pourraient divulguer que pour se prémunir d’un risque de coupure des services en ligne. D’autre part, les hyperscalers ont eux-mêmes mis un coup de frein aux achats massifs de GPU à prix d’or (une seule carte Nvidia pouvant valoir entre 40 et 70 000 dollars et un cluster en nécessitant des milliers) après avoir constaté que les GPU déjà achetés ne généraient finalement pas autant de revenus que prévu.

En réaction à ces deux effets, Jensen Huang, le patron de Nvidia, a prédit, lors de sa dernière conférence annuelle GTC qui a eu lieu en mars à San José, que l’année 2026 serait celle où l’économie de l’IA basculerait de l’entraînement de modèles à l’inférence (utilisation de modèles déjà entraînés) sur site et qu’il s’engageait désormais à fournir en priorité les constructeurs de matériels informatiques pour datacenters privés.

Sauf que Nvidia n’allait pas aussi facilement faire une croix sur les hauts revenus des deux années passées. Pour compenser les commandes plus faibles des fabricants de serveurs, Nvidia a eu l’idée de leur vendre bien plus que des GPU : il propose désormais de préfabriquer pour eux des cartes mères de serveurs, de stations de travail, de switches réseau et, donc, de contrôleurs de baies de stockage.

Des observateurs ont noté dès la conférence GTC une certaine volonté d’ingérence de la part de Nvidia dans tous les choix technologies de ses clients. D’autant que Nvidia n’est pas le seul à fabriquer des GPU pour serveurs : AMD et, désormais, Intel, sont tout autant parés à vendre des accélérateurs pour l’inférence sur des serveurs privés. Nvidia veut à l’évidence leur couper l’herbe sous les pieds.

Les fabricants de serveurs Dell, HPE, Lenovo, rompus à la vente depuis des années de machines à base de processeurs x86 Intel ou AMD qui se ressemblent toutes, ont accueilli la nouvelle avec philosophie : ils se concurrenceront sur des bundles commerciaux, notamment en mettant dans leurs configurations des logiciels qui favorisent la mise en place des IA.

Les fabricants de solutions de stockage, y compris les divisions dédiées chez Dell, HPE et Lenovo, basent en revanche toute leur compétitivité sur la différence de leurs contrôleurs. Pas seulement du point de vue matériel, mais aussi par le système d’exploitation qui leur est accolé : OnTap chez NetApp, Purity chez EverPure, etc. Spontanément, aucun d’eux ne veut se délester de son patrimoine technologique en faveur d’un Nvidia qui se montre de plus en plus dominant.
Seulement voilà. Les fournisseurs de solutions de stockage ont un autre problème. L’appétit vorace des hyperscalers pour les infrastructures d’IA a aussi vidé les stocks de mémoires NAND, lesquelles sont essentielles à la fabrication des SSD qui peuplent leurs baies de disques. Au moment où a lieu la conférence annuelle d’EverPure, le constructeur en est réduit à n’annoncer aucune nouvelle baie de stockage. À la place, il dévoile, comme les fabricants de serveurs, des logiciels d’aide au déploiement des IA. Dont le fameux Data Stream évoqué plus haut.

Nvidia STX contre l’ensemble des architectures de stockage

« Pour ce qu’il en est de notre partenariat avec Nvidia, nous collaborons pleinement. Data Stream est conçu pour fonctionner sur des serveurs équipés de GPU Nvidia et pour sauvegarder les données vectorielles résultantes sur nos baies FlashBlade//S. Mais notre FlashBlade//S n’a même pas de cartes réseau BlueField de Nvidia pour communiquer avec les GPU », reprend Shawn Rosemarin.

BlueField est le nom de la puce réseau que Nvidia a mise au point et qui permet à des cartes réseau et des switches de communiquer à une vitesse supérieure via le protocole Spectrum-X, une extension non standard du protocole Ethernet RoCE.

Dans les premières versions, Nvidia recommandait aux fabricants d’installer dans leurs baies des cartes réseau à base de puce BlueField pour qu’elles communiquent plus vite avec ses GPU. Dorénavant, il les prie d’aller jusqu’à remplacer les cartes mères de leurs baies par de nouvelles cartes mères à base de BlueField, les fameuses STX, pour étendre le gain de vitesse jusqu’aux SSD.  

Une particularité qui rend un module STX nécessaire est la manière particulière qu’a inventé Nvidia pour gérer le KV-Cache, soit le fait de sauvegarder la fenêtre de contexte d’une conversation avec un LLM. Cette sauvegarde sert à libérer la mémoire d’un GPU entre deux interactions d’un utilisateur (ou d’un agent) afin qu’elle puisse servir à d’autres utilisateurs. Sa particularité est qu’elle contient les données de la conversation sous une forme prête à l’emploi, déjà convertie au format vectoriel.

Du point de vue d’un stockage NAS, il serait bien plus simple de sauvegarder en mode fichiers l’historique d’une conversation : un fichier texte pour le prompt, plus tous les documents (PDF, tableaux Excel...) épinglés au fil du travail. Mais cela demanderait de reconvertir tous ces fichiers au format vectoriel à chaque rechargement, ce qui coûterait beaucoup de temps GPU. La solution retenue consiste donc à sauvegarder l’empreinte mémoire brute du GPU. Mais cela s’apparente à du stockage en mode bloc, car on ne veut pas sauvegarder à chaque fois l’intégralité d’une conversation, juste ajouter à la sauvegarde précédente les nouveaux morceaux de l’historique.

EverPure, comme d’autres fournisseurs de stockage, a travaillé sur cette problématique bien avant que Nvidia s’y intéresse. Ses développeurs ont mis au point un algorithme propriétaire, le KVA, qui sauvegarde en mode objet chaque nouveau morceau de l’historique. Pour réduire les temps de sauvegarde et de rechargement, le protocole KVA s’appuie sur un algorithme de compression de Google, TurboQuant, qui fonctionne au niveau des GPU.

Pour le reste, les données voyagent entre les GPU et la baie NAS – une FlashBlade//S, ou FlashBlade//EXA, en ce qui concerne EverPure - via un réseau Ultra Ethernet . EverPure vend sous sa marque des switches Ethernet appelés XFM qui communiquent avec les GPU via des liens en 400 Gbit/s et avec les contrôleurs des FlashBlade via des liens en 100 Gbit/s.

L’ensemble peut être commercialisé sous la forme d’un bundle appelé FlashStack, dans lequel les serveurs équipés de GPU sont incarnés par des serveurs UCS de Cisco, lequel fournit aussi l’équipement réseau situé en haut d’une étagère rack pour interconnecter l’ensemble avec le reste des machines d’une l’entreprise.

Mais selon Nvidia, EverPure devrait mettre à la poubelle son algorithme KVA, ses switches XFM et les contrôleurs de ses FlashBlade, au profit de matériels achetés à Nvidia et qui communiquent le KV-Cache de la mémoire HBM du GPU aux cellules NAND des SSD, en mode bloc, sur un réseau spécial qui aménage des liens virtuels pour éviter les embouteillages.

« Nvidia n’est pas un vendeur de stockage ! De plus, ses solutions BlueField sont calibrées pour des clusters d’entraînement d’IA titanesques, pas pour des clusters d’inférence d’appoint dans les entreprises, soit la cible que nous adressons avec notre logiciel Data Stream », martèle Shawn Rosemarin !

Ne pas implémenter STX, mais revendre des équipements tiers qui le feront

Mais alors d’où vient la mention de STX dans le communiqué officiel ? Shawn Rosemarin évoque la possibilité que ces cartes Nvidia finissent bien par arriver, mais uniquement dans les nœuds de stockage de la baie FlashBlade//EXA.

« La baie FlashBlade//EXA est conçue pour les très grands clusters de calcul. À cette échelle, il y a certes suffisamment d’intérêt pour faire de petits ajustements d’architecture qui éviteraient la génération de goulets d’étranglement. En l’occurrence, pas dans le contrôleur de notre baie qui, sur ce modèle, sert juste d’index. Mais dans les contrôleurs des tiroirs externes de SSD qui, actuellement, sont fabriqués par d’autres fournisseurs », explique le directeur de la R&D.

Pour mémoire, EverPure se distingue en fournissant des baies de stockage qui ne contiennent pas de SSD, mais des modules de mémoire NAND – des « DFM » - dépourvus de firmware et de circuits DRAM, de sorte à offrir deux fois plus de capacité par unité. Une baie FlashBlade ordinaire est un châssis qui partage sur le réseau en mode fichier 15 lames de stockage glissées dans sa structure et chacune pourvue de quatre DFM. Ici, le partage se fait en NFS, SMB ou S3.

Mais dans les gros clusters de calcul, en entraînement d’IA, comme en supercalcul scientifique, ces protocoles de partage sont des goulets d’étranglement. Pour soutenir les hauts débits nécessaires, la bonne pratique consiste à basculer sur des protocoles parallélisés. EverPure a choisi pNFS. Dans celui-ci, quand un serveur de calcul demande à la baie où se trouve un fichier, celle-ci lui répond qu’il se situe sur tel tiroir de disques externe, puis le serveur de calcul communique directement avec ce tiroir. Ainsi, plusieurs GPU peuvent parler en même temps à plusieurs SSD, via des liens différents, sans les ralentissements d’une file indienne.

Dans cette architecture pNFS, les lames internes de la FlashBlade ne communiquent plus avec les GPU, puisque l’intérêt est de placer les données qu’ils demandent sur des tiroirs individuellement accessibles depuis le réseau. EverPure a considéré qu’il était plus simple dans ce cas de ne pas concevoir lui-même les tiroirs externes et qu’il pouvait se contenter de revendre ceux fabriqués par d’autres marques. C’est le principe de la baie FlashBlade//EXA.

En d’autres termes, EverPure pourrait revendre des matériels STX, s’il peut revendre avec ses FlashBlades//EXA des marques qui intègrent cette plateforme. Mais ce ne serait en tout cas pas pour l’inférence des entreprises.

Résister à Nvidia, mais dépendre aussi de lui

Il n’en reste pas moins que la situation est ambiguë. D’un côté, EverPure affirme donc ne pas vouloir se plier lui-même à la technologie de Nvidia pour le stockage. De l’autre, son logiciel Data Stream ne fonctionne qu’avec des GPU Nvidia, alors qu’AMD et Intel proposent des alternatives.

« Encore une fois, nous vendons ce que le marché nous demande. Or, en ce moment, je ne pense pas trahir un secret en disant que Nvidia vend largement plus de GPU que tous ses concurrents. Et quand on voit le niveau de fonctionnalités auquel Nvidia est arrivé, notamment via la bibliothèque de fonctions Cuda avec laquelle notre OS Purity comme toutes les applications d’IA doivent s’interfacer pour tirer parti des GPU Nvidia, je pense qu’il se passera beaucoup de temps avant que quelqu’un d’autre puisse sérieusement rivaliser », dit Shawn Rosemarin.

« Pour que ce soit clair : il ne serait pas compliqué d’adapter Data Stream à un autre GPU, mais c’est juste que personne ne nous le demande et que, par conséquent, nous n’avons aucune raison de le faire », ajoute-t-il.

« Et c’est la même chose pour le processeur ARM de la plateforme MTX : à l’heure actuelle, aucune application de stockage ne l’utilise. Pourquoi investirions-nous déjà dans la réécriture de notre architecture pour le supporter ? Et, ce, d’autant plus, que les technologies en matière d’IA changent en ce moment tous les quatre matins ! Nous ne voulons pas investir dans un développement et, au bout de six mois, devoir faire machine arrière parce que nous n’aurions entretemps trouvé aucun client pour ça », conclut-il.