Stockage pour l’IA : Huawei dévoile sa stratégie à Madrid

Quatre baies de stockage pour l’IA

Huawei avait historiquement deux familles de baies de stockage de production : les OceanStor Dorado comme stockage bloc pour les serveurs applicatifs (images de machines virtuelles et de containers, bases de données), ainsi que les OceanStor Pacific, des NAS pour partager les données de travail au format fichier ou objet. Les OceanStor Pacific se déclinent aujourd’hui en deux versions accélérées, avec deux nouveaux modèles 9926 et 9928 pensés pour les travaux d’inférence. Et il existe désormais une troisième famille, les baies de SSD OceanStor A-Series, spécifiquement conçues pour épauler l’entraînement des intelligences artificielles.    

Les OceanStor Pacific 9926 et 9928 sont physiquement identiques. Ils se composent d’un boîtier 2U pouvant contenir 36 SSD QLC extra-plats, mais allongés, un format propriétaire « Palm-Sized » de Huawei. Lors de sa conférence à Madrid, ces SSD avaient une capacité de 61 To, mais le constructeur promet que les modèles en 122 To seront disponibles d’ici à la fin de l’année.

« Ces machines pèsent seulement 45 kg pour une capacité de stockage brute de 2 Po ! Personne d’autre n’atteint une telle densité », se félicite Yuan Yuan, qui précise que la capacité est huit fois plus importante qu’avec une baie 2U composée de disques durs mécaniques et qui pèse deux fois plus lourd.

En termes de puissance, les OceanStor Pacific 9926 et 9928 sont équipées de deux processeurs ARM Kunpeng 920, conçus par Huawei, de 1 To de RAM et de connecteurs Ethernet RoCE en 200 Gbit/s ou Infiniband en 400 Gbit/s. Leur débit est de 90 Go/s et leur vitesse d’accès est de 2,4 millions d’IOPS. Enfin, 256 baies peuvent être déployées en cluster pour augmenter d’autant la capacité et la bande passante.

La différence entre les modèles 9926 et 9928 est que le second supporte plus de protocoles d’accès, notamment l’API HDFS typique des lacs de données, alors que le 9926 se limite aux accès fichier, en NFS, et objet, en S3.

La famille A-Series se distingue principalement des Pacific par l’utilisation de SSD MLC plus rapides. Dans un boîtier 8U contenant 64 SSD, l’OceanStor A800 atteint ainsi un débit de 500 Go/s et une vitesse d’accès de 10 millions d’IOPS. En l’occurrence, la machine contient deux contrôleurs qui disposent chacun de quatre processeurs ARM Kunpeng 920 et de 1 To de RAM (soit huit processeurs et 2 To de RAM par machine).

Surtout, l’OceanStor A800 est équipé de puces accélératrices NPU derrière ses cartes réseau pour lire et écrire les données directement sur les SSD, sans passer par un décodage au niveau des processeurs. Ce dispositif permettrait d’accélérer les accès de 40%. Huawei parle d’une technologie NPUDirect Storage (NDS), qui n’est pas sans rappeler le GPUDirect Storage de Nvidia du côté des serveurs de calcul. Les cartes réseau proposent des ports 200 Gbit/s, en Ethernet RoCE comme en Infiniband.

Il existe aussi une petite baie OceanStor A600 qui reprend les caractéristiques physiques des nouvelles OceanStor Pacific 9926 et 9928 : 2U, 36 SSD. Comme l’A800, elle dispose de deux contrôleurs. Ici, chacun contient deux ARM Kunpeng 920, 512 Go de RAM et des NPU qui accélèrent les accès de 30%. Le débit de l’OceanStor A600 est de 160 Go/s et, ce, alors que ses cartes réseau sont limitées du 100 Gbit/s.

Des accélérations logicielles

En outre, toutes ces nouvelles baies de stockage pour l’IA s’accompagnent d’une couche logicielle appelée UCM (Unified Cache Manager). Elle permet aux serveurs de calcul d’accéder aux baies de stockage via un protocole clé-valeur (KV), soit une sorte d’accès en mode bloc, mais avec des blocs de taille variable.

« UCM, qui nécessite l’installation d’un pilote côté serveurs, va faire un fort usage de la RAM embarquée dans les baies de stockage pour y maintenir un cache. Ce cache fonctionne aussi bien pour le RAG (inférence sur un LLM préentraîné) que pour l’entraînement d’une IA », explique un porte-parole de Huawei devant le stand des OceanStor A-Series.

Selon Yuan Yuan, UCM, de par son fonctionnement, permet d’utiliser des serveurs de calcul dont les GPU sont dépourvus de mémoire HBM, qui leur sert habituellement de cache ultra rapide. Huawei aurait développé cette technologie suite à l’embargo américain concernant l’export de mémoires HBM vers la Chine.

UCM fera partie à terme d’un ensemble de logiciels Open source baptisé CANN (Compute Architecture for Neural Networks) que Huawei compte partager d’ici à la fin de l’année et qu’il relie à sa plateforme logicielle Ai Data Lake. À ce stade, on ignore si CANN comprendra un outil pour convertir les données de l’entreprise cliente au format vectoriel, nécessaire au traitement par une IA, et si cet outil fonctionnerait directement sur les baies OceanStor, à la manière de la baie de stockage intelligente AFX présentée récemment par NetApp.