Storage No 40 : les solutions de stockage accéléré débarquent pour épauler l’IA

Des baies de disques…

Pure Storage, de son côté, décline ses NAS FlashBlade en cluster, avec une nouvelle gamme FlashBlade//EXA conçue pour alimenter en données les serveurs qui entraînent les modèles d’IA aussi rapidement que les baies de disques pour supercalculateur. Pure Storage parle de débits allant jusqu’à 10 To/s par volume et des capacités dépassant 100 Po. La solution repose sur le protocole pNFS. C’est une alternative au système de stockage Lustre, traditionnellement utilisé dans en HPC, car elle est compatible avec les applications courantes dans les entreprises qui utilisent NFS et elle fonctionne sur un réseau Ethernet standard, voire sur Spectrum-X.

Le fabricant chinois Huawei n’est pas en reste avec sa nouvelle génération de baies OceanStor Dorado. Celles-ci ont la particularité d’être dotées de puces accélératrices pour répartir les accès en lecture/écriture entre leurs SSD. Huawei prétend pouvoir atteindre grâce à ce système jusqu’à 100 millions d’IOPS et des fonctions de sécurité inédites, notamment la détection de cyberattaques et la création de copies de secours invisibles. Ces baies hybrides (NAS, SAN, S3) utilisent des processeurs ARM Kunpeng et des modules Flash PALM propriétaires avec compression et chiffrement à la volée.

… et des systèmes de stockage

Autre innovation notable, le secteur voit revenir le système de stockage Open source DAOS. Sa promesse est de rivaliser en performances avec les baies commerciales conçues pour l’IA. Utilisé notamment dans le supercalculateur Aurora et le service Parallelstore de GCP, DAOS se distingue par une architecture originale, à base de couples clé-valeur, bien plus performante que les traditionnels modes blocs ou fichiers sur des SSD et des caches en RAM. Tout l’objet de la fondation, qui prend désormais en main le destin du système, est de développer des bibliothèques qui redirigent les accès des applications traditionnelles (le mode de fichiers Posix par exemple) en maintenant une latence minimale.

Nous restons dans les systèmes en évoquant également dans ce numéro de Storage la dernière évolution de la Global Data Platform d’Hammerspace. Elle se dote d’une extension dite tier-0, qui a la bonne idée d’étendre la surface physique d’un volume de stockage, traditionnellement incarné par des baies externes, aux SSD internes d’un serveur de calcul. Comme chez Pure Storage, on retrouve ici une architecture parallélisée basée sur pNFS. Ce protocole a le mérite de démultiplier les accès tout en restant compatible avec les applications traditionnelles.

De son côté, Scality décline son système de stockage objet Ring en une version Ring XP plus adaptée à l’IA. Ring XP permet de descendre à une latence de 500 microsecondes pour les opérations de lecture et d’écriture sur des objets de petite taille. La ruse ? Une simplification extrême du protocole S3 pour éviter de perdre du temps à décoder des ordres de stockage jamais utilisés en IA. L’intérêt de cette solution est qu’elle rend enfin le stockage objet (d’ordinaire plus lent que tous les autres modes) compatible avec l’IA. Rappelons que l’avantage du stockage objet est qu’il permet de constituer facilement des lacs de données bien plus importants et bien mieux indexés qu’en mode fichier.

Du microcontrôleur à l’usage

Ce numéro de Storage Magazine met également en lumière un acteur méconnu, Fadu, qui fabrique des puces contrôleur pour SSD. Ses puces sont programmées pour optimiser les performances et la consommation d’énergie des SSD quand ils sont déployés dans des clusters de calcul. Les acteurs du cloud en sont friands et les entreprises auraient tout intérêt à se fournir en SSD équipés de ces puces, pour mieux rentabiliser les infrastructures d’IA de leurs datacenters.

Enfin, nous abordons une question cruciale, dont dépendent finalement tous les autres articles de ce quarantième numéro : pourquoi est-il pertinent de déployer de l’IA sur site, sur ses propres infrastructures de stockage, plutôt que de passer par des services en cloud ? La réponse, détaillée dans l’article, est évidemment liée aux coûts et au besoin de confidentialité.

Bonne lecture !

Téléchargez gratuitement
Storage 40