Stockage : NetApp rachète DataPelago pour favoriser l’IA sur ses baies

La passerelle Nucleus de la startup sert à raccourcir l’intégration des données à une IA, notamment en leur permettant d’être ingérées dans leur format d’origine. Ce logiciel pourrait être intégré à la baie matérielle AFX et aux services de stockage en cloud de NetApp.

NetApp vient de racheter la startup DataPelago qui édite une passerelle permettant de fournir à une IA des données dans leur format d’origine – un datalake Apache Spark étant l’exemple le plus cité – sans avoir besoin de les convertir et de les ingérer au préalable dans une base de données vectorielle. Cette passerelle s’interconnecte avec des applications d’IA (chatbots, agents...) compilées pour la bibliothèque universelle LLVM, pour Cuda de Nvidia, ou encore pour ROCm d’AMD.

« DataPelago s’est donné pour mission d’éliminer les goulots d’étranglement liés au traitement des données qui empêchent l’innovation en matière d’IA d’atteindre son plein potentiel. Rejoindre NetApp nous offre l’opportunité d’associer notre technologie de traitement révolutionnaire au meilleur portefeuille d’infrastructures de données du secteur », dit Rajan Goyal, fondateur et directeur général de DataPelago, dans un communiqué.

« Le moteur Nucleus de DataPelago apporte une accélération définie par logiciel directement au niveau de la couche de stockage, en traitant les données à la fois sur les CPU et les GPU afin que les entreprises puissent préparer, gérer et activer leurs données pour l’IA sans avoir à les déplacer. Il s’agit là d’une véritable activation zéro-copie », ajoute Syam Nair, directeur des produits chez NetApp, dans le même communiqué.

Vers une intégration à la baie AFX ?

NetApp ne dit pas encore comment il compte articuler cette solution avec ses baies de stockage, mais il est probable que la passerelle de DataPelago, appelée Nucleus, soit à terme intégrée à la baie AFX que le constructeur a dévoilée en fin d’année dernière. Cette baie est en pratique une baie de stockage AFF A1K au format 4U avec ses tiroirs externes NX224 de 24 SSD 2,5 pouces chacun et, c’est la particularité, des serveurs de calcul qui intègrent des GPU.

À la base, ces serveurs de calcul portaient la référence DX50 et ne servaient qu’à convertir au fil de l’eau les fichiers stockés au quotidien sur les tiroirs de SSD en données vectorielles directement utilisables par des IA.

Pour autant, la pratique de convertir des fichiers qui n’ont pas beaucoup de description en des informations classées selon leur valeur sémantique sonnait déjà comme quelque chose de nébuleux. Plus tôt cette année, Red Hat, avec le lancement de son dernier Red Hat AI, expliquait ainsi qu’il y a toute une science de la sémantique au-delà de la simple conversion d’un format à l’autre.

En sachant prendre en compte toutes les informations de classement d’un datalake, Nucleus pourrait rendre le travail automatique de la baie AFX beaucoup plus pertinent. De plus, en permettant d’utiliser les données dans leur format d’origine, il rendrait inutile le stockage d’une base vectorielle additionnelle et contribuerait à économiser de l’espace de stockage. Et cela n’est pas anodin en cette période de pénurie des SSD.

Nucleus étant compatible avec tous les GPU et même avec les bibliothèques d’IA qui n’utilisent que des processeurs, il est probable que NetApp dévoile lors de sa prochaine conférence annuelle, qui se tiendra fin septembre à Las Vegas, de nouvelles configurations pour ses modules DX50.

Un avantage aussi pour les services de NetApp en cloud

Par ailleurs, Nucleus sait aussi fonctionner en cloud, ce qui tombe très bien pour NetApp qui se targue d’avoir l’offre la plus complète d’instances virtuelles de ses baies dans les catalogues en ligne des hyperviseurs.

Ces instances servent un fonctionnement hybride : les collaborateurs d’une entreprise stockent localement leurs données quotidiennes sur une baie NetApp, laquelle les migre automatiquement vers des services de stockage NetApp en cloud. L’intérêt du cloud, est que les capacités de stockage comme les capacités de calcul par GPU y sont bien plus disponibles.

En pratique, Nucleus permettrait à des entreprises de choisir les GPU les moins chers en cloud pour exécuter des applications et des agents d’IA sur des données dont le stockage coûte lui aussi très peu cher, car non répliqué vers des services de bases vectorielles.

À date, NetApp indique que l’activité de DataPelago sera exercée au sein d’une filiale autonome. Il reste cependant à voir si Nucleus ne fonctionnera plus qu’avec des stockages NetApp ou s’il restera possible de l’utiliser avec des marques de stockage concurrentes.

Pour approfondir sur SAN et NAS