NetApp et Intel présentent l’appliance d’IA d’appoint AIPod Mini

NetApp et Intel ont profité de l’événement NetApp Insight qui se tenait la semaine dernière à Las Vegas pour dévoiler au public leur appliance commune : AIPod Mini. Constitué de deux serveurs à base de Xeon 6, d’une baie de SSD AFF A20 et d’un switch avec ports 100 Gbit/s pour interconnecter l’ensemble, ce matériel, haut comme le quart d’une baie rack ordinaire, se veut une solution d’appoint, clés en main, pour exécuter les tâches d’inférence en IA des entreprises.

« Vous avez un premier petit serveur 1U monosocket qui se charge d’exécuter l’orchestrateur Kubernetes, lequel pilote le fonctionnement des applications d’IA au format container. Ces applications sont elles-mêmes exécutées sur le second serveur, 2U, qui dispose de deux processeurs et d’une RAM allant de 250 Go à 3 To selon la taille des LLM que vous souhaitez utiliser » explique Nicholas Rago, directeur des partenariats OEM chez Intel (en photo en haut de cet article).

Plus rapide, plus sécurisée et moins chère que des services d’IA sur Internet

« Principalement, vous utiliserez cette machine pour faire du RAG à partir des données stockées dans la baie AFF A20 de taille 2U, qui intègre 24 SSD. Vous pouvez ajouter jusqu’à cinq AFF 20 pour grimper à 144 SSD, soit 9,3 Po de capacité utile, au fur et à mesure que la taille de vos données augmente. Le grand intérêt est que tout reste cloîtré entre vos murs ; il n’y a aucun risque de fuite comme avec les services d’IA sur Internet », ajoute-t-il.

Pour les plus gros projets, NetApp a présenté lors du même événement une baie de stockage AFX capable de contenir 1248 SSD et qui intègre son propre module de calcul, avec GPU L4 de Nvidia, pour convertir au fil de l’eau les données au format vectoriel, indispensable en amont de leur utilisation par une IA. Ici, cette conversion est assurée par un container dédié exécuté sur le serveur à double socket.

« Les processeurs Xeon 6 de ce serveur intègrent un circuit d’accélération AMX spécialisé dans toutes ces tâches relatives à l’inférence », dit Nicholas Rago, qui parle d’une solution également plus rapide et moins chère que des services d’IA en ligne.

Une machine de partenariats

Au-delà du matériel, l’apport d’Intel dans cette solution est la pile logicielle OPEA (Open Platform for Enterprise AI), qui se veut un équivalent Open source à la suite commerciale Enterprise AI de Nvidia, laquelle présente le défaut de ne fonctionner qu’avec ses GPU.

« OPEA vous permet d’installer tous les LLM ouverts et vous offre un cadre pour les exécuter. À l’allumage, vous disposez déjà d’un chatbot prêt à l’emploi qui est capable d’interroger les données stockées sur la partie AFF A20. C’est-à-dire que même si vous ne développez pas d’applications d’IA ou que vous n’en installez pas, vous avez déjà quelque chose qui fonctionne pour synthétiser vos documents commerciaux, comptables, techniques », enchaîne le responsable d’Intel.

Intel, qui développe notamment des pilotes pour que les applications d’IA tirent parti de ses circuits d’accélération, n’est pas le seul à soutenir la plateforme OPEA. Plus de cinquante autres fournisseurs sont cités sur le site du projet. Parmi eux, SAP, VMware, Nutanix, Red Hat, Canonical et même AMD.

L’AIPod Mini n’a pas vocation à être vendu directement par Intel ou NetApp. Selon Nicholas Rago, il s’agit d’une configuration conçue pour les intégrateurs. Ils sont appelés à contacter l’antenne locale d’Intel, laquelle les met en relation avec les grossistes capables de leur fournir les configurations serveur correspondantes au design d’Intel, ainsi que la baie NetApp et le switch réseau.