Processeurs : la technologie MEXT d’AMD coupe en deux les besoins de RAM
Les serveurs équipés des nouveaux processeurs Epyc 9006 d’AMD pourront bénéficier d’un pilote Linux qui utilise un SSD NVMe comme extension mémoire, ce qui réduirait drastiquement leur coût. Toutefois, cela ne fonctionnera pas pour les applications d’IA.
AMD a désormais une solution pour réduire le prix des serveurs. La technologie MEXT, que le fabricant de processeurs a présentée dans le cadre de sa récente conférence AMD in Depth à Las Vegas, consiste à remplacer la moitié de la mémoire DRAM d’un serveur – soit les composants les plus chers – par de la capacité mémoire puisée sur des SSD NVMe 50 fois moins chers. Et, ce, sans que le serveur souffre de ralentissement, alors que les circuits NAND des SSD sont en réalité 500 fois moins rapides que ceux des barrettes de DRAM.
« Sachant qu’une machine virtuelle utilise moins de 50% de la mémoire qui lui est allouée durant un laps de temps, nous avons donc mis au point un système qui prédit quand cette VM aura besoin de ce qui est contenu parmi les autres 50%, de sorte à pouvoir stocker des banques logiques de la RAM sur SSD et les charger lentement dans une zone de DRAM libre avant que la VM ait besoin d’y accéder rapidement », résume Gary Smerdon, responsable de la technologie MEXT chez AMD (en photo en haut de cet article).
« Et financièrement, cela est très, très avantageux. Parce que, à cause des pénuries actuelles, songez qu’une barrette DIMM de 128 Go coûte moins que la moitié du prix d’une barrette DIMM de 256 Go », a-t-il ajouté, à l’occasion de la présentation sur scène qu’il a donnée lors de la conférence AMD in Depth.
Mobiliser un cœur par VM
Précédemment, MEXT était la technologie d’une startup éponyme que Gary Smerdon avait fondée en 2023 et qu’AMD a rachetée en juin dernier. Cependant, le principe technique semble remonter à TidalScale, une autre entreprise que Gary Smerdon avait dirigée de 2016 à 2022 et qui se spécialisait, elle, dans une sorte de virtualisation inversée où plusieurs serveurs physiques pouvaient se présenter sur le réseau comme un seul gros serveur virtuel. Comme dans Mext, la solution de TidalScale intégrait un système de prédiction des charges de travail pour déplacer par anticipation des banques logiques de mémoire à l’endroit où un processeur aurait besoin de les utiliser.
« Le moteur de prédiction que nous utilisons aujourd’hui dans MEXT est une IA de type Transformer, qui fonctionne exactement sur le même principe que les LLM. Sauf qu’au lieu de déterminer les schémas de texte les plus probables pour venir à la suite d’un prompt, nous prédisons les schémas de données les plus probables pour succéder à l’activité en cours », explique Gary Smerdon. Ces prédictions seraient calculées en continu et il suffirait d’une seconde pour deviner les blocs mémoires qui seront utilisés puis les charger en RAM depuis un SSD NVMe.
Gary Smerdon assure que l’empreinte de MEXT est légère. Le logiciel ne mobiliserait qu’un cœur de processeur par machine virtuelle et ne nécessiterait pas de GPU pour ses prédictions.
En pratique, la solution se compose juste d’un pilote Linux et d’un outil de monitoring optionnel nommé RAM View. AMD assure que ces logiciels – non-Open source - seront téléchargeables gratuitement. En revanche, ils ne fonctionneront que sur ses processeurs.
Pas pour toutes les applications
À l’occasion d’une table ronde avec les principaux fournisseurs de serveurs qui a suivi la présentation de Gary Smerdon, John Carter, le directeur des produits chez HPE, a lui aussi insisté sur l’intérêt économique de MEXT, mais en restreignant son utilisation aux serveurs génériques : « nous testons cette technologie pour lever les contraintes budgétaires liées à la mémoire, afin de permettre à nos clients de moderniser leur infrastructure générale tout en conservant des budgets pour investir dans les infrastructures de dédiées à l’IA », a-t-il dit.
Gary Smerdon a de fait admis que l’efficacité de MEXT dépendait du type de charges de travail : « oui, il y a certaines applications que nous avons testées qui, avec MEXT, n’atteignent plus les performances voulues. Ce sont celles qui impliquent des bases de données graphes ou qui ont un fonctionnement non déterministe, avec des pointeurs vers des adresses mémoire qui changent en temps réel. » Ces fonctionnements sont justement ceux des applications liées aux IA génératives et agentiques. MEXT serait donc plutôt dédié aux serveurs qui exécutent des applicatifs de type web.
Gary Smerdon assure que MEXT aurait déjà évité à une entreprise d’acheter pour 5 millions de dollars de barrettes de DRAM. Cette économie aurait été réalisée sur un parc de 145 serveurs, lesquels n’auraient finalement coûté à cette entreprise qu’environ un million de dollars.
HPE et les autres fournisseurs entendent supporter MEXT dans les serveurs qu’ils commercialiseront d’ici à la fin de l’année sur la base des derniers processeurs Epyc 9006 SP7 et SP8. Selon HPE, ce support serait incarné par la présence dans la machine d’un SSD NVMe qui ne servirait qu’à stocker les banques de RAM. Un logo « MEXT Ready » est envisagé.
