« La mémoire HBM est inefficace, mais c’est la meilleure dont on dispose actuellement », Pal Gelsing
Pal Gelsinger n’aime pas la mémoire HBM et il l’a clairement expliqué lors de la conférence dédiée à l’IA, le RAISE Summit qui s’est tenu en juillet dernier. L’ancien CEO d’Intel a évoqué sur la scène parisienne les tensions sur le marché de la RAM et quel avenir il voit se dessiner sur un marché qui peine à répondre aux besoins insatiables des IA.
Après avoir dirigé VMware de 2012 à 2021, puis Intel comme PDG de 2021 à 2024, Pat Gelsinger est aujourd'hui associé au fonds d'investissement Playground Global, un Venture Capitalist fortement impliqué dans les startups technologiques, avec notamment un investissement dans d-Matrix, un fabricant de mémoires dédiées à l'IA. Celui qui avait conçu le 80486 dans les années 80 reste un fin observateur du secteur des semi-conducteurs et, interrogé sur la question de la pénurie mondiale de RAM, il s'est montré peu optimiste.
La raison des tensions sur ce marché est connue de tous, c'est l'IA. « La demande engendrée par l'IA reste élevée. L'économie des tokens est virtuellement illimitée », commence-t-il. « Les IA deviennent de plus en plus intelligentes et la demande est insatiable. […]. Les fenêtres de contexte et la taille des modèles impliquent de consommer plus de mémoire. »
Les utilisateurs veulent aussi une meilleure latence. « Une demande insatiable, des utilisateurs qui veulent des fenêtres de contexte de plus en plus large et une mémoire de plus en plus rapide… Ce trio nous a conduits à cette période où la mémoire n'a jamais été aussi bonne pour les industriels. »
Pat Gelsinger fait allusion aux cinquante années pendant lesquelles les fabricants de mémoires ont connu « une bonne année sur quatre » et aux nombreux acteurs qui ont disparu ou failli disparaître à plusieurs reprises, comme HK Hynix.
« L'industrie connaît 5 bonnes années [de suite] et nous avons aujourd'hui une marge de l'ordre de 90 % pour la mémoire HBM ! C'est juste incroyable. » De fait, l'industrie s'est concentrée et il ne reste que trois acteurs majeurs : Samsung, le leader mondial, suivi d'un autre Coréen, HK Hynix et de l'Américain Micron.
HBM, une technologie loin d'être optimale
La demande pour la mémoire HBM (High Bandwith Memory) est d'autant plus incroyable pour le vétéran de l'industrie que celui-ci n'a que peu de considération pour cette technologie.
« Elle est mauvaise. Elle consiste à empiler des mémoires DRAM, or la DRAM n'aime pas cela, car vous créez un sandwich thermique et cela limite justement la bande passante que vous cherchez à avoir avec une connexion en point à point entre la mémoire et le GPU. »
Pat Gelsinger pointe aussi l'inefficacité de la HBM sur le plan industriel. Il faut quatre fois plus de temps pour produire une mémoire HBM qu'une DDR, ce qui vient saturer les capacités de production des fabricants et a asséché le marché.
« Pour résumer, la mémoire HBM est inefficiente en termes de fabrication, inefficace en termes de puissance et de bande-passante… mais c'est juste la meilleure dont on dispose actuellement ! », lance l'ex-PDG d'Intel. « Fondamentalement, nous avons aujourd'hui besoin d'une bien meilleure architecture mémoire pour concrétiser les bénéfices que l'on attend de l'IA. »
Rejoint sur scène par Hoshik Kim, Senior Vice President & Fellow chez SK Hynix, ce dernier est venu d'une certaine façon « défendre » la mémoire HBM (dont il est le leader).
« La HBM est une bonne mémoire, mais ce n'est pas la solution définitive », nuance-t-il. « En réalité, la technologie HBM ne résoudra pas le problème du “mur de la mémoire”. C'est un problème inhérent à l'IA et on ne peut pas y échapper. Nous avons donc fait de notre mieux pour fournir une mémoire à plus grande bande passante grâce à cette technologie, même si celle-ci présente certaines limites, comme Pat l'a mentionné : problèmes thermiques, d'E/S, post-traitement, et bien d'autres encore. Mais c'est la seule solution dont nous disposons pour l'instant afin d'atténuer ce problème ».
SK Hynix travaille d'ailleurs actuellement sur une autre piste pour casser ce « mur de mémoire ».
Des successeurs encore en gestation
La capitalisation des fabricants de mémoire dépasse aujourd'hui les 3 trillions de dollars. D'énormes investissements sont réalisés en R&D. Mais seule une intégration étroite entre la mémoire et la puissance de calcul permettra de relever les défis de l'IA.
Pat Gelsinger évoque les travaux réalisés par Cerebras, par exemple, mais aussi l'acquisition de Groq par Nvidia pour la somme record de 20 milliards de dollars. La startup américaine a développé un LPU (Language Processing Unit) pour porter les inférences des grands LLM et dont une caractéristique est d'embarquer de la SRAM directement dans sa puce, au lieu de s'appuyer sur des composants HBM externes.
L'approche a séduit Jensen Huang qui n'a pas hésité à casser sa tirelire pour en prendre le contrôle. Par Gelsinger évoque aussi des entreprises comme d-Matrix et NextSilicon, avec la mémoire empilée directement au-dessus des unités de calcul pour plus d'efficacité. « Je pense que l'on assistera à des percées d'ici la fin de la décennie qui vont impacter l'industrie et résoudre ce problème de mémoire pour l'IA », prédit-il.
Si Pat Gelsinger a la dent dure contre la mémoire HBM, il se montre extrêmement optimiste quant à la capacité des industriels à inventer de nouvelles architectures qui répondront aux contraintes imposées par l'IA.
Faut-il donc se préparer à 4 nouvelles années de pénurie avant que ces innovations arrivent sur le marché ? Il semble que cela soit désormais inéluctable tant les délais de mise en production sont longs.
« Les Supply Chain des acteurs de la mémoire sont extrêmement longues et très coûteuses. Une innovation majeure peut mettre trois ou quatre ans à se généraliser dans le secteur. Je m'attends donc à ce que l'offre de HBM reste limitée pendant encore plusieurs années, quel que soit le montant des investissements », analyse l'ex-CEO d'Intel.
Pour lui, ces nouvelles architectures innovantes pourront résoudre les problèmes de capacité et de bande passante que la HBM connaît. « La mémoire va s'améliorer considérablement, car, fondamentalement, l'IA est un problème de mémoire. Côté calcul, une fois que nous aurons résolu le traitement des modèles comme les “transformers” et que nous serons en mesure d'en tirer parti, tout le reste consistera à exécuter ces fonctions à répétition sur de grands ensembles de données en mémoire, avec de larges fenêtres de contexte », résume-t-il.
Plus globalement, il n'y aurait jamais eu dans l'histoire de meilleur moment pour être fabricant de mémoires qu'à l'ère de l'IA. Un moment unique qui ouvre une fenêtre d'opportunité à de nouveaux entrants comme le Taïwanais Nanya Technology, TSMC, les fabricants chinois, ou Kioxia (anciennement Toshiba). Même si l'écart entre les trois grands et ces « challengers » reste très important.
