Infrastructures IA : l’interconnexion via LPool promet 50% de tokens en plus
Conçue par des anciens d’IBM, l’architecture LPool entend interconnecter tous les processeurs et les mémoires d’un cluster plus efficacement que le protocole CXL. Mais il reste à fabriquer et à vendre la puce qui concrétise ce fonctionnement.
Le concept de clusters de serveurs qui se comporterait comme s’il s’agissait d’un seul ordinateur est de retour. La startup allemande ExpectedIT vient de dévoiler LPool, une architecture de puce de contrôle dont le but est d'éliminer les goulets d'étranglement causés par les processeurs dans les clusters de calcul dédiés à l'IA.
« L’enjeu est de répondre à une évolution du marché dans laquelle l'orchestration des agents d’IA sollicite davantage les processeurs que ne le faisait la simple inférence d’IA, essentiellement basée sur la puissance des GPU. Il devient en effet nécessaire de faire exécuter aux processeurs jusqu’à dix fois plus de calculs qu’auparavant », argumente Klas Moreau, le PDG d'ExpectedIT, qui a présenté son architecture LPool lors d'un récent événement IT Press Tour consacré aux acteurs européens qui innovent en matière d’infrastructure.
ExpectedIT n’est pas le premier à se pencher sur un design d’architecture qui permettrait à tous les processeurs et à toutes les banques de RAM d’un cluster de communiquer ensemble comme s’ils étaient assemblés sur la même carte mère. On pense aux premières architectures NUMA pour supercalculateurs dans les années 90, ou au concept de The Machine au milieu des années 2010, dont HPE distille finalement diverses idées dans ses serveurs haut de gamme.
Plus récemment, le standard CXL, qui revient à transporter les signaux PCIe sur un réseau pour atteindre des banques mémoires et des GPU distants, doit en théorie alléger les goulets d’étranglement entre les machines. Parmi ceux qui l’implémentent pour transformer un cluster en ordinateur unique se trouvent la startup Liqid, déjà rencontrée par LeMagIT, ou encore l’hyperscaler chinois Alibaba qui planche sur un contrôleur d’interconnexion CXL baptisé Beluga.
Le but d’ExpectedIT est d’aller plus loin que les possibilités offertes par CXL, en implémentant la logique d’une nouvelle architecture d’interconnexion qu’il a baptisée LPool (pour Large Pool) dans des contrôleurs qu’il lui reste à faire fabriquer.
La promesse d’être plus performant que CXL
LPool s'appuie sur l'expérience des fondateurs d’ExpectedIT lorsqu’ils participaient à la conception des supercalculateurs Blue Gene chez IBM. La puce qui doit l’implémenter doit faire office de contrôleur de commutation des signaux PCIe à la fois sur des liens physiques entre serveurs (certainement via des fibres optiques), mais aussi entre les différents éléments d’une même carte mère, rappelant les chipsets Northbridge qui équipaient autrefois les ordinateurs.
« Les architectures actuelles de processeurs [qui implémentent désormais la commutation NorthBridge dans leurs propres circuits, N.D.R.] ne permettent au mieux de faire travailler ensemble que deux processeurs dans le cas d’ARM et d’AMD, ou huit processeurs dans le cas d’Intel. LPool va permettre d’avoir des machines de calcul dotées de 96 processeurs », argumente Klas Moreau.
Selon lui, du point de vue du processeur, la même bande passante pourra être utilisée en interne comme en externe, ce qui irait plus loin que les innovations proposées par Liqid ou par le contrôleur Beluga d’Alibaba, dans lesquels les communications CXL sont un sous-ensemble de la bande passante globale d’un processeur.
En pratique, l’idée maîtresse de LPool est que tous les processeurs d’un cluster se mettent à partager un même adressage mémoire, gigantesque. Pour chaque processeur, un octet à telle adresse se trouvera physiquement sur tel serveur, et un autre avec telle autre adresse se trouvera sur tel autre serveur. Le chemin qui mène à chacun d’eux est l’affaire du contrôleur LPool.
Dans CXL, à l’inverse, un processeur gère des octets qui ont les mêmes adresses, mais qui se trouvent sur des périphériques différents. Cela rend impossible les sauts dans un programme entre des parties physiquement séparées de la mémoire, ce qui limite donc la quantité d’analyses rapides au cours d’un même traitement.
« Le bénéfice sera une meilleure utilisation des ressources. Car, actuellement, une application peut saturer la mémoire d'un serveur tandis que le serveur adjacent dispose de capacités inutilisées. LPool va par exemple attribuer à un traitement huit processeurs et 1 To de RAM où qu’ils se trouvent dans le cluster. Puis, une fois le traitement terminé, il pourra réaffecter les mêmes processeurs et mémoires à un autre traitement qui, lui, aura besoin de seize processeurs et 32 To de RAM », explique Klas Moreau
Il insiste pour dire que LPool abolit les silos de ressources, au contraire de CXL qui les manipule. « Cette flexibilité peut augmenter la production de tokens de 50 % pour un même matériel », promet-il.
L'enjeu de lever 25 millions d'euros pour un lancement en 2028
Reste à fabriquer la puce capable de contrôler un tel routage des signaux. Il se trouve que, en 2027, Intel lancera un Xeon 7 capable d’exécuter la logique de LPool grâce à une mise à jour de son circuit UPI, justement conçue pour mieux partager l’adressage mémoire et la cohérence des caches entre les processeurs d’un même serveur. Le Xeon 7 permettra donc de vérifier que les routines de LPool fonctionnent, mais dans la limite d’un serveur.
Pour se rendre compte de l’efficacité de LPool entre des serveurs, il faudra attendre au moins 2028. Lorsque ExpectedIT aura fait fabriquer ses premières puces dans les usines de TSMC, Samsung ou Intel. Et lorsqu’il aura trouvé des fabricants de serveurs qui acceptent de concevoir des cartes mères basées sur un tel contrôleur.
Fondée à Stuttgart par des anciens d'IBM, dont le Dr Burkhard Steinmacher-Burow (spécialiste des interconnexions sur Blue Gene) et Àrni Ingimundarson (qui a travaillé sur le développement du processeur PowerPC), la startup ExpectedIT espère lever 25 millions d'euros d’ici à mars 2027. Ce montant inclut une subvention de 5 millions de la part du Conseil Européen à l’Innovation, avec sa promesse de grimper dans un second temps à 10 millions d'euros.
Ces 10 millions d’euros sont la somme qui manque à la startup pour dessiner le masque qui servira à faire graver la puce et lancer la production de quelques prototypes. Une finesse de gravure en 6 nm est envisagée, de sorte à utiliser des chaînes de fabrication de semiconducteurs moins coûteuses sans pour autant perdre en performances.
L’entreprise ne prétend pas s’imposer sur tous les serveurs, mais au moins sur les modèles dédiés aux grosses productions d’IA. Parmi les acheteurs de telles machines, les hyperscalers Microsoft Azure et Meta, les hébergeurs Core42 (aux Émirats arabes unis) et 1984 EHF (Islande), ainsi que l’éditeur de LLM FractalBrain (Royaume-Uni) ont signé une lettre d’intention, soit un document contractuel censé prouver aux futurs investisseurs et aux fabricants de serveurs leur volonté de travailler avec ExpectedIT.
SiPearl, le concepteur français du processeur européen Rhea pour supercalculateurs, se serait également rapproché d’ExpectedIT pour implémenter une compatibilité LPool dans ses futures puces.
