« Nous visons une crise existentielle des infrastructures IA »
Pendant des années, l’industrie a cherché à mettre un maximum de transistors sur un die, puis la question a été combien de GPU peut-on mettre dans un rack. Aujourd’hui, l’enjeu est de produire les tokens le plus efficacement possible. C’est le défi auquel s’est attelé Ganesh Venkataramanan, concepteur du premier dual core x86 et des puces Tesla.
Il a assuré la transition d’AMD vers le 64 bits, créé le premier x86 multicœur et à l’origine du GPU dédié à la conduite autonome FSD des voitures Tesla. Ganesh Venkataramanan a aussi conçu pour Elon Musk une puce « Wafer Scale » 100 % dédiée à l’IA pour le calculateur Dojo. Aujourd’hui, à la tête de la startup Density AI, il veut créer une puce qui délivrera 10x plus de puissance IA par joule que les meilleurs composants actuels.
« Il faut comprendre que l’architecture d’un ordinateur va fonctionner jusqu’à un certain point, puis devenir un obstacle au bon fonctionnement des applications. Et c’est précisément ce qui se passe aujourd’hui avec l’IA » explique ce vétéran des semi-conducteurs.
Comment motoriser les usines à tokens de demain ?
Pour Ganesh Venkataramanan, le nouveau mur auquel se heurtent les concepteurs de composants aujourd’hui, c’est celui de l’IA à grande échelle et de ces usines à tokens, ces datacenters géants toujours plus avides de puissance électrique.
Selon lui, ce mur ne pourra être passé qu’avec un nouveau pivot technologique. « Pour mettre en perspective la croissance de la demande à laquelle nous faisons face, je citerai Dario Amodei, PDG d’Anthropic qui explique que son plan de croissance nécessitera un accroissement de la puissance de calcul d’environ 10x par an. Sur le premier semestre 2026, cette croissance a déjà atteint 80 fois, ce qui est incroyable. »
En prenant une hypothèse basse de croissance à 300 % par an sur la puissance de calcul pour l’inférence, d’une efficacité des composants et des plateformes qui s’améliore de 30 % par an et d’une production électrique qui ne progresse que de 3 % par an, « nous serons dans un rapport de 300, 30, et 3 », résume-t-il. « C’est une crise existentielle pour l’infrastructure AI qui a lieu en ce moment même », avertit-il. « C’est pour cette raison qu’il faut innover dans différentes directions pour réduire cet écart ». Et c’est l’une des raisons pour lesquelles il a créé Density AI.
« Sur le premier semestre 2026, la croissance [du besoin de calcul de l’IA] a déjà fait 80x, ce qui est incroyable. »
Ganesh VenkataramananFondateur de Density AI et vétéran des semi-conducteurs
Pour ce pionnier des microprocesseurs, les compromis ne seront pas suffisants pour faire face à ce mur. Il faudra une nouvelle approche. Il critique notamment ceux qui poussent en faveur des ASIC.
« Certains essaient de porter des modèles LLM sur des ASIC. C’est une solution extrême », tacle-t-il. « Ces compagnies ont levé des milliards, mais le cycle de vie d’un ASIC est d’environ deux ans, or celui des LLM est plutôt de l’ordre de deux mois, si ce n’est deux semaines… L’ASIC a l’air sexy au début, mais il faut offrir suffisamment de flexibilité aux chercheurs qui développent des modèles pour faire leur travail sans contraintes. »
Ganesh Venkataramanan estime au contraire que les GPU offrent actuellement cette flexibilité, alors que les LPU se destinent essentiellement aux applications à faible latence.
Dans sa carrière, Ganesh Venkataramanan a rencontré plusieurs fois ce type de goulet d’étranglement. « La première fois, c’était dans l’ère du microprocesseur, lorsque la règle du Dennard scaling a pris fin », se souvient-il. Une autre a été lorsque lorsque Elon Musk lui a demandé de créer un composant pour la conduite autonome. « Nous sommes initialement partis sur des GPU, mais nous avons immédiatement compris qu’ils ne résolvaient pas les problèmes de puissance et qu’ils n’étaient pas énergiquement efficaces […]. Nous avons donc créé une puce pour la conduite, un système complet qui est à la base des voitures Tesla, ainsi que des robots. »
Ganesh Venkataramanan croit plus que jamais en la SRAM
Aujourd’hui, le fondateur de Density AI entend capitaliser sur son expérience, notamment celle de la création de Dojo, pour concevoir une nouvelle architecture qu’il veut en rupture avec les solutions actuelles.
« Le cycle de vie d’un ASIC est d’environ deux ans, or celui des LLM est plutôt de l’ordre de deux mois, si ce n’est deux semaines. »
Ganesh VenkataramananFondateur de Density AI
« Quand j’ai commencé chez Tesla il y a cinq ans, j’ai estimé que si passer le calcul à l’échelle était facile, passer à l’échelle la bande passante était plus compliqué… mais réduire la latence, ça c’était extrêmement complexe », compare-t-il. « Améliorer deux ou trois critères ne peut être fait avec une approche incrémentale », en conclut-il. « Il faut opter pour des approches différentes, sinon on joue sur les mêmes courbes. On gagne sur un critère aux dépens de l’autre. Ce n’est pas optimal. »
Appliquant cette philosophie, le design du calculateur Dojo s’appuyait sur des composants de type « Wafer scale » qui embarquait de la SRAM. « Nous avons créé la première pile totalement optimisée pour l’IA, des protocoles réseaux pour le scale up, un datacenter totalement refroidi par liquide », liste Ganesh Venkataramanan. « Nous avons aussi conçu une plateforme pour l’intégration de composants “Wafer Scale”. Il ne s’agissait pas d’un gros chip, mais un système hétérogène complet de type “System on Wafer”. Celui-ci a été co-créé avec TSMC. C’était le premier de ce type avec une telle intégration verticale ».
Aujourd’hui, la SRAM suscite beaucoup d’intérêt pour les inférences. « Dix ans après Dojo, tout le monde redécouvre que faire du scaling sur de la SRAM c’est génial pour la latence ! », se réjouit l’expert.
De fait, Groq s’appuie sur cette mémoire dans son LPU, de même que Cerebras. À l’occasion de son intervention sur le RAISE Summit, Ganesh Venkataramanan a révélé que Dojo ne s’appuyait en fait pas uniquement sur la SRAM, mais aussi de la DRAM, car un calculateur 100 % SRAM n’était pas faisable à l’époque.
« Dix ans après Dojo, tout le monde redécouvre que faire du scaling sur de la SRAM c’est génial pour la latence ! »
Ganesh VenkataramananFondateur de Density AI
Fort de cette expérience, il cherche aujourd’hui à multiplier par 10 l’efficacité énergétique des infrastructures IA avec une solution dont il ne livre pas les détails techniques, mais dont il a expliqué les grandes lignes.
« Avec notre approche, les centimètres deviennent les microns et les millisecondes deviennent les microsecondes. C’est la façon la plus efficace de créer cette nouvelle courbe pour les prochaines décennies de solutions. », vante-t-il sans entrer plus dans les détails.
Plus globalement, Ganesh Venkataramanan estime que l’évolution des workloads IA va renforcer ce besoin de produire des tokens en grandes quantités sans faire exploser la facture énergétique.
Il y a cinq ans, à l’aube de ChatGPT, un token utilisé par un tchat correspondait à un token de traitement IA. Avec l’agentique et le raisonnement, le ratio est passé à 50 pour 1. Alors que des techniques IA de plus en plus sophistiquées vont entrer en production – il cite les arbres des pensées – chaque élément d’architecture inefficace va être sollicité en boucle tellement de fois que ce goulet d’étranglement peut compromettre la « thermodynamique du token ». Autrement dit, la consommation explose alors que le coût du token baisse.
Propos recueillis lors du RAISE Summit 2026
Pour approfondir sur Hardware IA (GPU, FPGA, etc.)
