Puces IA : Nvidia se rapproche de Rebellions, l’étoile montante coréenne
La startup coréenne fabrique une puce Rebel100 moins chère et plus performante pour l’inférence. Elle doit son succès à l’international au fait de ne pas être soumise aux quotas américains. Un avantage qui disparaîtrait si Nvidia la rachète.
Selon Bloomberg, Nvidia serait entré en discussion avec le fabricant sud-coréen de puce IA Rebellions pour un développement conjoint, voire un rachat de ses technologies. La puce de Rebellions, un NPU, présenterait l’avantage d’être moins chère à l’achat et plus économe en énergie que les composants BlackWell et Rubin de Nvidia lorsqu’il s’agit d’exécuter des travaux d’inférence.
Sur un marché de l’inférence où Nvidia propose des cartes RTX Pro 6000 entre 15 000 et 25 000 euros, les solutions de Rebellions coûteraient, selon son PDG, trois fois moins cher. Et, ce, parce que ses puces sont gravées par Samsung plutôt que par TSMC.
« La gravure des semiconducteurs est bien meilleure dans les usines de TSMC que dans celles de Samsung, c’est indéniable. En particulier, vous avez bien plus de circuits fonctionnels sur un wafer gravé par TSMC. En revanche, TSMC vous facture le wafer entier, alors que Samsung ne facture que les circuits correctement gravés. Et, à la fin, les prix sont bien plus avantageux chez Samsung », explique Park Sung-hyun, le PDG de Rebellions, lors d’un entretien avec LeMagIT qui a eu lieu durant cet été.
« C’est très important pour des puces accélératrices d’IA, car, contrairement aux processeurs, ces puces sont conçues pour fonctionner à une puissance précise. »
« TSMC facture un wafer entier, parce qu’un processeur incorrectement gravé peut fonctionner à 1,8 GHz au lieu de 2 GHz, ou avec moins de cœurs que l’ensemble prévu ; un système inventé il y a des années par Intel. Nous, ne pourrions pas intégrer dans nos cartes accélératrices des puces à 1,8 GHz ou dans lesquelles des cœurs seraient non fonctionnels. Donc, nous ne payons que pour des puces avec tous les cœurs fonctionnant à 2 GHz », se félicite-t-il.
L’avantage de Rebellions : des accès mémoire plus rapides
La puce actuelle de Rebellions se nomme Rebel100. Elle délivre une puissance de calcul de 2 pétaflops (2 millions de milliards d’opérations par seconde) en précision 8 bits, intègre 144 Go de mémoire HBM3e qui lui permet d’interroger des LLM à la vitesse de 4,8 To/s et 512 Mo de mémoire SRAM qui lui permet de décoder des prompts et des fichiers attachés à la vitesse de 192 To/s. Elle est livrée sur un SoC (System-On-Chip) qui dispose d’un bus UCIe permettant à quatre Rebel100 installés dans le même serveur de s’échanger des données à la vitesse de 4 To/s (1 To/s entre deux puces).
D’ici au début de l’année 2027, ce SoC devrait s’agrémenter d’un contrôleur Ethernet pour communiquer à la vitesse de 1,6 To/s vers d’autres serveurs équipés des mêmes puces.
La puce Rebel100 est vendue sous forme de cartes PCIe, mais Rebellions propose surtout des serveurs RebelServer 5U dotés de huit cartes Rebel100, deux processeurs AMD Epyc 9005 de 32 cœurs chacun (soit 128 threads exécutés simultanément), 1,5 To de mémoire (via 24 barrettes de 64 Go en DDR5), deux SSD de 1,92 To chacun pour stocker les KV caches et quatre ports Ethernet 400 Gbit/s. Ces serveurs consomment entre 4 et 6 kW pour une puissance globale de 16 pétaflops.
Rebellions propose aussi des racks entiers de serveurs, préconfigurés et connectés par ses équipes.
De son côté, Nvidia doit dès cette rentrée remplacer ses cartes RTX Pro de génération Blackwell par une carte PCIe Rubin CPX. Selon le fournisseur, un serveur – de marque tierce - contenant huit cartes Rubin CPX consommera en moyenne 7 kW, pour une puissance cumulée de 120 pétaflops en précision 8 bits (15 pétaflops par carte), soit huit fois mieux que chez Rebellions. Cependant, le Rubin CPX est ralenti par sa mémoire. Sa carte n’intègre que 128 Go de GDDR7 pour interroger les LLM et décoder les prompts à la vitesse de 1,8 Go/s. Soit environ deux fois moins vite que le Rebel100 de Rebellions.
En pratique, il y aurait deux fois moins de matériel à acheter chez Rebellions pour accélérer l’inférence autant que le font les solutions de Nvidia.
Les actuelles cartes PCIe RTX Pro de Nvidia, dont la puissance de calcul est d’environ 0,5 pétaflops, souffrent du même mal puisqu’elles disposent de la même mémoire GDDR7, en quantité variable selon les modèles (96 Go sur la RTX Pro 6000).
« Les fournisseurs américains vous expliquent en ce moment que l’inférence peut se contenter de mémoires GDDR ou LPDRR, car elle sollicite moins de calculs que l’entraînement d’IA qui, lui, nécessite de la mémoire HBM. Il n’y a rien de plus faux. Dès lors que votre puce d’accélération sert plusieurs utilisateurs en même temps, les circuits connectés en parallèle d’une mémoire HBM sont plus efficaces », assure Park Sung-hyun.
Nvidia va aussi proposer aux hébergeurs de faire de l’inférence avec ses puces Rubin dotées de HBM pour l’entraînement d’IA et conjuguées avec des puces Groq qui en sont dépourvues, mais qui consomment moins d’énergie quand il s’agit juste de décoder les prompts des utilisateurs. Mais Park Sung-hyun affirme que le prix de vente d’une telle configuration, fabriquée par Nvidia lui-même, est sans commune mesure avec ses solutions pré-packagées dans des serveurs AMD.
De fait, les produits de Nvidia sont les plus chers du marché et ils le sont encore davantage quand ils sont dotés de HBM.
Enfin, Park Sung-hyun affirme qu’il disposerait d’un accès privilégié aux stocks de mémoire HBM, actuellement en pénurie, car l’un de leurs fabricants, SK Hynix, est aussi l’un des principaux investisseurs de Rebellions. A priori, Nvidia, principal acheteur des mémoires HBM, n’a pas besoin de cette facilité pour être mieux fourni, mais cet avantage peut renforcer encore sa position face à ses concurrents, principalement AMD, qui font pression sur SK Hynix, Samsung et Micron pour être livrés en mémoire HBM.
L’argument en suspens d’une entreprise non américaine
En activité depuis 2023, Rebellions a déjà vendu des premières versions de sa puce à des opérateurs télécoms au Japon et en Corée, ainsi qu’à des compagnies saoudiennes de pétrole. Depuis juin dernier, la startup milite pour que l’Europe lui achète des solutions qui seraient forcément davantage souveraines, puisque non américaines.
Park Sung-hyun explique ainsi que son entreprise serait plus réactive et conciliante pour répondre aux besoins des entreprises européennes que ne le sont les fournisseurs américains :
« Je pense que, à terme, l’écosystème asiatique formé par la Corée du sud et Taiwan sera bien meilleur que l’écosystème des fabricants de puces américains. Parce que tout y est : les usines de gravure des circuits, les usines de mémoire, les usines d’assemblage sous forme de puces, les ateliers de test... C’est un cluster complet. Si vous êtes un designer de puces, en huit jours, vous avez un produit fonctionnel, dans un serveur, à montrer à vos clients et qui correspond exactement à leur demande », argumente-t-il.
« Accessoirement, si les Saoudiens ont choisi nos produits, c’est parce que l’écosystème des fournisseurs asiatiques ne souffre d’aucun quota d’exportation, contrairement aux fabricants américains qui sont soumis aux plafonds imposés par Washington », ajoute Park Sung-hyun, en agitant le risque que de tels quotas finissent par concerner l’Europe.
En revanche, tous ces de souveraineté tomberaient nécessairement à l’eau si l’américain Nvidia mettait la main sur Rebellions.
