Les prochains équipements réseau du constructeur intégreront directement dans leurs puces ASIC les dispositifs qui envoient des signaux lumineux sur fibre optique. Une prouesse technique qui devrait à minima réduire par 3,5 le coût énergétique des communications.
Nvidia va lancer des switches réseau qui embarqueront des puces photoniques. L’enjeu est d’éliminer les capuchons de conversion électrique/optique qu’on branche d’ordinaire dans les connecteurs de ces appareils pour transporter les données sur des fibres optiques. Le constructeur entend ainsi résoudre les problèmes de coût et de surconsommation électrique que posent ces petits dispositifs.
Rappelons qu’au-delà de 100 Gbit/s, ces embouts métalliques longs d’à peine 11 centimètres coûtent 1 500 euros l’unité et peuvent consommer à eux seuls jusqu’à 10 % de l’énergie d’un cluster de calcul.
« Notre idée a été de ramener les systèmes optiques de ces embouts sur les puces ASIC qui contrôlent nos switches. Cela présente de nombreux avantages, à commencer par le fait qu’en regroupant 144 dispositifs photoniques sur seulement quatre puces, nous divisons leur consommation énergétique d’un facteur 3,5 », explique Gilad Shainer, le patron de la division réseau chez Nvidia, lors de la conférence GTC2025 que le constructeur organise cette semaine à San José, dans la banlieue de San Francisco.
Il argumente par ailleurs qu’une telle intégration devrait réduire les temps de maintenance d’un tiers et contribuer à transmettre les données sur des fibres plus longues (63 fois). Ce dernier détail irait dans le sens de clusters de calculs équipés de toujours plus de GPU, au point de devoir les répartir sur plusieurs salles informatiques. Pour l’heure, les GPU ne peuvent travailler ensemble que lorsqu’ils sont installés dans des armoires rack accolées.
Une amélioration seulement au niveau des switches
Depuis qu’il vend ses GPU aux datacenters pour constituer des clusters de calcul, Nvidia s’est lancé dans la fabrication des switches pour les mettre en réseau. Sa gamme Quantum-X, qui permet aux GPU de communiquer entre eux ou avec leurs baies de disques en InfiniBand, disposera de ces nouveaux ASIC packagés avec des systèmes optiques d’ici à cet été. Il faudra attendre un an de plus pour que sa gamme Spectrum-X, qui fait de même pour les réseaux Ethernet, en soit également pourvue.
« Grâce à ce système appelé CPO (Co-Packet Optics), nous éliminons les centaines d’embouts photoniques qu’il faut habituellement insérer dans les switches. »
Gilad ShainerSenior V-P réseau, NVIDIA
Gilad Shainer évoque l’arrivée de trois modèles de switches. Le prochain Quantum-X proposera 144 connecteurs optiques pouvant chacun transmettre des données à la vitesse de 800 Gbit/s, contre 400 Gbit/s actuellement. Un premier Spectrum-X équipé des mêmes quatre ASIC offrira 128 ports en 800 Gbit/s, débrayables en 512 ports de 200 Gbit/s. Un second Spectrum-X devrait quadrupler cette bande passante avec 512 ports optiques en 800 Gbit/s, débrayables en 2 048 ports qui communiqueraient en 200 Gbit/s.
« Pour que ce soit clair : grâce à ce système appelé CPO (Co-Packet Optics), nous éliminons les centaines d’embouts photoniques qu’il faut habituellement insérer dans les switches. En revanche, il faudra toujours utiliser ces embouts sur les serveurs de calcul et les baies de stockage, car cela n’aurait pas de sens de mettre un dispositif CPO sur chaque carte réseau qui n’a qu’un ou deux ports réseau », précise Gilad Shainer.
En l’occurrence, le fait que ces switches intègrent un système CPO ne change absolument rien à leur compatibilité avec le reste des équipements réseau. La compatibilité se fait plutôt au niveau logiciel. Par exemple, si l’on veut bénéficier du protocole Spectrum-X, qui est une extension propriétaire du protocole RoCE (RDMA-over-Converged-Ethernet) pour réduire la latence des communications, il faut nécessairement doter ses serveurs et ses baies de stockage de cartes réseau Nvidia.
Résoudre la difficulté de produire des dispositifs photoniques
De base, un switch réseau ne transmet sur ses ports que des signaux électriques et ceux-ci sont transférés par des câbles en cuivre jusqu’à leur destination. Mais plus le débit du port est élevé, plus la résistance électrique du cuivre réduit la distance. Le problème est résolu en remplaçant les câbles de cuivre par des fibres optiques, à condition de rajouter un embout dans le connecteur qui convertit l’électricité en photon.
Cet embout intègre un système photonique, à savoir une diode qui produit un laser et un circuit « PIC » qui laisse passer ou non la lumière selon les bits de données à transmettre. Dans la plupart des cas, il s’agit même de dévier le signal pour créer différentes longueurs d’onde.
« Nous travaillons avec les acteurs qui innovent dans les embouts photoniques, car ils proposent des solutions qui sont complémentaires de nos switches. »
Gilad ShainerSenior V-P réseau, NVIDIA
Le problème est qu’il est très difficile de miniaturiser ces circuits PIC pour augmenter leur débit. De fait, au-delà de 100 Gbit/s, les capuchons photoniques sont rares, difficiles à fabriquer, leur prix s’envole et leur fiabilité est discutable. Pire, comme ils ne sont pas suffisamment miniaturisés, ils chauffent d’autant plus.
Récemment, le fondeur franco-italien STMicroelectronics a mis au point une nouvelle technique de gravure qui devrait résoudre le problème et pourrait déboucher, d’ici à la rentrée, sur des capuchons de 800 Gbit/s au prix plus habituel de 300 €. Les capuchons basés sur les puces photoniques de STMicroelectronics devraient consommer bien moins d’énergie pour produire le laser, et le système qui transmet le laser chaufferait aussi peu qu’un embout à 100 Gbit/s.
« Évidemment, nous travaillons avec les acteurs qui innovent dans les embouts photoniques, car ils proposent des solutions qui sont complémentaires de nos switches », commente Gilad Shainer, qui se refuse à citer STMicroelectronics en particulier.
Regrouper tous les points chauds pour les refroidir par liquide
Dans le cas de Nvidia, la couronne CPO qui entoure chacun de ses ASIC pour présenter 18 liens optiques, transférant chacun deux longueurs d’onde (à raison de 200 Gbit/s par longueur d’onde), est une invention de TSMC, le fondeur qui grave toutes les puces du constructeur.
« Le point essentiel est que nos nouveaux switches seront refroidis par liquide, avec une arrivée d’eau qui capture les calories de tous les PIC à la fois, au niveau de l’ASIC. »
Un démonstrateur sur le stand réseau Nvidia lors de la GTC2025
Il n’est pas certain que cette couronne CPO soit aussi efficace que les circuits de STMicroelectronics ; Nvidia évoque une gravure classique en 65 nm, contre 55 nm « optimisés » chez STMicroelectronics. Mais elle a le mérite de regrouper au même endroit le point de chaleur des PIC. « Le point essentiel est que nos nouveaux switches seront refroidis par liquide, avec une arrivée d’eau qui capture les calories de tous les PIC à la fois, au niveau de l’ASIC », explique un démonstrateur sur le stand réseau de Nvidia lors de la GTC2025. Ce serait surtout grâce à ce refroidissement liquide que Nvidia parviendrait à réduire autant la consommation d’énergie.
Le principe du CPO implique également que les lasers ne sont pas produits au niveau de l’ASIC, car le dispositif reste trop lourd pour être gravé avec le reste de la puce.
« Le dispositif qui produit le laser est essentiellement mécanique : on fait passer de l’électricité sur un matériau qui produit de la lumière. Cela signifie qu’il s’agit aussi de l’élément le plus fragile d’un système photonique et que l’on peut être amené à le remplacer régulièrement », poursuit le démonstrateur. « Nous avons donc eu l’idée de mettre ces dispositifs dans 18 embouts extractibles [pour allumer les 18 PIC de chacun des quatre ASIC, N.D.R.] », ajoute-t-il.
Il précise que ces embouts sont redondants : il est possible de les remplacer à chaud, sans que cela perturbe les communications du switch.
« Le fait est que notre système est tellement performant que nous travaillons avec Cisco [le numéro un des équipements réseau, N.D.R.] pour l’adapter à ses switches. À l’heure actuelle, il s’agit de mettre sous licence nos ASIC, avec couronne CPO, dans leurs produits pour qu’ils puissent proposer des équipements qui supportent nos protocoles dans les clusters de calcul à base de GPU Nvidia », conclut Gilad Shainer.
