Puce IA : AMD détaille son nouveau GPU MI455X

Moins de cache, mais plus de vitesse

Le MI455X se compose de huit circuits XCD gravés avec une finesse de 2nm chez TSMC (contre 3nm pour le Rubin R100). Chaque XCD contient 32 cœurs de calcul CDNA 5 actifs (soit 256 cœurs en tout, contre 88 sur un Rubin), qui sont appelés ici des WorkGroup Processors (WGP). On parle de cœurs actifs, car, physiquement, il y a plus exactement 34 WGP par XCD ; les deux cœurs excédentaires servent manifestement à prendre la relève quand deux autres doivent attendre de refroidir.

AMD a réparti les circuits XCD sur deux circuits FCD, à raison, donc, de quatre XCD par FCD. Chaque FCD partage un cache L2 de 96 Mo avec les cœurs qu’il contient (soit 192 Mo en tout). « La nouveauté par rapport au MI355X est que ce cache est désormais commun à tous les XCD présents sur un FCD, alors qu’il y avait auparavant un cache L2 de 4 Mo par XCD, puis un cache externe global de 256 Mo pour toute la puce », indique Alan Smith.

S’il y a donc moins de mémoire cache sur le nouveau GPU que sur son prédécesseur, cela n’aurait aucune incidence sur la vitesse. En fait, réduire le nombre de circuits de cache, aurait ici servi à réduire les latences dues au routage des données entre les caches.

Les deux circuits FCD communiquent au travers d’un bus Infinity Fabric, le bus propriétaire dont se sert AMD pour interconnecter les circuits dans toutes ses puces. C’est ce bus Infinity Fabric qui relie également les deux FCD aux 12 circuits de mémoire HBM4 embarqués dans le MI455X, ainsi qu’à 72 liens UALink (Ultra Accelerator Link) qui servent chacun à communiquer en 200 Gbit/s avec l’extérieur de la puce, pour une moitié avec des données entrantes et pour l’autre avec des données sortantes.

Dans Helios, ces liens relient les MI455X entre eux, que ce soit dans le même serveur ou vers l’un des 17 autres que comprend la machine. Dans d’autres machines, ils pourront aussi servir à relier un MI455X à son serveur hôte via un bus PCIe 6.0. Toutefois, AMD n’a pas encore annoncé de version du MI455X en carte PCIe.

« Les circuits FCD et la partie IOD qui correspond au bus Infinity Fabric sont gravés avec une finesse de 3nm », explique Alan Smith, qui invoque l’utilisation de différentes chaînes de gravure dans les usines de TSMC afin d’optimiser la production.

« Il y a une véritable ingénierie pour assembler ensuite ces différents circuits. Nous utilisons la technologie CoWoS-L (Chip-on-Wafer-on-Substrate-L) de TSMC, soit un socle avec des liens coudés dans sa structure, plutôt que des liens verticaux vers un autre socle avec des liens horizontaux, comme nous le faisions sur le MI355X », ajoute-t-il, en argumentant que le principal avantage par rapport à l’ancien CoWoS-S est de pouvoir proposer des puces plus grosses, avec bien plus de cœurs et de mémoire HBM4. Sur les exemplaires de serveurs Helios que LeMagIt a pu observer, chaque MI455X était aussi large qu’une main adulte.

Des circuits optimisés pour les calculs en parallèle

Si l’on descend encore dans la subtilité des détails techniques, les nouveaux cœurs CDNA 5 exécutent désormais 32 traitements simultanés contre 64 précédemment. « C’est un enseignement de nos cœurs RDNA sur GPU grand public. Exécuter 32 threads – le mode dit Wave32 – sur 32 voies permet d’exécuter une instruction par cycle. Dans l’ancien mode Wave64, nous exécutions 64 threads sur 16 voies, ce qui signifie que chaque instruction prenait quatre cycles pour s’exécuter », détaille Alan Smith.

De la même façon, les threads Wave32 peuvent utiliser 1024 registres pour travailler, alors que les threads Wave64 étaient limités à 256 registres.

Ces nouveaux cœurs câblent aussi physiquement dans leurs circuits bien plus de formats de données, soit la manière de dire sur une suite de bits, lesquels forment la valeur de base, lesquels sont des exposants, etc. C’est surtout ce câblage qui permettrait de multiplier par 4 les performances du MI355X.

L’autre progrès significatif du MI455X est sa gestion des adresses mémoires virtuelles et physiques, qui permet à un GPU d’aller lire ou écrire plus efficacement dans le mémoire HBM d’un autre GPU. Cette gestion se base à présent sur des identifiants qui rendent plus efficaces les opérations de répartition de charge. Cette architecture permet de créer des pools de cœurs et de mémoire et de les attribuer à une application. Sur un GPU, les cœurs peuvent être regroupés en une, deux, quatre ou huit partitions, et ces cœurs peuvent adresser soit toute la mémoire, soit une des deux moitiés de la mémoire.

« Cela aura des effets sur la virtualisation du GPU – vous pourrez grimper jusqu’à 8 GPUs virtuels par GPU physique, donc – et sur les KV Cache, puisqu’un GPU dont la puissance est saturée va pouvoir communiquer les fenêtres de contexte sur lesquelles il travaillait à son  plus proche voisin disponible », se félicite Alan Smith.