AMD affirme que l’Epyc 9006 sera le processeur de l’IA agentique
Commercialisé ces jours-ci, le dernier CPU du constructeur peut exécuter jusqu’à 512 agents d’IA simultanément pour 600 watts d’énergie consommée. Une version en 400 watts arrive un peu plus tard pour rapatrier l’IA du cloud vers les serveurs privés.
AMD lance cette semaine la commercialisation de ses nouveaux processeurs Epyc 9006, encore plus denses que ses prédécesseurs. Et pour que ce lancement ne passe pas inaperçu dans le flot actuellement soutenu des dernières puces accélératrices, le fournisseur lui a consacré une conférence « AMD in Depth » la semaine dernière à Las Vegas. Sa mission : partager avec la presse et les équipes techniques des partenaires, le plus de détails possible.
Car ces Epyc 9006 ont l’enjeu de s’imposer dans les serveurs sur site que les entreprises voudront déployer pour leurs projets d’IA agentique en dehors du cloud.
« Le basculement du marché vers l’IA agentique signifie déplacer les charges de travail depuis l’entraînement des modèles sur les GPU du cloud vers l’exécution d’outils, d’appels d’API et de requêtes de bases de données sur les processeurs des serveurs », a lancé Dan McNamara, le directeur général d’AMD pour les solutions de calcul et d’IA en entreprise (en photo en haut de cet article), lors de son discours d’ouverture de l’événement.
« Et, du point de vue des serveurs, la meilleure façon d'illustrer ce basculement est la suivante : nous passons de millions de personnes utilisant des applications, à des milliards d'agents accédant constamment à ces mêmes applications », a-t-il ajouté, en exhibant les résultats d’une étude IDC selon laquelle le nombre d’agents en fonctionnement simultané dans le monde atteindrait 2,5 milliards d’ici à 2030, soit 80 fois plus qu’aujourd’hui.
« Les fournisseurs se sont concentrés jusque-là sur la puissance brute des accélérateurs pour in fine n’exécuter que des chatbots. Mais il faut désormais de la puissance pour orchestrer tous ces agents, et c’est le rôle d’un processeur. En ce sens, je dirais que l’Epyc 9006 est le premier point d’inflexion technologique sur le marché des processeurs depuis que l’IA s’est généralisée », a commenté Scott Patti, le directeur des produits serveur chez Lenovo, lors d’une table ronde consacrée aux offres pour les entreprises.
Selon lui, l’IA agentique n’est économiquement possible pour les entreprises qu’en rapatriant les traitements hors des clouds publics : « Nous travaillons actuellement avec un client qui dépense environ 150 000 dollars par jour en tokens. Ces tarifs sont délirants », a-t-il déclaré en précisant qu’il n’était même pas nécessaire d’en appeler à la souveraineté pour sortir des clouds publics américains. Selon lui, les tarifs que les géants du cloud pratiquent suffiraient à inciter quiconque à revenir à des serveurs sur site.
Plus d’agents d’IA pour moins d’électricité
Pour rappel, le processeur Epyc 9006, dit « Venice », succède à la génération Epyc 9005 « Turin » en apportant de nouveaux cœurs Zen 6 et Zen 6c dont le nombre, selon les versions de la puce, peut grimper jusqu’à 256. Et comme AMD conserve l’hyperthreading dans tous les cas, contrairement à Intel sur son dernier Xeon 6+, il est possible d’atteindre 512 Threads par socket.
« Ramené à l’énergie consommée par un serveur, cela signifie que nous exécutions pratiquement trois fois plus d’agents par watt que notre concurrent », s’est félicité Dan McNamara. Dans les faits, la version à 256 cœurs/512 Threads consomme 600 watts. Le Xeon 6+ d’Intel à 288 cœurs/288 Threads consomme 450 watts. Le rapport concernant la performance énergétique sur ces puces haut de gamme est donc plutôt une multiplication par deux : 0,85 W par thread pour l’Epyc 9006, contre 1,56 W par thread pour le Xeon 6+. LeMagIT subodore que Dan McNamara comparait une autre configuration.
Les cœurs Zen 6 et Zen 6c ont des fonctionnalités identiques, mais LeMagIT croit comprendre que chacune des deux familles est gravée dans une usine différente, avec une finesse différente, les cœurs Zen 6c bénéficiant de la chaîne de production la plus avancée. Ainsi, sur une même surface, AMD fait graver soit un circuit comprenant 12 cœurs Zen 6 qui se partagent 48 Mo de cache L3 (à raison de 4 Mo par cœur), soit un circuit comprenant 32 cœurs Zen 6c qui se partagent 128 Mo de cache L3 (idem).
À cause de leur densité supérieure, les circuits remplis de cœurs Zen 6c ne peuvent grimper qu’à 4,1 GHz, tandis que ceux composés de cœurs Zen 6 atteignent 5,3 GHz.
Quatre versions
AMD décline l’Epyc 9006 en quatre versions commerciales : SP7, SP7-X, SP8 et Verano.
La différence technique entre les Epyc 9006 SP7, a priori destinés aux hyperscalers, et Epyc 9006 SP8, pour les serveurs d’entreprise, est subtile. Les deux puces pourront disposer de quatre ou huit circuits de cœurs, qu’importe qu’il s’agisse de Zen 6 ou Zen 6c. Mais la configuration avec huit circuits de 32 cœurs Zen 6c (soit le maximum de 256 cœurs) ne sera possible que dans la famille SP7.
De fait, la version SP7 haut de gamme a deux fois plus de canaux mémoires (16, contre 8 sur la version SP8). Cela lui permet d’avoir deux fois plus de RAM par socket (2 To contre 1 To) et de bande passante vers la RAM : 1 To/s contre 512 Go/s avec des barrettes DDR5-8000, ou 1,6 To/s contre 819 Go/s avec des barrettes MRDIMM 12.8G.
À titre de comparaison, un Xeon 6+ a 768 Go/s de bande passante mémoire et un processeur Vera de Nvidia atteint 1,2 To/s.
En échange, l’Epyc 9006 SP8 pour serveurs d’entreprise avec seulement quatre circuits de 32 cœurs Zen 6c (soit 128) ou huit circuits de 12 cœurs Zen 6 (soit 96) disposera de 128 voies PCIe 6.0 (à raison de 64 Gbit/s par voie), contre 96 voies PCIe seulement sur l’Epyc 9006 SP7 destiné au cloud.
Dans les serveurs qui contiennent deux processeurs, les nombres de slots PCIe 6.0 adressables grimpent à 192 pour les modèles SP8 et à 128 pour les modèles SP7. La raison pratique est que des serveurs d’entreprises sont davantage susceptibles de disposer de leurs propres SSD NVMe (quatre voies PCIe par SSD), alors que les machines en cloud dialoguent en mode fichier ou objet avec des unités de stockage externes.
Autre avantage du SP8, il ne consomme que 400 W.
La version Verano, commercialisée plus tard en 2027 pour les serveurs, résout le problème de sous-dimensionnement du SP8 en intégrant cette fois-ci 6 circuits de soit 32 cœurs Zen 6c (192 cœurs), soit 12 cœurs Zen 6 (72 cœurs). Les deux emplacements restants ne seront pas inoccupés : ils sont prévus pour accueillir des circuits d’accélération. Il pourra s’agir soit de GPU dans le cadre de serveurs pour l’IA, soit de contrôleurs quand la machine hôte fera office de routeur réseau ou de baie de stockage.
L’autre particularité des Epyc 9006 Verano est que leur contrôleur mémoire sera conçu pour communiquer en 24 canaux avec de la mémoire LPDDR5x. A priori cela devrait permettre à ces processeurs de lire/écrire des données en RAM avec une bande passante d’environ 1,6 To/s.
Enfin, la version Epyc 9006 SP7-X, qui s’appellera plutôt Epyc 9006X SP7, supportera de grimper jusqu’à 256 cœurs, comme la version SP7, mais aura un cache L3 trois fois plus important. Soit 384 Mo. Ces Epyc seront destinés aux supercalculateurs.
Ravi Kuppuswamy, le directeur adjoint de solutions de calcul et d’IA pour l’entreprise liste des chiffres comparatifs. On retiendra qu’en inférence, à prix similaire, un Epyc 9006 produirait 30% de tokens en plus par unité de temps qu’un processeur Vera de Nvidia.
Le déploiement commercial débute cette semaine avec les modèles Epyc 9006 SP7. Les versions SP8 sont attendues pour le premier semestre 2027, tandis que les versions Verano et 9006X devraient arriver au cours du second semestre.
Des racks Helion pour poser un standard de formats de serveurs
À l’instar des racks de serveurs DGX de Nvidia, AMD propose un design de référence pour les baies de serveurs basées sur ses derniers processeurs : Helion. « Notre sentiment est que nous ne pouvions plus nous contenter de fournir des processeurs à nos clients. Nous devions leur fournir un schéma directeur, un cadre, une référence au niveau du rack », explique Ravi Kuppuswamy, en présentant trois variantes.
Helion Liquid, pour les hyperscalers, est la version qui s’adosse à un rack AMD Helios, qui lui ne contient que des GPU MI455X. Les deux sont refroidis par le même système liquide. Dans cette configuration, la baie de serveurs consomme 120 kW et peut exécuter simultanément environ 65000 agents grâce à 32758 cœurs répartis sur 64 serveurs bi-sockets SP7 1U, mais demi-largeur (soit 32U de haut, plus les switches et les alimentations pour atteindre 44U).
Helion Air est la version installable dans les entreprises. Elle comprend cette fois-ci 64 serveurs bi-sockets SP8 1U de demi-largeur, qui totalisent 16384 cœurs pour exécuter environ 32000 agents simultanément.
La troisième version, baptisée Helion Air Inference, toujours pour les entreprises, comprend 48 serveurs bi-sockets SP8 1U de demi-largeur, totalisant 12288 cœurs. Ce qui fait 24U de haut. L’espace restant est occupé par deux serveurs de 4U de haut qui contiennent chacun 8 GPU AMD MI350. Cette baie exécute donc simultanément environ 24000 agents, plus des IA, auxquelles elle fournit une puissance cumulée de 37 pétaflops (millions de milliards d’opérations par seconde).
Dans la foulée, AMD précise que d’autres GPU sont possibles. Ceux de Nvidia, évidemment. Mais également les TPU de Google cloud, lequel vient d’entrer sur le marché des puces accélératrices pour datacenters privés avec les modèles TPU 8i Max et 8tx.
Toujours est-il qu’AMD propose de piloter l’ensemble par les bibliothèques de la pile logicielle ROCm Agentic Toolkit, concurrente des bibliothèques CUDA de Nvidia. Les fonctions de ces bibliothèques couvrent aussi bien le routage des agents que la gestion de leur session et de leur sécurité.
