Explore 2026 : Broadcom dévoile sa plateforme d’inférence

Un assemblage de deux offres commerciales plus des options

Contre toute attente, VMware Private AI Cloud n’est pas un produit commercial. Il s’agit du nom générique donné à un ensemble de trois offres commercialisées séparément.

Le premier est VMware AI Factory, une nouvelle version enrichie de VCF. Elle permet de bâtir et d’opérer un cluster de virtualisation doté de tout le nécessaire (répartition de charge, configuration, monitoring) pour exécuter conjointement des charges de travail d’inférence, des applications agentiques, des services en containers et des VM traditionnelles.

Le dernier est Tanzu Platform, soit la plateforme de développement historique de VMware, ici agrémentée de modules de bacs à sable et de connecteurs de données adaptés à la mise au point en interne des agents d’IA.

Entre les deux se trouvent plusieurs modules de sécurité que Broadcom commercialise d’ordinaire en option pour VCF ou Tanzu Platform.

« Bien qu’il s’agisse de produits différents, notre objectif est de proposer sous le label Private AI Cloud une solution complète dans laquelle nos clients peuvent ne prendre que les composants qui les intéressent. D’un côté, l’ensemble est super simple pour passer en un rien de temps d’un lot de serveurs à la capacité de fournir à ses utilisateurs de l’inférence as-a-Service », argumente Krish Prasad, le patron de VCF, lors d’une cession avec la presse.

« De l’autre, la modularité de Private AI Cloud permet à des entreprises de compléter avec nos technologies une plateforme d’exécution d’agents qu’elles auraient déjà sur site (mais avec des modèles d’IA en cloud), ou des modèles d’IA qu’elles utilisent sur site, sans plateforme d’agents », ajoute-t-il.

Sollicité par les journalistes sur le paradoxe d’une offre modulaire alors que Broadcom avait justifié l’augmentation du prix des licences de VMware par le fait de tout vendre ensemble, Krish Prasad a assuré que l’approche économique de VMware Private AI Cloud serait la plus intéressante financièrement pour les entreprises.

VMware Ai Factory, un VCF qui supporte bien mieux les GPU

La promesse de VMware Ai Factory est de pouvoir convertir un cluster de serveurs physiques en un cluster Private AI Cloud prêt à l’emploi en quelques heures à peine. Alors que, dixit Broadcom, il faudrait normalement des semaines de configurations manuelles pour installer et valider sur un cluster Kubernetes des LLM, des serveurs qui permettent de discuter avec eux, des règles pour y accéder, des agents qui y accèdent.

« Les entreprises souhaitent exploiter l’IA là où se trouvent leurs données, mais le parcours entre le matériel et le modèle est lent, complexe et coûteux. Avec VMware AI Factory, nous offrons à nos clients une approche de type Software-defined qui automatise le déploiement de l’infrastructure, unifie la gestion du cycle de vie et leur permet de choisir leur matériel préféré ainsi que des modèles validés. Il en résulte un délai réduit pour obtenir le premier modèle, des coûts de cloud privé prévisibles et un meilleur contrôle sur l’aspect économique du token », dit Paul Turner sur scène.

Les machines physiques transformables en Private AI Cloud par VMware AI Factory sont des serveurs labélisés « Ai ReadyNodes » chez Dell, HPE, Cisco, Lenovo et autres Supermicro. Évidemment, la solution reconnaît et virtualise les GPU de Nvidia, jusqu’au B300 à l’heure actuelle, mais aussi les GPU d’AMD jusqu’au MI355X, en intégrant leur couche logicielle ROCm.  

« En fait, le support matériel va même au-delà des GPU. Nous supportons par exemple désormais les cartes réseau de Nvidia. Concernant AMD, nous pensons qu’ils ont de très bons GPU et nous voulons être le fournisseur qui y donne véritablement accès. Mais vous pouvez aussi configurer des modèles pour qu’ils n’utilisent que les processeurs. Chez Intel, notamment, nous prenons en compte toutes les accélérations dont ils ont doté leurs Xeon », indique Paul Turner lors d’un entretien avec LeMagIT.

À ce jour, VMware Ai Factory ne supporte pas encore Crescent Island, le GPU d’Intel. Mais Paul Turner affirme que des validations sont en cours.

Optimiser l’utilisation matérielle dans un contexte où les GPU sont très chers

Le système considère tous les GPU présents dans un cluster comme un pool global de GPU. Et même comme un pool de GPU virtuels (vGPU) qui correspondent chacun à une tranche de puissance de calcul par un GPU. Ça, la virtualisation de VCF savait déjà le faire.

La nouveauté apportée par VMware AI Factory est que l’allocation des vGPU devient dynamique, elle suit la charge de travail, comme le fait Kubernetes avec les vCPU pour les applications qu’il exécute en containers. Ne plus devoir dédier des ressources à des LLM qui ne les utilisent pas systématiquement à 100% sert à économiser des cartes GPU vendues hors de prix.

Cette fonctionnalité repose sur un nouveau moteur appelé Model Runtime. Interrogé à ce sujet, Paul Turner confirme qu’il s’agit en réalité du module Open source LLM-d.

Mais un point encore plus important est que VMware AI Factory sait aussi faire l’inverse : interdire de multiplier les instances tant qu’elles n’utilisent pas toutes les ressources allouées. Et, ce, même dans le cas d’un déploiement chez un hébergeur qui partage ses serveurs entre plusieurs clients (on parle de multitenant).

Cette fonctionnalité évite de déployer plusieurs fois les mêmes modèles pour autant de clients différents (ou autant d’équipes différentes dans une même entreprise) et vise, encore une fois, à optimiser au maximum le rendement de cartes accélératrices qui coûtent une fortune. Pour maintenir le secret des travaux entre les différents tenants, on définit des namespaces étanches pour chacun d’entre eux depuis une nouvelle interface appelée Privat AI Services.

Les LLM à déployer sur le cluster sont quant à eux présentés dans une galerie, une autre nouvelle interface. Il suffit de sélectionner ceux que l’on désire utiliser ; chacun sera installé avec une règle définissant la quantité de ressources GPU et mémoire nécessaires au fonctionnement d’une instance, plus un module OpenTelemetry qui monitorera les tokens du modèle, ses latences et ses utilisations du matériel.

Plus de 150 LLM installables et entièrement gouvernables

Il y a plus de 150 modèles possibles à l’heure où nous écrivons ces lignes. « La plupart sont des LLM ouverts issus de Hugging Face, dont nous avons certifié le fonctionnement et que nous installons sur le cluster dans un dépôt dont vous avez la gouvernance », explique Paul Turner.

« Il existe aussi des versions spécifiques à VCF : Nemotron 3 de Nvidia, Gemma 4 de Google, Cotomi de Nec, Qwen 3.6 d’Alibaba Cloud, ou encore GLM 5.2 de zAI. Ces modèles, c’est le cas de Nemotron, sont susceptibles de nécessiter de votre part la demande d’une clé auprès de leurs fournisseurs, mais sans nécessairement payer en plus », ajoute-t-il.    

À la fin du travail de VMware AI Factory, le cluster aura été transformé en un cluster VCF tout ce qu’il y a de plus ordinaire, avec ses consoles pour déployer des applications en VM ou en containers, régler leurs dépendances et les conditions pour y accéder (stockage, réseau, sauvegardes), monitorer leur fonctionnement et aussi mettre à jour automatiquement leurs modules logiciels. La nouveauté est que ces éléments prennent désormais en compte tout ce qui a trait à l’IA.

« En fin de compte, il s’agit d’un VCF agrémenté de la possibilité de déployer en un tournemain des LLM 100% opérationnels. Mais pour déployer des agents en prenant en compte leurs contraintes, il faut autre chose, une plateforme applicative agentique. Nous proposons Tanzu Platform, vous pouvez en prendre une autre, celle de Nvidia par exemple, si vous êtes leur client. C’est flexible. Et pour sécuriser l’ensemble, nous avons aussi au catalogue des extensions dédiées », conclut Paul Turner.

Étendre les modules de sécurité existants plutôt qu’en proposer des spécifiques

Concernant ces modules de sécurité en option, citons les firewalls historiques vDefend (IDS/IPS fonctionnant sur les paquets réseau et basé sur le moteur de virtualisation NSX) et AVI Load Balancer (requêtes applicatives) qui savent désormais monitorer et filtrer le trafic spécifique des agents d’IA.

Il y a aussi AgentMinder, un nouveau module qui fait furieusement penser à Agntcy de Cisco, dans le sens où il distribue des autorisations d’accès aux agents d’IA selon qui les pilote, l’intention de leur prompt ou encore les règles d’accès des applications et des données qu’ils visent.

Citons encore dans cette catégorie un nouveau service TrueSource by Broadcom, un dépôt depuis lequel peuvent être installés des agents Open source et des serveurs de données avec la garantie qu’ils ne sont pas infectés de codes malveillants. Ce service est en réalité une extension du service Bitnami Secure Images que Broadcom avait précédemment racheté pour distribuer des VM et des containers de logiciels Open source certifiés sains de tout malware.

« Il est important de noter que nous n’avons pas voulu créer de nouveaux produits de firewall spécifiques aux IA. Notre volonté a été d’améliorer l’existant. Car même si vous n’exploitez pas de plateforme agentique, vous êtes susceptibles d’être attaqués par des IA », explique au MagIT Umesh Mahajan, le patron des offres réseau et sécurité chez Broadcom.

« Ainsi, les clients qui utilisent déjà AVI Load Balancer pour sécuriser leurs applications au niveau des requêtes, notamment pour éviter l’injection de code, peuvent avec cette nouvelle version les sécuriser au niveau des API, pour éviter l’injection de prompts malveillants. Idem pour vDefend qui protégeait jusqu’ici contre les malwares et sait désormais reconnaître les empreintes des IA. », détaille-t-il.