IA sur Kubernetes : les analystes épinglent la CNCF face à l’hégémonie de Nvidia

KubeCon : « Où est Jensen Huang ? »

Lors de la conférence de presse, les dirigeants de la CNCF et de la Linux Foundation ont dû répondre à des questions pointues. Plusieurs participants se sont demandé pourquoi le géant de l’IA Nvidia n’était pas plus présent lors du lancement du nouveau programme de conformité.

« Évidemment, Nvidia est le centre de gravité de tout cela », constate Steven Dickens, PDG de HyperFrame Research, un cabinet d’analystes. « Quel est votre plan pour les attirer dans le Programme de Conformité ? Comment vous assurer que les points d’interface technologique, comme Google, soient présents ? ».

Selon Chris Aniszczyk, les représentants de Nvidia ont participé aux réunions du Programme de Conformité IA. Mais l’entreprise n’a pas de produit Kubernetes-as-a-Service similaire à ceux certifiés par le programme. Nvidia est membre de la CNCF depuis 2018. Elle a contribué à des projets comme l’allocation dynamique de ressources Kubernetes. Ce support fait partie des premières exigences obligatoires du Programme de Conformité IA Kubernetes Certifié.

Néanmoins, les projets mentionnés par les dirigeants de la CNCF posent problème. Ces exemples de standards open source émergent pour les charges de travail d’inférence IA, notamment vLLM et AIBrix, doivent s’intégrer avec CUDA. Ce framework de calcul parallèle propriétaire de Nvidia est nécessaire pour faire fonctionner ces systèmes avec les puces du concepteur. La même question peut se poser pour les puces AMD, Google ou AWS qui exigent l’usage d’un framework spécifique (parfois open source).

Lors de la KubeCon China, en juin dernier, Chris Aniszczyk assurait croire en la capacité de la communauté open source à trouver une alternative à CUDA.

Toutefois, l’entreprise au caméléon domine ce marché.

Les alternatives aux GPU comme les TPU de Google ont pris de l’ampleur l’année dernière. En la matière, Google a présenté récemment une intégration avec vLLM. Cette semaine, GCP s’est rapproché de Vast Data qui prend en charge les TPU en lien avec ses services managés de stockage. Or, Nvidia est investisseur dans Vast Data et il a atteint une valorisation boursière de 5 000 milliards de dollars. Le géant a sécurisé des contrats valant des dizaines de milliards pour fournir ses GPU aux principaux fournisseurs cloud et entreprises d’IA, notamment AWS et OpenAI.

Chris Lamb, vice-président du logiciel de calcul GPU chez Nvidia, a fait une apparition lors du keynote de la KubeCon + CloudNativeCon 2024. Bob Wise, maintenant vice-président de l’ingénierie et des opérations chez Nvidia DGX Cloud, a représenté AWS au conseil d’administration de la CNCF de 2020 à 2022.

Mais Jensen Huang, PDG de Nvidia, ne s’est jamais rendu à un événement majeur de la CNCF. Steven Dickens l’a fait remarquer. Jensen Huang est pourtant le visage public de l’entreprise. Il est devenu incontournable dans le circuit des conférences technologiques ces dernières années.

« Assister aux réunions, quelques ingénieurs qui contribuent un peu de code, tout ça c’est formidable », rétorque l’analyste. « Nvidia, c’est LE meneur de jeu [en IA]. Va-t-il être un acteur de premier plan de ce programme ? Jensen [Huang] va-t-il monter sur scène en veste de cuir à KubeCon ? »

La situation se complique encore. Nvidia a été plus explicite publiquement sur les composants qu’elle a récemment donnés à des projets open source adjacents à Kubernetes. Ces projets ne sont pas gouvernés par la CNCF. L’exemple notable est llm-d de Red Hat, lancé en mai.

Nvidia a également fait la publicité de sa propre API Kubernetes open source, Grove, cette semaine pendant KubeCon. Le fabricant « fabless » ne l’a pas donné à la CNCF. Le projet « définit la structure et le cycle de vie des charges de travail d’inférence IA mono et multinœuds », selon un article de blog de l’entreprise. Ces charges incluent celles déployées avec NVIDIA Dynamo. Elles peuvent s’adapter efficacement dans des environnements basés sur Kubernetes.

Les risques de « l’économie Nvidia »

D’autres analystes du secteur présents à la conférence de presse ont demandé si la Linux Foundation et la CNCF allaient s’attaquer à « l’étau » de Nvidia sur le marché de l’IA. Ils font le parallèle avec la façon dont Linux a défié Windows de Microsoft. Ou comment la CNCF a offert une alternative open source solide aux middlewares propriétaires.

« Je ne vois pas beaucoup de soutien pour des alternatives open source à CUDA », souligne Stephen O’Grady, analyste principal et co-fondateur de RedMonk, lors de la séance de questions réponses de la conférence de presse. « Que faites-vous pour que les primitives fondamentales du calcul IA n’appartiennent pas à une seule entreprise ? ».

Jim Zemlin a répondu par une autre analogie avec les premiers jours de domination du cloud public par AWS.

« Si vous regardez les parts de marché maintenant, c'est assez équilibré », considère-t-il. « Vous avez Amazon, Microsoft, Alibaba, Oracle, Google. Chaque fois qu'il y a une révolution technique comme l'IA, c'est le chaos au début. Puis les choses se diversifient naturellement avec le temps ».

Dans un entretien séparé, un autre analyste participant à la conférence de presse espère qu'une alternative open source solide à CUDA émergera.

« Si Nvidia continue de dominer comme elle le fait, il faut qu'il y ait une alternative », déclare Larry Carvalho, consultant principal chez RobustCloud. « J'ai lu que les États-Unis sont devenus l'économie Nvidia. Une capitalisation boursière de 5 000 milliards de dollars pour une seule entreprise, c'est une gravité énorme sur une seule société. Les gens parlent de gravité des données. Là, c'est la gravité du calcul ».