Racheté 625 M$ par IREN, Mirantis veut faire passer K0rdent à la vitesse supérieure

Une filiale d’un néocloud qui ciblera… les néoclouds

Toutefois, Mirantis conservera son indépendance opérationnelle au sein du groupe côté en bourse. Elle ne prévoit ni d’abandonner ses contributions open source (Kubernetes, OpenStack, K0s, K0rdent) ni sa distribution commerciale de Kubernetes.

« Nous avons plus de 1 500 clients répartis aux quatre coins du monde, dans plus de 30 pays. » rappelle Shaun O’Meara, directeur technique de Mirantis, auprès du MagIT lors d’un entretien sur place. « Certains d’entre eux, nous les accompagnons depuis 12 ans, voire plus », insiste-t-il. « Et ce sont des entreprises de renom, dont la Société Générale en France. Citez n’importe quel établissement financier français, européen ou américain, nous y sommes probablement présents. Nous sommes également présents auprès de la plus grande banque du Canada ».

Une activité rentable de longue date, selon l’intéressé. Néanmoins, son acquisition ainsi que le développement de K0rdent, sa couche d’orchestration multicloud et hybride de clusters et de conteneurs IA, basée sur Kubernetes, pousse Mirantis à cibler lui-même les néoclouds.

Le CTO de Mirantis les mentionne comme les premiers clients ayant adopté K0rdent. Il ne peut en citer qu’un publiquement : IREN. Pour rappel, Mirantis avait évoqué un premier utilisateur : le fournisseur de cloud néerlandais Nebul.

« Il s’agit majoritairement de startups dotées de fonds, avec un ou deux fondateurs issus du milieu de la Tech, mais qui n’ont pas les capacités opérationnelles nécessaires. Nous pouvons donc les aider à se lancer », avance Shaun O’Meara. « Plus les GPU arrivent rapidement sur le marché, plus ils seront considérés comme des produits fiables, mieux c’est pour le marché dans son ensemble ».

L’éditeur sait pertinemment que les entreprises sont plus lentes à adopter ce type de technologies. Bien qu’elles réfléchissent à des stratégies d’hybridation, elles réservent majoritairement leurs capacités GPU auprès des hyperscalers qui ont leurs propres outils de gestion des déploiements IA. La mise en place sera sans doute plus longue, mais « les entreprises ne tarderont pas à suivre », anticipe le directeur technique. « C’est pourquoi nous continuerons de les supporter : elles représentent l’avenir de notre activité ».

Pour IREN, tenter de convaincre des clients de longue date d’adopter ses futures offres de cloud ou les logiciels de Mirantis est l’intérêt de ce rachat à long terme, prévoient les analystes de Futurum Group. En revanche, toute tentative de verrouillage propriétaire pourrait entraîner leur fuite, signalent-ils.

En attendant, malgré les fiches techniques toujours plus impressionnantes placardées par Nvidia et la plupart des acteurs du marché, les GPU demeurent prompts à la panne.

« Les statistiques indiquent qu’il y a une défaillance toutes les 30 minutes dans un cluster d’entraînement de grande taille. Avec un cluster d’inférence, ces pannes ont lieu environ toutes les 3 heures », indique Shaun O’Meara.

Aux GPU eux-mêmes, s’ajoute le réseau. « L’optique est l’un des points de défaillance les plus courants dans ces systèmes modernes », poursuit le directeur technique. « Un déploiement de 2 000 GPU GB300 compte environ 30 000 câbles en fibre optique, soit trois pour chaque GPU ».

K0rdent : les trois couches que Mirantis souhaite améliorer

Face à ces défis opérationnels, Mirantis développe une approche en trois couches. La première concerne l’orchestration initiale, la seconde l’observabilité et la troisième la diminution de l’impact des pannes.

D’abord, l’éditeur gère la mise en place de l’environnement, valide le réseau, et déploie l’OS, Kubernetes, ainsi que K0rdent.

À ce titre, Mirantis a annoncé un renforcement de son partenariat avec Nvidia, qui, en sus d’être un client d’IREN, y a investi 2,1 milliards de dollars (le néocloud lui achètera au total 50 000 B300).

K0rdent est compatible avec DSX OS, la couche d’orchestration logicielle de référence proposée par Nvidia. Elle rassemble plusieurs briques open source et propriétaires pour gérer l’allocation des GPU, la planification des charges de travail, leur répartition, le failover, le réseau, etc. Tous sont liés de près ou de loin à l’orchestrateur Kubernetes.

Entre autres, Mirantis prend déjà en charge et contribue au contrôleur open source NICo (Nvidia Infra Controller). Celui-ci doit automatiser la découverte des instances bare-metal, la validation firmware, le provisionnement des DPU Bluefield, l’isolation réseau, des tenants et la sécurisation automatisée des environnements multitenant.

« Nvidia nous a apporté un soutien sans faille et nous travaillons en étroite collaboration avec ces ingénieurs pour développer cette plateforme », assure Shaun O’Meara.

Une gestion fine du stockage

Selon lui, avec DSX OS, Nvidia cherche à fournir les « composants essentiels » pour la mise sur pied de datacenter IA. Le géant se concentre lui-même sur la gestion du bare-metal. Pour le reste, les partenaires sont libres de proposer leur mode d’implémentation.

Par exemple, Mirantis dispose de ses propres API (Arc et Atlas, spécifications open source, mais implémentation propriétaire) pour gérer le stockage. Son objectif : permettre aux clients de choisir les cas d’usage optimaux des baies à leur disposition. Il décline ces options pour la mise en cache des paires clé-valeur liées aux grands modèles de langage, le stockage des états des GPU et les données de contexte dans des buckets compatibles S3. En sus des API, Mirantis assura le routage des données correspondantes vers les bonnes baies liées à un même cluster Kubernetes. Dans K0rdent, Mirantis utilise Ceph et son algorithme Paxos. L’éditeur se rapproche actuellement de VAST, Weka, DDN ou encore de Dell. « Nous ferons des annonces plus tard cette année. Nous orchestrerons toute la complexité pour nos clients », affirme Shaun O’Meara.

En ce qui concerne l’observabilité, l’éditeur a mis en avant ses fonctions d’audit et de FinOps, mais il cherche à en affiner l’analyse.

 « Avec 2000 GPU, nous parlons de plusieurs centaines de gigaoctets de télémétrie par jour », illustre le CTO. « Tout cela doit être examiné, regroupé et analysé. C’est pourquoi, de notre côté, nous commençons à aborder la question sous l’angle suivant : “bon, je dispose d’une quantité énorme de données. Je ne vais pas toutes les stocker, car cela n’a pas de sens. Comment puis-je les analyser ? Comment puis-je exploiter ces données en temps réel et présenter ces informations de manière que mes opérateurs puissent y réagir ?” ».

Avec sa troisième couche, l’éditeur vise la récupération, avec pour objectif de réduire drastiquement le temps moyen de récupération (MTTR) tout en diminuant la fréquence des pannes. Il s’agira de prédire les pannes afin de laisser aux opérateurs d’automatiser les failovers, ainsi que d’isoler les GPU montrant des signes de défaillances. Cette réduction des problèmes permettrait d’abaisser les points de sauvegarde des modèles (checkpoints), qui pèsent sur les baies de stockage à l’entraînement et à l’inférence.

Le routage des charges de travail passe aussi par AI Mesh, une brique de routage en cours de développement par sa filiale Amazee. Outre les fonctions de sécurité proposées par la plupart des passerelles API IA, elle permet de diriger les prompts vers le bon modèle d’IA. Des clients l’utiliseraient déjà en prédiction.

Shaun O’Meara anticipe par ailleurs la prise en charge de puces IA adaptées à chaque charge de travail (génération de texte, images, raisonnement, etc.). « Nous sommes fermement convaincus que les systèmes multimodaux – qui combinent des GPU, des LPU/TPU et des ASICS – seront de plus en plus nombreux à l’avenir », estime-t-il.

Pour l’instant, K0rdent prend en charge les puces de Nvidia et d’AMD. Le CTO évoque un « écosystème ouvert », mais ne cache pas sa prédilection pour le groupe au caméléon.