À peine 5 % de la capacité des GPUs déployés seraient réellement utilisés. Pourtant, des solutions existent pour éviter cet énorme gaspillage, rappelle Laurent Gil, président de Cast AI, qui invite à les appliquer avant de penser à racheter du compute.
par
Laurent Gil, Fondateur et Président de Cast AI
Publié le: 06 juil. 2026
Dans la plupart des entreprises, les GPU sont devenus des ressources à la fois introuvables et, paradoxalement, sous-utilisées.
D’un côté, la pénurie de puces domine les discussions budgétaires. Les délais de livraison s’allongent, les coûts explosent et les organisations se livrent une bataille féroce pour sécuriser des capacités de calcul auprès des hyperscalers. De l’autre, dans les centres de données, une part massive de cette puissance de calcul reste inactive.
Cette sous-utilisation chronique n’est pas une fatalité technique. Elle traduit une gestion de l’infrastructure qui privilégie la précaution au détriment de l’efficience, pesant désormais sur la rentabilité réelle des investissements IA.
Le piège du surprovisionnement par précaution
L’investissement mondial dans l’infrastructure IA devrait approcher les 300 milliards de dollars cette année. Les géants du cloud (Microsoft, Google, Amazon et Meta) injectent des sommes qui dépassent les prévisions les plus hautes. Cette ruée vers les capacités de calcul a généré la peur de la rupture de stock et d’un pic de charge non absorbé. Cette peur a conduit les équipes techniques à commander massivement.
Pour un DSI, il est devenu politiquement plus simple de valider l’achat de nouveaux GPU que d’expliquer en comité de direction pourquoi le parc existant tourne à 5 % de sa capacité. Les derniers benchmarks qui portent sur des dizaines de milliers de clusters montrent que le taux d’utilisation des GPU en production dépasse rarement ce pourcentage.
En phase d’inférence, lors des périodes de faible trafic, le matériel reste mobilisé sans traiter de charge utile. Nous finançons donc des infrastructures de pointe qui passent le plus clair de leur temps en attente d’une charge qui n’arrive jamais à l’échelle prévue.
C’est un coût d’opportunité massif. Chaque euro immobilisé dans du silicium inactif est un euro qui n’est pas investi dans le talent ou le développement des modèles.
Kubernetes et les limites de l’allocation rigide
Le blocage vient principalement de la manière dont nous pilotons les clusters.
Kubernetes, le standard de l’orchestration, traite le GPU comme une ressource indivisible. Par défaut, il alloue une carte entière à une seule tâche (un « pod »).
Si une application n’a besoin que de 4 Go de mémoire vidéo (VRAM) sur une carte qui en possède 80, Kubernetes lui attribue pourtant l’intégralité du GPU. Les 76 Go restants sont immobilisés, rendus invisibles et inaccessibles pour le reste de l’organisation.
S’y ajoute un problème structurel de pipeline de données.
Un GPU haute performance nécessite un flux de données continu. Souvent, le processeur classique (CPU), chargé de préparer, tokeniser et acheminer les données, ne parvient pas à suivre la cadence. L’accélérateur graphique se retrouve alors en état de « starvation » : il attend ses prochaines données pour travailler.
Résultat, on paie des puces à plusieurs dizaines de milliers d’euros pour qu’elles restent partiellement inactives par simple défaut de logistique logicielle et d’équilibrage entre le calcul et l’ingestion de données.
Le levier oublié de l’optimisation dynamique
Les solutions techniques pour corriger ce gaspillage sont pourtant matures et éprouvées. Dès 2020, avec l’architecture Ampere, NVIDIA a introduit le Multi-Instance GPU (MIG).
Cette technologie permet de découper physiquement un GPU en plusieurs instances isolées, disposant chacune de ses propres ressources. On peut ainsi faire travailler jusqu’à sept projets différents en parallèle sur une même carte, sans qu’ils interfèrent les uns avec les autres.
Le passage d’une allocation statique, où l’on réserve des ressources fixes par peur du manque, à une gestion dynamique et automatisée, est la clé de la scalabilité.
D’autres mécanismes, comme le time-slicing ou le paged attention (popularisé par des frameworks comme vLLM), permettent de multiplier radicalement le débit sur un matériel en optimisant la gestion de la mémoire.
Le passage d’une allocation statique, où l’on réserve des ressources fixes par peur du manque, à une gestion dynamique et automatisée, est la clé de la scalabilité. À ce niveau de coût, l’arbitrage doit devenir un processus continu, capable de compresser les charges de travail sur le moins de machines possible dès que la demande baisse.
L’IA a besoin de son FinOps
L’industrie sort de la phase d’euphorie. On achetait de la puissance GPU à n’importe quel prix parce que personne ne demandait de comptes. Ce temps est révolu. Les tokens sont devenus la nouvelle unité de dépense technologique, et les directions financières ont commencé à poser les mêmes questions que celles qu’elles posaient sur le cloud il y a dix ans.
Le stockage, le réseau, le compute cloud. À chaque fois, l’adoption massive a forcé le passage d’une gestion empirique à une discipline industrielle. Le thin provisioning a permis de maîtriser les coûts du stockage il y a quinze ans. L’automatisation joue aujourd’hui le même rôle pour l’infrastructure IA.
Pour les entreprises, le constat commence par un diagnostic de l’infrastructure. Nul besoin d’un audit complexe. L’analyse des métriques d’utilisation des clusters sur 30 jours, via NVIDIA DCGM ou les outils natifs des clouds, révèle immédiatement l’ampleur du gaspillage.
L’écart entre la capacité payée et la puissance réellement consommée est la mesure directe de ce que coûte l’absence de gouvernance.
L’optimisation des tokens doit devenir une pratique industrielle partagée, construite sur des standards ouverts, et non sur des métriques propriétaires qui arrangent les fournisseurs.
C’est précisément pour structurer cette nouvelle approche du FinOps appliquée à l’IA que la Linux Foundation a annoncé la création de la Tokenomics Foundation, en partenariat avec la FinOps Foundation. L’objectif est d’établir des standards ouverts, des benchmarks neutres et des bonnes pratiques pour mesurer et optimiser l’économie des tokens, de la couche infrastructure jusqu’à la valeur métier.
L’optimisation des tokens doit devenir une pratique industrielle partagée, construite sur des standards ouverts, et non sur des métriques propriétaires qui arrangent les fournisseurs.
Avant de commander la prochaine génération de puces, la priorité est donc de mettre en place l’automatisation capable d’exploiter le parc déjà en place. Cesser de gaspiller les ressources est le véritable défi pour assurer le retour sur investissement de l’IA.
Pour approfondir sur Hardware IA (GPU, FPGA, etc.)
