prasit2512 - stock.adobe.com
La moitié des entreprises n’ont pas de pilote pour leurs dépenses IA
Ce qui conduit à des dépassements de budget, selon un rapport de Harness estimant qu’un quart des budgets IA est purement et simplement gâché.
Environ un dollar sur quatre dépensé dans l’IA serait gaspillé. C’est ce qu’affirme un rapport de Harness, qui a interrogé 700 responsables FinOps et ingénierie.
Ce gâchis vient du fait que plus de la moitié des organisations n’ont pas désigné de responsable pour superviser ces coûts. La responsabilité est alors naturellement diluée entre les équipes ingénierie, plateforme et FinOps.
La difficulté pour les entreprises est de trouver le bon équilibre. Il faut, d’un côté, favoriser l’innovation et l’usage de l’IA. Et de l’autre, il faut éviter que des garde-fous trop flous et la multiplication des outils ne fassent exploser les budgets.
Des coûts IA qui diffèrent des coûts IT classiques
Le rapport de Harness montre par ailleurs que les entreprises sont déstabilisées par la nature des coûts de l’IA qui diffèrent des dépenses IT traditionnelles.
Contrairement au cloud, où les coûts sont essentiellement liés aux serveurs et au stockage, les dépenses IA couvrent plusieurs catégories : infrastructure, modèles, abonnements SaaS ou encore services managés.
Pour ne rien simplifier, la plupart des organisations font appel à au moins trois fournisseurs d’IA. Or chaque prestataire à sa manière de facturer, ce qui rend encore plus difficile une vision claire des dépenses.
Des lacunes, quelles que soient la taille et l’origine des entreprises
Les logiciels de productivité, comme les copilots et les outils d’aide à la génération de code, sont devenus l’un des principaux postes de coûts. Ils ressemblent à des licences classiques, mais ils n’en sont pas vraiment, ce qui en fait des dépenses difficiles à suivre.
Les éditeurs ont bien conscience de ce besoin de contrôle. Et ils commencent à y répondre. Les grands acteurs comme Oracle ou AWS proposent de nouvelles fonctionnalités pour améliorer la visibilité sur les dépenses IA. Et la Linux Foundation a lancé un groupe de travail dédié à la gestion des coûts.
Mais, le manque de visibilité reste un obstacle, insiste Harness.
« Ce qui m’a le plus surpris, ce n’est pas le montant des dépenses ni la vitesse à laquelle elles progressent, mais le fait que les lacunes de suivi se retrouvent dans toutes les tailles d’entreprise et dans toutes les zones géographiques », analyse Harish Doddala, vice-président chez Harness. « Le problème de visibilité, le problème de responsabilité et le problème de prévision se posent, que vous dépensiez 300 000 ou 3 millions de dollars par mois en IA. »
Exposer les coûts à ceux qui utilisent l’IA
Une solution consiste à désigner un responsable dont la mission est de centraliser la remontée des coûts de l’IA.
L’étape suivante consiste à partager ces éléments avec les équipes, pour qu’elles aient conscience du prix de leurs usages en temps réel.
OpenAI formule peu ou prou les mêmes recommandations. Le créateur de ChatGPT a lui aussi appelé les entreprises à mieux suivre leurs usages et leurs dépenses. Il les invite également à évaluer la valeur réelle produite par leurs modèles IA et à plus se focaliser sur la gouvernance.
Article co-écrit avec la newsletter CIO Dive
