Infrastructures IA : comment concevoir un datacenter pour l’inférence ?

Comment les charges de travail d’inférence influencent-elles le choix du matériel ?

L’entraînement de l’IA à grande échelle repose sur un débit de calcul continu et une communication à haut débit entre les accélérateurs d’IA. L’inférence présente des exigences différentes en matière d’infrastructure, car elle doit surtout traiter les requêtes entrantes avec une faible latence.

Le fonctionnement des modèles de petite taille et certaines applications d’entreprise utilisent davantage les processeurs que les tâches d’entraînement. Ici, les processeurs prennent en charge le prétraitement, la gestion des requêtes et l’orchestration des applications. Dans les faits, seuls les modèles génératifs de plus grande envergure nécessitent réellement des GPU, en raison de leurs capacités de traitement parallèle et de leur bande passante mémoire élevée.

Pour les équipes chargées de l’infrastructure, le point de départ réside dans le trafic prévu de l’application, les objectifs de temps de réponse et les exigences de traitement. Ces facteurs permettent de déterminer si des serveurs classiques, des systèmes équipés d’accélérateurs ou des clusters de GPU plus importants constituent le choix le plus approprié.

Comment préparer l’alimentation et le refroidissement pour l’inférence ?

La densité de puissance par rack correspond à la charge électrique concentrée dans une armoire. Selon l’enquête 2026 de l’Uptime Institute, de plus en plus d’opérateurs font état de densités de rack maximales de 30 kW ou plus.

Le rack GB200 NVL72 de Nvidia consomme environ 120 kW à pleine charge, ce qui explique pourquoi les opérateurs ne peuvent pas se baser sur les densités moyennes des racks de leurs installations pour dimensionner chaque déploiement d’inférence. Ils doivent analyser la distribution électrique au niveau du rack, de la rangée et de l’installation.

La demande en matière d’inférence varie en fonction du trafic de l’application et du nombre de requêtes simultanées. La planification des capacités doit donc tenir compte des pics de charge, de la marge de manœuvre électrique et des extensions futures potentielles. Les opérateurs doivent éviter de se baser uniquement sur le taux d’utilisation moyen comme indicateur.

Les besoins en refroidissement constituent un autre facteur crucial, et le choix approprié dépend de la quantité et de la source de chaleur générée. Le refroidissement par air convient à la plupart des configurations d’accélérateurs à faible densité basées sur des processeurs et quelques GPU. Seules les installations de GPU à haute densité nécessitent réellement un refroidissement liquide direct sur la puce.

Schneider Electric souligne ainsi l’importance de coordonner la conception des baies, de l’alimentation électrique et du refroidissement. Cela nécessite de réévaluer la capacité de refroidissement existante, la répartition de la chaleur et la faisabilité de mises à niveau ciblées. La capacité de refroidissement à l’échelle de l’installation peut également masquer des contraintes thermiques au niveau de certaines baies.

Les déploiements à haute densité peuvent augmenter la capacité de calcul dans un espace restreint. Cependant, les modifications électriques et de refroidissement doivent être adaptées aux exigences spécifiques de la charge de travail.

Planifier la capacité de l’inférence en fonction de la latence et de la demande

Les mégawatts installés, les racks disponibles et le taux d’utilisation des serveurs indiquent l’étendue de l’infrastructure. Mais ils ne reflètent pas son efficacité à répondre aux demandes d’IA.

Pour plusieurs applications d’IA d’entreprise, le « temps jusqu’au premier token » mesure le temps d’attente des utilisateurs avant que la réponse ne commence. Le débit indique le nombre de requêtes ou de tokens en sortie traités par l’infrastructure au fil du temps.

Les opérateurs de centres de données doivent trouver un équilibre entre ces indicateurs et les pics de tâches simultanées, tout en conservant une capacité de réserve suffisante pour faire face aux pics de demande. Le coût et la consommation d’énergie par requête traitée ont également une incidence sur l’efficacité globale de la capacité.

L’emplacement est un autre facteur clé à prendre en compte. Le fait de placer les systèmes d’inférence plus près des utilisateurs et des applications d’entreprise peut réduire les délais réseau, tandis que les installations centralisées permettent de mutualiser du matériel coûteux entre différentes charges de travail afin d’améliorer les économies d’échelle. Les déploiements régionaux et en périphérie (dits de Edge) répondent à des exigences strictes en matière de latence et de localisation des données.

Cependant, la répartition de la capacité accroît la duplication des infrastructures, les besoins en réseau et la complexité liée au maintien d’une surveillance et d’opérations cohérentes. Les responsables des infrastructures doivent planifier la capacité en fonction des performances des charges de travail, de la demande, de la répartition géographique et du taux d’utilisation.

Quelle place pour les datacenters existants dans l’inférence ?

Les installations de colocation existantes qui ne peuvent pas prendre en charge des clusters d’entraînement GPU à haute densité peuvent néanmoins accueillir des systèmes d’inférence à plus faible densité pour l’infrastructure IA. L’adéquation de ces installations dépend de la charge de travail envisagée.

L’accord conclu entre Akamai et Anthropic reflète cette demande plus large. Anthropic s’est engagé à investir 11,6 milliards de dollars sur sept ans pour acquérir une capacité cloud basée sur des processeurs, avec une extension potentielle de 9 milliards de dollars. L’entreprise prévoit de collaborer avec plusieurs fournisseurs de colocation.

Pour les opérateurs de colocation, l’évaluation d’une telle opportunité commence par l’analyse de la capacité électrique disponible et de la puissance accessible à chaque rack. D’autres facteurs doivent également être pris en compte, notamment les densités de racks prises en charge, les capacités de refroidissement, la connectivité réseau et la proximité avec les clients.

Certaines installations peuvent également nécessiter des mises à niveau ciblées en matière d’alimentation électrique ou de refroidissement, que les opérateurs doivent évaluer au regard de la demande client attendue, du potentiel de chiffre d’affaires et des perturbations pour les locataires existants.

Bruce Bateman, analyste spécialisé dans les semi-conducteurs chez Omdia, considère ainsi, l’inférence comme une piste de modernisation potentielle pour les centres de données traditionnels qui ne peuvent rivaliser avec les grandes installations d’entraînement.

Il suggère que les opérateurs pourraient consacrer une partie de leurs installations aux charges de travail d’inférence au service de leurs clients existants, qu’il s’agisse d’entreprises ou de sites de commerce électronique. Les opérateurs doivent savoir que ces décisions d’investissement en matière de modernisation ne doivent pas reposer sur des hypothèses concernant l’infrastructure future de l’IA.

L’inférence en IA nécessite de prendre en compte un large éventail de considérations infrastructurelles pour prendre en charge les applications d’entreprise. La conception des centres de données doit s’aligner sur la densité de calcul de chaque charge de travail, les exigences en matière d’alimentation électrique et de refroidissement, les objectifs de temps de réponse et les considérations géographiques.

Avant d'investir de nouveaux capitaux, les responsables des centres de données devraient évaluer les capacités des installations existantes et hiérarchiser les mises à niveau en fonction de la demande réelle, estime l’analyste.

Ce conseil est initialement paru en anglais sur techtarget.com, une publication sœur du MagIT.