Au Portugal, un datacenter refroidi à l’eau de mer

L’enjeu d’héberger des baies de calcul de plus en plus énergivores

« Le tout récent cluster de calcul de Nvidia, le DGX GB200 NVL72, a besoin d’une puissance de 132 kW par baie rack. Nos onduleurs Galaxy VX actuels sont taillés pour alimenter des serveurs avec une telle densité. En revanche, l’année prochaine, la génération Rubin de Nvidia poussera la consommation à 600 kW par baie. Et d’ici à 2028, la génération suivante, Feyman, ira au-delà des 1000 kW par rack », explique Andrew Bradner, le patron des solutions de refroidissement chez Schneider Electric.

Les Galaxy VX sont des modules UPS larges de 6,2 mètres qui apportent chacun une puissance électrique de 1,5 MW aux baies de serveurs. Le nouveau modèle Galaxy VXL fournira 1,25 MW, mais sur une largeur de seulement 1,2 mètre. En clair, il délivrera 6 fois plus de puissance électrique au mètre carré à des baies de serveurs qui consommeront entre 4,5 et 7 fois plus d’énergie. Maintenir une parité entre la densité des UPS et la consommation des serveurs doit permettre à un campus de datacenters comme Start Campus de rentabiliser au maximum la surface (locative) de ses salles.

Au-delà de la surface locative, l’enjeu pour un datacenter est surtout d’optimiser le plus possible sa facture d’énergie. L’équipe de Schneider Electric vante à ce propos la pertinence des logiciels EcoStruxure de gestion automatisée et de monitoring livrés avec ses UPS. Eux-mêmes bardés d’intelligence artificielle pour juxtaposer les flux d’énergie avec les flux de calcul, ils parviendraient à réduire en moyenne la consommation électrique des serveurs de 8% et leur dissipation de chaleur de 3,12%.

« Nous pensons parvenir à réduire l’énergie des datacenters de 17% d’ici à 2030, juste en automatisant les bonnes pratiques », estime Pablo Ruiz-Escribano, le patron en Europe des produits électriques pour datacenters de Schneider.

Et en ce qui concerne le sujet du refroidissement - pour empêcher les serveurs d’atteindre une température qui les feraient disjoncter -, Start Campus est persuadé d’avoir trouvé dans son système de circulation d’eau de mer la solution la plus écologique qui soit.

Ne pas utiliser d’eau potable

« Que les serveurs soient eux-mêmes refroidis par ventilation ou par le passage de liquide à la surface de leurs composants, un datacenter a toujours besoin d’un circuit d’eau supplémentaire pour extraire en dehors des salles les calories qui y sont capturées », dit Omer Wilson, responsable du marketing de Start Campus, pour expliquer que l’eau de mer dont il est ici question n’est pas celle qui serpente dans les serveurs. L’eau de mer froide capture les calories du fluide chaud au travers d’un échangeur thermique.

« Si le fluide de refroidissement interne aux salles est en circuit fermé, l’eau qui emporte les calories au loin est en revanche capturée dans la nature et rejetée dans la nature. À ce jeu, aux USA, un campus de datacenters consomme en moyenne 75 milliards de litres d’eau potable par an. Chez nous, nous ne consommons aucune eau potable », avance-t-il.  

En France, cette eau provient des canalisations urbaines, par exemple à Paris, ou de rivières souterraines, comme à Marseille. Certains datacenters l’évaporent avec des systèmes adiabatiques ; l’eau est pulvérisée en fines gouttelettes pour rafraîchir l’air chaud d’un datacenter.

D’autres font beaucoup de publicité autour d’un supposé routage de l’eau chaude vers des chauffages urbains ou des piscines municipales. Sauf que de tels projets sont rarement menés à terme, car la distance fait perdre trop de calories à l’eau pour qu’elle arrive à destination avec la bonne température. A Marseille, pour l’instant, l’eau chauffée est rejetée dans la Méditerranée. 

Start Campus s’est quant à lui installé sur le site d’une ancienne centrale électrique qui avait déployé un système de pompage de l’eau de l’océan, à raison de 12.000 litres par seconde. Cette eau de mer est capturée à une température qui oscille entre 15 et 20°C selon la saison, elle gagne 10 à 15°C supplémentaires en circulant dans les installations, puis elle est recrachée dans l’océan, à une température d’environ 30°C.

« Non, ce n’est pas dangereux pour la faune et la flore maritimes. La température est diluée dans l’océan. Et puis une université voisine a mené des recherches et a conclu que ce n’était pas dangereux », balaie un responsable de Start Campus auquel LeMagIT a demandé si cela était réellement écologique.

Une science de l’échange thermique

Start Campus fait tout un mystère à propos de ce qui se passe dans ses salles informatiques, que la presse n’a pas été autorisée à visiter. Mais selon les informations que LeMagIT a pu recouper, une partie seulement des serveurs déjà en production serait refroidie par un circuit d’eau. Celle-ci entre dans les machines à une température située entre 32 et 40°C et en ressort à environ 50°C. Cette eau à 50°C passe par un échangeur thermique où ses calories excédentaires sont capturées par l’eau froide de l’océan, de sorte que sa température retombe d’environ 15°C avant de retourner vers les serveurs.

Il y a une formule mathématique un peu complexe. La quantité de calories capturée par l’eau de mer ne dépend pas seulement du différentiel de température entre les deux eaux. Elle est aussi fonction des volumes d’eau mis en contact durant un laps de temps dans l’échangeur thermique, ce qui est lié à la vitesse de chacun des liquides. Start Campus n’a pas communiqué ces chiffres.

Selon des informations obtenues lors de précédents reportages, les systèmes de refroidissement par eau internes aux salles informatiques doivent faire circuler 500 litres de liquide par minute dans une rangée de baies Nvidia DGX B200 pour les refroidir (8,33 litres par seconde). Il faudrait donc que les bâtiments de Start Campus ne dépassent pas 1440 rangées de baies DGX B200 pour que les 12.000 litres d’eau de mer pompés par seconde servent à mettre en contact exactement les mêmes volumes, ce qui permettrait de répartir équitablement les calories entre l’eau interne et l’eau externe.

Dans cette configuration, une eau de mer à 15°C rencontrerait dans l’échangeur thermique une eau du circuit interne à 50°C, puis toutes les deux repartiraient de leur côté à une température de 32,5°C.

Reste à savoir jusqu’à quand les datacenters de Start Campus pourront rester en deçà de ce scénario limite, sachant que les prochaines générations de clusters Nvidia devront être refroidies par une eau qui circule de plus en plus vite. Schneider Electric maintient que ce sera le plus longtemps possible grâce aux logiciels intelligents qui pilotent ses équipements. Si Start Campus continue de lui en acheter pour ses prochains bâtiments.