La recherche contre le Covid-19 bascule sur des NAS élastiques
Dans un contexte où les données à analyser augmentent de manière exponentielle tous les mois, la priorité pour le centre de recherche IHME a été d’opter pour du stockage extensible plutôt que 100 % Flash.
Parmi les centres de recherches lancés dans la lutte contre le virus du Covid-19, l’institut scientifique américain IHME est un cas d’école : ses travaux nécessitent des pétaoctets de données. Or, de telles capacités sont d’ordinaire disponibles sur des baies de disques plutôt dédiées aux sauvegardes, c’est-à-dire des matériels qui ne sont pas conçus pour délivrer les performances dont les logiciels d’analyse ont besoin. Performances d’autant plus importantes dans le contexte actuel, où chaque centre tâche de trouver le plus rapidement possible des contre-mesures efficaces sur la durée face au coronavirus.
Par ailleurs, l’IHME (Institute for Health Metrics and Evaluation, basé à Seattle) est un établissement public, aux moyens financiers limités. Dans son cas, impossible de trop investir, que ce soit dans l’achat de la solution de stockage elle-même, comme dans la rénovation des infrastructures du datacenter qui seraient nécessaires pour la déployer.
« Nous avons un espace limité dans notre salle informatique. Nous devons donc maximiser la quantité de données que nous pouvons mettre dans une étagère rack », explique ainsi Serkan Yalcin, directeur de l’informatique, de l’infrastructure et du développement au sein de l’IHME.
Basé à la faculté de médecine de l’université de Seattle et financé par des subventions, l’IHME analyse les données sanitaires mondiales et met gratuitement à disposition des prévisions et des outils pour aider les gouvernements, les systèmes hospitaliers et les décideurs politiques à prendre des décisions sur l’allocation des ressources. L’IHME mène des recherches sur plus de 300 maladies et facteurs de risque. La pandémie de Covid-19 est devenue un sujet prioritaire en 2020, mais il n’était pas non plus question pour l’établissement de stopper ses autres projets en cours.
La recherche sur le COVID-19 a été un domaine d'intérêt clé pour l'Institute for Health Metrics and Evaluation.
« Nous estimons que la recherche concernant le Covid-19 a ajouté à la charge déjà lourde de l’institut le traitement de 10 à 15 % de données supplémentaires. L’IHME ingère des données brutes provenant de sources extérieures et génère encore plus de données en créant des modèles et des visualisations basés sur les pires et les meilleurs scénarios », indique Serkan Yalcin. Aux USA, l’IHME est notamment connu pour avoir modélisé les risques de décès dans une population selon le pourcentage de personnes qui portent un masque.
Moderniser le stockage sans passer au Flash, trop cher
Serkan Yalcin, IHME
Lorsque Serkan Yalcin a rejoint l’IHME en 2010, les systèmes de stockage de l’institut disposaient d’environ 5 To de données. « Nous en sommes aujourd’hui très loin. En à peine neuf mois, les recherches sur le Covid-19 ont à elles seules généré plus de 500 To de données. Et la création de nouvelles informations augmente aujourd’hui de manière exponentielle chaque mois. »
L’IHME s’est rendu compte dès 2014 qu’il devait basculer sur un stockage élastique. À l’époque, l’équipe de Serkan Yalcin décide de remplacer son NAS historique, à base de serveurs génériques sous Quantum StorNext, par une solution Qumulo. Ce dernier a construit sa réputation dans les médias en offrant un NAS extensible à volonté.
« Au-delà de l’élasticité, la solution de Qumulo permet surtout de monitorer des milliards de fichiers. Par exemple, je peux cliquer sur un dossier et, immédiatement, voir d’où viennent les fichiers qu’il contient, quelle est leur fréquence d’utilisation, comment évoluent leurs accès sur les dernières heures, sur les trente derniers jours, etc. Je n’avais jamais vu auparavant un système qui donne aussi simplement autant d’informations », se réjouit le responsable.
« Au-delà de l’élasticité, la solution de Qumulo permet surtout de monitorer des milliards de fichiers. »
Serkan YalcinDirecteur de l’informatique,de l’infrastructure et du développement, IHME
Parmi ces caractéristiques, la solution de Qumulo s’est récemment dotée de capacités de sauvegarde, ainsi que d’export de ses contenus vers des services en cloud.
Lorsque la quantité de données explose en 2020 à cause de la crise pandémique, c’est naturellement Qumulo que l’IHME appelle d’abord à l’aide. Le constructeur s’empresse de lui proposer ses derniers modèles de NAS dotés à 100 % de SSD bien plus performants que les disques durs classiques. L’institut lui oppose un refus net : ce genre de configurations est bien trop cher pour son budget.
« Même si les prix des SSD ont baissé grâce à l’arrivée de nouveaux modèles basés sur des NAND 3D à cellules QLC, une solution 100 % Flash n’a pas de sens économiquement parlant pour l’IHME. Il faut considérer que nous ne tirons aucun revenu de nos travaux ! » s’exaspère notre témoin.
Qumulo, lui, propose alors de plutôt opter pour des baies hybrides, qui mélangent des SSD – pour accélérer les accès – et des disques durs classiques – pour apporter un maximum de capacité avec un prix minimal. Selon le catalogue du constructeur, ces modèles coûtent un tiers du prix des modèles 100 % Flash.
Serkan Yalcin est conquis. Il signe pour une solution comprenant 12 nœuds C-432T disposant chacun d’une capacité de stockage brute de 432 To, soit un total de 5 Po environ. Chaque baie C-432T contient des SSD NVMe Ultrastar DC SN640 de 3,2 To pour mettre les données en cache, en amont des disques durs. Ceux-ci, des Ultrastar DC HC550, offrent individuellement une capacité de 18 To. Le système de ce cluster de baies est conçu pour conserver dans chaque cache les données les plus fréquemment accédées sur le même nœud. Les unités Ultrastar sont fabriquées par Western Digital.
Aussi rapide que du 100 % Flash en théorie, mais « suffisant » en pratique
Selon Qumulo, les baies hybrides présentent généralement des performances similaires aux baies 100 % Flash, puisque, la plupart du temps, 90 à 95 % des données sont lues depuis le cache. En revanche, quand ce n’est pas le cas, les performances chutent au même niveau que les anciennes baies qui n’étaient constituées que de disques durs classiques.
À l’épreuve, Serkan Yalcin constate que ses nouvelles baies hybrides répondent aux besoins de l’institut en termes de performance. Selon ses mesures, chaque nœud C-432T offre 1 million d’IOPS. « Avec notre solution Qumulo précédente, il faut mettre quatre nœuds en parallèle pour obtenir une telle quantité d’accès par seconde. »
La densité est un autre point fort de la nouvelle solution. La précédente, qui est restée en production, utilise deux clusters Qumulo, l’un comprenant 24 nœuds et l’autre 14. Chacun est composé de disques durs de 8 Go, épaulés par un SSD de 480 Go dans chaque nœud.
Au final, la nouvelle solution à 12 nœuds tient dans trois étagères rack. L’IHME exploite dans son datacenter 42 étagères rack. 80 % d’entre elles sont composées de serveurs de calcul. Les 20 % restants comprennent les baies Qumulo, ainsi que deux autres clusters de stockage. Serkan Yalcin ne donne pas leur marque, mais indique que l’un comprend 15 nœuds bardés de disques durs conventionnels de 10 To, tandis que l’autre n’a que 8 nœuds, mais il est rempli de SSD de 2 To. Avant l’arrivée de la nouvelle solution de Qumulo, c’est ce cluster-là qui faisait office de cache pour accélérer l’accès aux images et aux fichiers temporaires entreposés sur tout le reste.
« Nous venons donc de passer de 4 à 9 Po de stockage rien que sur les baies fournies par Qumulo. Ce n’était pas un luxe : nous utilisons déjà 80 % de cette capacité », conclut Serkan Yalcin.
Serkan Yalcin, IHME
