Seagate dope son système de stockage HPC ClusterStor à Hadoop et Lustre 2.5

Permettre à Hadoop d'accéder aux données directement sur le système de fichiers Lustre

Le ClusterStor Hadoop Workflow Accelerator inclut des outils d’optimisation et un connecteur Hadoop vers Lustre permettant aux nœuds Hadoop de lire et écrire des données sur un ClusterStor faisant tourner le système de gestion de fichiers distribué Lustre.

L’objectif, comme l’explique Steve Paulhus, directeur du business development chez Seagate, l’idée est de permettre d’utiliser le même jeu de données pour effectuer les traitements analytiques sans avoir à dupliquer les données dans un second espace de stockage dédié (ce qui double les coûts de stockage). Avec le ClusterStor Hadoop Workflow Accelerator, il est possible d’utiliser le même espace de stockage pour des calculs techniques et des opérations analytiques. Un bénéfice additionnel est d’éviter le surcoût d’Hadoop en matière de protection de données. Au lieu d’utiliser HDFS, qui conserve trois copies séparées de chaque objet, ClusterStor utilise un mécanisme Raid traditionnel ou son mécanisme GridRAID, qui permet de bénéficier d’un haut niveau de protection tout en disposant de 80% de l’espace de stockage brut disponible pour le stockage. GridRAID offre selon Seagate des performances supérieures au Raid traditionnel tout en divisant par 4 la fenêtre de reconstruction de disque en cas de défaillance d’un disque.

Selon Paulhus le ClusterStor Hadoop Workflow Accelerator est une extension gratuite de ClusterStor. Dans un premier temps, il fonctionne avec la distribution open Source d’Apache, mais des intégrations renforcées sont aussi prévues pour les principales distributions commerciales. Seagate annonce aussi son intention de contribuer au développement du code du connecteur Apache Hadoop sur Lustre à la communauté open source. La société prévoit aussi de publier le code source d’un patch permettant aux processus Map et Reduce de partager des fichiers afin de rendre possible l’émergence de cluster Hadoop sans disques.

Meilleure gestion des métadonnées et support du HSM

Lors de la conférence Supercomputing 14, Seagate a aussi lancé la version 2.0 de ClusterStor Engineered Solution for Lustre, dont la grande amélioration est l’accroissement significatif des performances en gestion des métadonnées.

Le code est basé sur la version open source 2.5 de Lustre et permet aux clients d’ajouter jusqu’à 16 serveurs de métadonnées pour supporter jusqu’à 16 milliards de fichiers au sein d’un système de fichiers unique. La nouvelle mouture supporte aussi un nouveau framework de stockage hiérarchique (HSM ou hierarchical storage Management) pour permettre la gestion de migrations de données de disque à disque ou de disque vers bande.

Enfin, Seagate a profité de la conférence pour dévoiler une variante sécurisée de son appliance, le ClusterStor SDA, qui supporte plusieurs niveaux de sécurité et d’accès aux données. Selon Seagate, le produit se conforme aux spécifications Intelligence Community Directive (ICD) 503 (cf. aussi le PDF de l’ICD 503).

Le ClusterStor SDA supporte l’authentification Kerberos pour permettre le chiffrement à clé symétrique. Le produit fournit un framework pour permettre la gestion des clés de chiffrement et sécuriser le trafic entre les postes clients et le stockage. ClusterStor SDA avec Kerberos est attendu pour le mois de décembre.