PRO+ Contenu Premium/STORAGE

Merci pour votre inscription !
Accédez au contenu Pro+ ci-dessous.
Juin 2018

Quel stockage pour Hadoop ?

Au cœur du framework open source se trouve avant tout un système de fichiers en cluster, baptisé HDFS (Hadoop Distributed File System). HDFS a été conçu pour stocker de très gros volumes de données sur un grand nombre de machines équipées de disques durs banalisés. À l’origine, HDFS a été conçu dans une logique de type « write once, read many », bien adaptée à la logique des traitements en mode batch de MapReduce, le framework initial d’analyse de données d’Hadoop. S’appuyant sur le stockage local de chacun des nœuds, les premières moutures d’HDFS assuraient la sécurité des données en répliquant l’ensemble des données écrites sur le cluster. Par défaut, chaque donnée était écrite sur trois nœuds différents (dont une copie sur le nœud local). Cette approche n’était à l’évidence ni la plus élégante, ni la plus efficace en matière de redondance – d’autant que la première mouture de HDFS n’opérait qu’avec un « namenode » unique, véritable faille dans l’architecture de gestion des métadonnées du cluster. Mais étant donné que l’on s’...

A lire Dans ce numéro

  • Les offres de stockage en cloud des acteurs français

    par  Christophe Bardy

    Il n’y a pas qu’Amazon AWS, Microsoft Azure ou Google Cloud dans la vie. Plusieurs acteurs hexagonaux du cloud ont développé des services de stockage alternatifs qui sont des alternatives possibles aux services proposés par les géants mondiaux. Et ils ont l’avantage de ne pas être soumis aux réglementations américaines intrusives telles que le Patriot Act ou le Cloud Act.

  • Quel stockage pour Hadoop ?

    par  Christophe Bardy

    HDFS, le système de gestion de fichiers distribué d’Hadoop, a considérablement évolué depuis les débuts du framework analytique. Ce qui n’empêche pas certains de lui chercher des alternatives.

  • S3 : une option de stockage de plus en plus utilisée pour Hadoop

    par  Christophe Bardy

    Au cours des dernières années, le support du protocole S3 par Hadoop s’est considérablement enrichi. Au point que de nombreux utilisateurs effectuent aujourd’hui directement des requêtes sur des données stockées dans des systèmes de stockage objet, là où auparavant, ils les auraient importées dans HDFS.

- ANNONCES GOOGLE

Close