PRO+ Contenu Premium/STORAGE

Merci pour votre inscription !
Accédez au contenu Pro+ ci-dessous.
Juin 2018

S3 : une option de stockage de plus en plus utilisée pour Hadoop

Depuis sa création, Hadoop s’est imposé comme le framework de référence pour l’analyse de données en volume. Le problème est qu’avant d’analyser des données, il a longtemps été nécessaire de les charger dans le cluster Hadoop sur le système de fichiers HDFS. Or, ce dernier n’est ni le moyen le plus efficace, ni le plus simple, ni le plus économique pour stocker de grands volumes de données. Le problème est que pour alimenter les algorithmes de plus en plus sophistiqués élaborés par les datascientists, il faut de plus en plus de données. Et ces données résident de plus en plus dans des systèmes de stockage objet : ils ont en effet le double mérite d’offrir une performance satisfaisante tout en ayant un très faible coût au gigaoctet. Ils sont aussi le support de stockage de choix d’une large partie des applications web de nouvelle génération. Très vite, l’idée est donc apparue d’ajouter le support du protocole S3 à Hadoop afin de permettre au framework d’accéder nativement à des données stockées dans un stockage compatible S3. Ce ...

A lire Dans ce numéro

  • Les offres de stockage en cloud des acteurs français

    par  Christophe Bardy

    Il n’y a pas qu’Amazon AWS, Microsoft Azure ou Google Cloud dans la vie. Plusieurs acteurs hexagonaux du cloud ont développé des services de stockage alternatifs qui sont des alternatives possibles aux services proposés par les géants mondiaux. Et ils ont l’avantage de ne pas être soumis aux réglementations américaines intrusives telles que le Patriot Act ou le Cloud Act.

  • Quel stockage pour Hadoop ?

    par  Christophe Bardy

    HDFS, le système de gestion de fichiers distribué d’Hadoop, a considérablement évolué depuis les débuts du framework analytique. Ce qui n’empêche pas certains de lui chercher des alternatives.

  • S3 : une option de stockage de plus en plus utilisée pour Hadoop

    par  Christophe Bardy

    Au cours des dernières années, le support du protocole S3 par Hadoop s’est considérablement enrichi. Au point que de nombreux utilisateurs effectuent aujourd’hui directement des requêtes sur des données stockées dans des systèmes de stockage objet, là où auparavant, ils les auraient importées dans HDFS.

- ANNONCES GOOGLE

Close