Drill : un projet Apache pour accélérer les requêtes Hadoop

Un groupe de spécialistes du développement Big Data, emmené par MapR, l'un des acteurs principaux du monde Hadoop, a soumis à l’incubateur de la fondation Apache le projet Drill.

Un groupe de spécialistes du développement Big Data, emmené par MapR, l'un des acteurs principaux du monde Hadoop, a soumis à l’incubateur de la fondation Apache le projet Drill. Ce projet vise à accélérer les résultats de requêtes passées sur Hadoop, indique Tomer Shiran, un responsable de MapR, chez nos confrères de eWeek.
Ce projet, initialement développé par la société pour ses besoins, s’inspire du projet Dremel de Google, qui permet notamment à la firme de Mountain View d’opérer des analyses fines sur de grands volumes de données dans Hadoop. Le groupe s’en servirait notamment pour analyser les documents Web de son moteur, le spam, les installations des applications Android depuis son magasin applicatif, affirment nos confrères.
Reste que Dremel n’est pas Open Source. L’objectif de Drill est donc de proposer un composant équivalent en mode Open Source afin d’en étendre les capacités de développement et d’intégration.
Selon Tomer Shiran, Drill serait capable de retourner une requête Hadoop en une seconde. La technologie repose sur le principe d’analyse interactive, censée être plus rapide, alors qu’Hadoop réalise du batch-processing sur de grands jeux de données.

La page du projet Drill


Pour approfondir sur Open Source

Close