Myriad : un projet pour marier Apache Mesos et YARN
Afin de faciliter la gestion de grands clusters Hadoop, MapR et Mesosphere ont lancé le projet Myriad qui vise à permettre le dimensionnement automatique d'un cluster Hadoop sur Mesos.
L’éditeur de distributions Hadoop MapR et la start-up Mesosphere, spécialisée dans l’automatisation de datacenters, Mesosphere se sont alliés pour créer la technologie Myriad, dont l’objectif est de simplifier l’administration des clusters Hadoop en s’appuyant sur la technologie de gestion de cluster Apache Mesos. Mesos est au cœur du datacenter OS de Mesosphere et est utilisé par des géants comme AirBnB, eBay, NetFlix, Paypal, Twitter ou Viadeo pour gérer des clusters à grande échelle.
Interfacer les fonctions de gestion de cluster de Mesos avec le job scheduler YARN
L’idée de Myriad est séduisante. Il s’agit de laisser au scheduler d’Hadoop, YARN, la gestion des jobs Hadoop et de confier à Mesos l’allocation automatique de ressources à YARN. En combinant les deux technologies, le but est de mutualiser les ressources d’un cluster générique entre des applications différentes (Hadoop, OpenStack, …), mais aussi de permettre le redimensionnement et la réallocation dynamique de ressources aux différentes applications du cluster.
Myriad est un framework qui se déploie sur Mesos et bien qu’en phase précoce de développement, il est aujourd’hui en test chez eBay et Twitter et des travaux sont en cours pour en faire un projet au sein de l’incubateur Apache. En attendant le code de Myriad est téléchargeable sur GitHub
Pour approfondir sur Administration et supervision du Cloud
-
![]()
Gestion de containers : quelle solution choisir (1)
Par: Tom Nolle
-
![]()
Désormais disponible, Hadoop 3.0 se rapproche des entreprises
Par: Cyrille Chausson
-
![]()
L’essentiel sur Hortonworks Data Platform
Par: Abie Reifer
-
![]()
HPE conforte son alliance avec Mesosphere autour des infrastructures composables
Par: Christophe Bardy
