Hortonworks muscle ses capacités d’automatisation de flux

Des passerelles vers Kafka et Spark

A l’origine pensé pour faire l’acquisition de données issues de capteurs, NiFi s’est transformé en une solution d’entreprise capable de prendre en compte un volume important de flux de données, de façon bi-directionnelle et surtout, quel que soit la technologie, le format et le standard des données et des capteurs au départ et en bout de chaîne.  Selon Onyara, NiFi propose également de fonctions de sécurité et de gouvernance avancées de la donnée, ainsi qu’une interface HTML5 qui permet d’en faciliter la manipulation. On peut par exemple considérer que NiFi sert de ciment entre d’autres projets emblématiques de la sphère analytique et traitement de flux en temps réel. Des passerelles d’intégration ont été développées, ou sont en cours, pour relier NiFi à Spark, Storm, Kafka, Flume et Sqoop, et évidemment Hadoop, confie également la société, toujours sur son blog.

Si Hortonworks compte faire évoluer ce produit distinctement, la société présente logiquement DataFlow et NiFi comme un complément à son Hadoop Data Platform (HDP). Celle-ci se verra doter ainsi d’une capacité d’intégration massive de flux, comme l’imposent les réseaux de capteurs et plus globalement l’Internet des objets – Internet of Anything, comme l’indique Scott Gnau, ex- Teradata, aujourd’hui CTO d’Hortonworks. DataFlow permettra de collecter, de conduire et d’administrer les données de l’Internet des objets, résume-t-il. Depuis DataFlow, les données et les métadonnées pourront être stockées dans HDP,  traitées, puis renvoyées vers DataFlow pour apporter davantage d’éléments de contexte, décrit Hortonworks.

Onyara de son côté, compte bien profiter des capacités commerciales et marketing d’Hortonworks pour faire avancer la technologie, et au final, donner un élan supplémentaire au projet Open Source et à sa communauté.