Spark, un compagnon logique pour l’Internet des objets

Spark permet de manipuler différents types de données

Par exemple, son équipe examine de près le trafic réseau pour mieux prédire les différents pics et courbes à venir. Elle collabore également avec les services de Verizon dédiés au secteur de l’agriculture pour optimiser les cultures et augmenter les rendements. Les équipes s’appuient pour cela sur les données de capteurs pour connaître les plantes les plus adaptées à certains environnements et les conditions météo adéquates.

A chaque scenarii, les types de données sont multiples et Spark sait bien gérer cela. L’équipe de Verizon s’appuie aussi sur des capacités de machine learning et de streaming pour des applications à faible latence. « Avoir la capacité d’exploiter cette diversité en matière de données est très porteur de valeur », ajoute Ashok Srivastavan. «Pouvoir tirer profit de ces structures de données hétérogènes nous ouvre de nouvelles opportunités. » 

Pour Soundar Srinivasan, en charge de l’ingénierie et des services de data mining chez Robert Bosch, le principal avantages de Spark est sa capacité à s’interfacer avec une grande variété de systèmes. Robert Bosch est devenu un grand consommateur de technologies de l’IoT pour contrôler les processus de fabrication de ses produits. En assemblant des données issues des lignes d’assemblage, il peut identifier certains dysfonctionnements, comme les ralentissements, et appliquer des modifications à la chaîne. 

L’analyse prédictive pour économiser des coûts de fabrication

Dans le cadre d’une pompe hydraulique pour le marché de l’agriculture, Soundar Srinivasan et son équipe ont pu identifier des redondances dans les tests de qualité qui freinaient la mise à disposition du produit sur le marché. Ils se sont appuyés sur l’analyse prédictive pour prédire les résultats des tests. Une fois cette analyse ajustée, la ligne d’assemblage n’avait plus à passer tous les tests. Cela a réduit la chaîne de tests et la phase de calibration de 35% - et au final, fait économiser un demi-million de dollars à l’année.

« Ce que nous avons essayé de faire était d’utiliser des séries de données et leurs analyses pour accélérer la mise sur le marché, mais sans dégrader la qualité », assure-t-il.

Selon lui, Spark est une plateforme idéale pour gérer cela car son équipe s’adosse aussi à d’autres outils : Sqoop pour ingérer les données, Hive pour les stocker, R et Python pour les analyser et construire des modèles prédictifs, et Tableau pour visualiser les résultats. Spark s’insère au centre de ces composants.

Certains ne misent pas sur Spark

Malgré tout cela, Spark ne fait pas encore l’unanimité, comme moteur analytique pour l’IoT. Emil Berthelsen, analyste principal chez Machina Research, soutient par exemple que Spark peut certes être très utile pour développer une plateforme pour l’IoT. Mais selon elle, il ne s’agit pas du meilleur outil pour supporter les applications d’analyse de données pour ce secteur.

 La raison ? Emil Berthelsen affirme que ce que propose Spark en matière de traitement des données et d’analytique n’est pas suffisant pour les spécificités de l’IoT. Les outils plus traditionnels de gestion et d’analyse des données, comme celles de SAS Institute ou d’IBM par exemple, permettent de bien gérer les données structurées à des intervalles prédéfinis. Mais elles ne répondent pas bien face à des environnements changeants comme ceux de l’IoT. Pour cela, il recommande d’avantage des outils comme Splunk.