Syncsort relie les mainframes IBM à Spark

Syncsort a décidé de poursuivre sa croisade : relier le monde historique et legacy des mainframes avec le monde résolument moderne du Big Data et des applications associées. Le spécialiste des gros systèmes et de l’intégration a annoncé avoir développé un connecteur Open Source reliant les mainframes Systems Z d’IBM à la dernière coqueluche du traitement des données : Spark.

Gross modo, ce connecteur permet de décharger les données du mainframe vers Spark afin que celles-ci puissent d’abord bénéficier des capacités analytiques de la solution – traitements en temps réel des flux de données, accélération des traitements via le In-Memory et Machine Learning –, mais également qu’elles se retrouvent désormais associer à l’équation analytique et décisionnelle de l’entreprise.

Les mainframes sont encore légion dans les secteurs très critiques de la banque et des services financiers par exemple. S’ils disposent certes de technologies legacy peu souples, ils doivent aussi assurer une transition de leur modèle vers le numérique et avoir recours à des technologies modernes pour mettre en place de nouveaux services. Les banques exploitent finement l’analytique et le traitement des données en temps réel des données dans le cadre de la détection de fraudes par exemple. Autre cas d’usage, préparer ses gros systèmes à la secousse promise en matière de volumétrie des données apportées par le très tendance Internet des objets et réseau de capteurs.

Connecter les mainframes IBM à Spark adresse logiquement ces cas d’usage. Dans le détail, cette contribution sera versée dans la communauté Spark par le biais de la société Databricks, premier contributeur et fondateur de Spark. Le connecteur de Syncsort sera accessible via le programme Spark Packages, un dépôt central d’add-on à Spark qui vient augmenter la solution.

Le connecteur permet donc d’opérer des analyses temps réel sur des données des mainframes IBM. La technologie automatise le transfert des jeux de données des gros systèmes vers Spark, et ce dans le modèle de données (DataFrame) de ce dernier. Syncsort confirme que ce transfert est sécurisé. L’utilisateur doit juste indiquer l’emplacement des jeux de données et des meta-données COBOL. Au final - et c’est un point clé -, l’utilisateur peut associer ces données à d’autres – l’un des intérêts du Big Data - et effectuer des requêtes SQL via Spark SQL. De plus, les capacités In-Memory de Spark permettent d’interroger les données du mainframe sans avoir à  les  offloader. Accélérant ainsi  leur traitement. Selon Syncsort, le connecteur est conforme aux spécifications Data Source API de Spark.