Narong Jongsirikul - Fotolia

RTE veut optimiser l'exploitation de ses lignes électriques avec la suite Elastic X-Pack

Afin d'optimiser l'exploitation du réseau électrique, RTE doit équilibrer au plus juste la production électrique à la demande et anticiper finement le comportement physique de ses lignes en fonction de la météo.

En charge du transport de l'électricité en France, RTE gère 52 662 km de lignes aériennes et 4098 km de lignes enterrées sur tout le territoire. L'enjeu pour les dispatcheurs de RTE est d'assurer à tout moment l'équilibre entre la production et la consommation. L'objectif est d'exploiter de la manière la plus optimale possible ce réseau afin d'éviter une surproduction coûteuse ou les ruptures de charge dans les régions les moins bien maillées de ce réseau.

RTE mise notamment sur une stratégie "Data" pour améliorer ses performances. Comme toutes les grandes entreprises, RTE s'est engagé dans une transition numérique avec une démarche vers le Smart Grid (les réseaux intelligents) et la mise en place d'une stratégie Big Data.

Akli Rahmoun, Ingénieur Solutions Big Data chez RTE explique sa priorité : « Nous devions avant tout faciliter la circulation des données dans un SI qui s'est construit au fil des années de façon cloisonnées avec une organisation où les métiers sont propriétaires des données de leur domaine et peine à circuler ».

Outre le déploiement d'un Data Lake sur une distribution Cloudera d'Hadoop, les équipes Big Data ont évalué diverses offres Open Source afin d'apporter des réponses à des besoins métiers qui n'étaient pas couverts jusqu'à présent. C'est ainsi que l'ingénieur s'est intéressé à Elasticsearch, non pas pour collecter de la donnée log de serveurs, mais pour travailler sur les données de prévision de Météo France.

« Nous devons exploiter plus finement la marge dont on dispose lorsqu'on exploite une ligne électrique. Pour le faire, la donnée météo est l'un des entrants de nos modèles de calcul. C'est une information avec laquelle nous travaillons depuis longtemps, mais de façon limitée car nous ne pouvions ingérer de la donnée aussi massivement que ce que les technologies Big Data permettent de faire aujourd'hui. »

Ce que les transporteurs d'énergie appellent la marge correspond à la hauteur jusqu'où le point le plus bas de la ligne d'une portée peut descendre en toute sécurité. Ce point, la flèche, évolue en fonction de la température et de la météo, mais aussi de l'intensité du courant qui traverse la ligne. Plus la ligne est sollicitée, plus elle chauffe, s'allonge et la flèche se rapproche du sol. Une hauteur minimale est imposée car en dessous des arcs électriques extrêmement dangereux pour les personnes et les biens peuvent se former.

Pour alimenter le modèle mathématique qui permet de calculer la flèche, le DLR (Dynamic Line Rating), RTE utilise les données d'observation des 37 stations de Météo France. « Nous voulions passer aujourd'hui à un maillage du territoire en carrés de 1,3 km2. C'est donc un vrai changement d'échelle pour nous puisque ce sont des millions de mesures que nous devons intégrer. »

Pour assurer ce changement d'échelle, plutôt que d'exploiter le Data Lake Hadoop, Akli Rahmoun a préféré mettre en place un poc (proof of concept) avec la suite de composants X-Pack d'Elastic.

« Hadoop répond à de nombreux cas d'usage, mais ne résout pas toutes les problématiques Big Data », estime l'ingénieur. « Dans certains cas, cette technologie n'est pas adaptée et c'est pour cela que nous voulons élargir notre champ de vision pour trouver les solutions les plus adaptées à notre objectif de rendre la donnée le plus accessible possible en interne. L'atout premier d'Elasticsearch était de raccourcir le temps d'accès à la donnée, entre le moment où la donnée est mise à disposition par Météo France et le moment où elle est à disposition des analystes et de leurs modèles. Ce temps est de l'ordre de quelques secondes. Il ne s'agit plus de batch comme c'est courant sur Hadoop ».

Kafka en début de chaîne d'intégration de la donnée

D'un point de vue technique, les données mises en ligne sur le portail Open Data de Météo France sont dans un format courant dans le domaine météorologique, le GRIB2, un format de fichier compressé qui est utilisé pour les échanges entre les instituts météorologique dans le monde.

« Elasticsearch nous facilite l'accès à cette donnée en nous cachant la complexité de cette conversion de ce format GRIB2 - qui est très particulier et réservé à l'origine au monde des météorologistes ( à un format JSON beaucoup plus standard dans le monde Big Data et qui nous permet de consommer cette donnée de manière beaucoup plus large ».

Le modèle de prévision de Météo France livre ses informations cinq fois par jour. En amont de la chaîne d'intégration, Kafka joue le rôle de buffer entre les phases d'acquisition et de transformation des données réalisée par Logstash. « Kafka assure la stabilité de la chaine d'acquisition, car si le producteur ou le consommateur de la donnée tombe, Kafka joue le rôle de tampon et permet de reprendre le traitement au bon endroit. Sur ce plan, Kafka résout pour nous de nombreux problèmes techniques potentiels sur cette chaîne » explique Akli Rahmoun.

Derrière Kafka, un pipeline relativement classique a été mis en place entre Logstash et Elastic Search, Logstash consommant les données envoyées par Kafka et les met en forme en JSON selon le mapping prédéfini afin que celles-ci soient indexées par Elastic Search.

Pour l'instant le projet n'en est encore qu'au stade du PoC. Il ne requiert que 5 VM relativement classiques en termes de dimensionnement. Cette architecture est portée par le Cloud interne de RTE mais l'ingénieur estime que celle-ci est totalement portable et reproductible sur un Cloud public sans difficulté.

Elasticsearch permet nativement le croisement de données géographiques

Ce cas d'usage chez RTE met en exergue les capacités d'Elasticsearch quant au traitement des données géographiques.

Akli Rahmoun explique : « trois informations nous intéressent dans ces données météo : d'une part la date et l'heure qui est l'unité de temps la plus fine dans les données délivrées par Météo France, la géolocalisation puis la variable météo qui peut être la température, la vitesse du vent, le rayonnement solaire, la pluviométrie, etc. »

En parallèle, la géolocalisation de l'ensemble du réseau RTE a été indexée dans Elasticsearch, ce qui permet de croiser ces données géographiques très simplement afin de connaître la température, la pluviométrie et la vitesse de vent attendus sur une ligne électrique ou un poste de haute tension précis. « L'informations est immédiatement disponible sans qu'il soit nécessaire d'écrire une requête complexe. Ces calculs d'intersection entre données météo et données réseau sont réalisés par Elasticsearch. Ils simplifient énormément l'accessibilité à ces données. C'est l'information que recherchent très directement nos utilisateurs métier ».

Cette chaine d'intégration de données rapide permet à RTE d'imaginer de nouveaux scénarios d'utilisation de cette donnée météo en mode temps réel.

« Une fois les modèles établis dans un langage quelconque, l'idée est de déployer ces modèles dans des scénarios d'exploitation du réseau en temps réel. En fonction des données météo, de la situation du réseau et de l'état de la production et de la consommation, le but est de prédire le meilleur choix à faire en fonction des contraintes qui se présentent à l'instant T. »

Et si le transporteur d'énergie n'imagine pas encore le pilotage de ses infrastructures en temps réel par des algorithmes, ces modèles pourraient être une aide précieuse aux dispatcheurs afin de prendre des décisions beaucoup plus précise que ce qu'ils peuvent faire actuellement. « C'est ce qui leur permettra d'optimiser l'utilisation du réseau sans mettre en péril la sureté du réseau, des biens et des personnes. »

La brique Machine Learning du X-Pack d'Elastic permettra elle de mieux anticiper les évolutions de l'état des lignes : « Nous pourrons réactualiser le calcul de la marge sur chacune des portées d'une ligne et lever des alertes de manière anticipée lorsqu'on constatera des dérives sur une ligne et prédire le risque d'engagement de la marge. Nous pourrons attirer l'attention du dispatcheur sur ces endroits où le risque est élevé si les conditions météo se maintiennent. »

Le PoC a permis de démontrer la facilité avec laquelle on peut croiser des données géographiques et météorologiques avec Elasticsearch. L'équipe Big Data de RTE travaille actuellement sur cette plateforme de traitement de données temps réel pour un déploiement prévu pour le début de l'année 2018. Toutefois, les premiers cas d'usages seront dans un premier temps relativement classiques sur Elasticsearch, à savoir la centralisation de logs, et des tableaux de bord Kibana pour naviguer dans les données.

Pour approfondir sur Outils décisionnels et analytiques

Close