Observabilité : comment le machine learning fait évoluer les outils

Introduction

La surveillance IT est en pleine évolution. À les entendre, les éditeurs voient, eux, une transformation, une révolution même. Cette évolution touche l’ensemble des maillons de la chaîne de surveillance, de la capacité à suivre les logs, les métriques, et les traces. L’on est passé du monitoring de composants matériels ou logiciels à la recherche d’un idéal basé sur l’observabilité.

Il ne s’agit plus seulement de stocker des logs et de les analyser, mais de les corréler pour obtenir une vision d’ensemble d’un système. Seulement une fois obtenue cette vision d’ensemble, les ingénieurs et les SRE ne peuvent humainement pas surveiller et contrôler l’ensemble des éléments d’une architecture, surtout quand celles-ci reposent sur de plus en plus de microservices et autres containers.

C’est là qu’intervient Gartner en 2017 en définissant l’AIOps, l’intelligence artificielle pour les observations informatiques. Justement l’AIOps doit amener d’abord une amélioration de l’observabilité et du monitoring, puis proposer de la remédiation automatisée. Joli programme, vaste programme.

Cette utilisation du machine learning et du deep learning appliquée à l’observabilité, les éditeurs l’embrassent plutôt deux fois qu’une. IBM, New Relic, Dynatrace, PagerDuty, MoogSoft, Splunk, ServiceNow, DataDog, Microsoft, OpsRamp… Il en devient difficile de tenir le compte des acteurs engagés sur ce marché. Ils convergent tous vers un objectif commun : centraliser la surveillance et la réparation des systèmes des entreprises.

Sur le papier, c’est un contrat gagnant-gagnant pour l’éditeur et son client. L’éditeur propose une plateforme unique qui gère l’ingestion, le stockage, la corrélation, l’analyse des données (traces, métriques, logs), la gestion des alertes, jusqu’à l’autoremédiation. Pour le client, ce serait l’occasion de faire une croix sur la complexité de gestion de nombreux outils. Ceux-ci sont dédiés à certaines données (ou métadonnées) issues de sous-systèmes, de ressources matérielles, de monolithes et de microservices dans des containers – parfois fraîchement déployés. 

Mais surtout, les techniques algorithmiques doivent apporter une meilleure compréhension des systèmes et des recommandations pour régler les problèmes IT. Il s’agit par exemple de déduire du comportement anormal d’une machine virtuelle, le composant ou le bout de code fautif. Les outils doivent alors s’appuyer sur un historique de données afin de détecter les principales anomalies, si possible les moyens employés pour les réparer, pour ensuite – au moment d’envoyer l’alerte – de construire un rapport concis donnant les raisons du problème à l’équipe SRE.

Chercher l’erreur, un processus souvent long, ne serait plus un problème. Ces outils proposent de plus en plus une analyse automatisée de la cause profonde d’un problème IT. C’est-à-dire qu’ils corrèlent les erreurs issues des logs, des métriques et des traces pour réduire le bruit des alertes et les envoient possiblement aux responsables du sujet.

Par exemple, le responsable d’exploitation de la compagnie d’assurance Stelliant affirme être passé de 300 alertes par jour avec Nagios à une vingtaine avec la solution AIOps de Dynatrace. Il assure également qu’il a non seulement réduit le nombre d’outils nécessaires à la surveillance des systèmes, mais aussi réunit les équipes autour d’un socle de connaissances commun – une véritable observabilité – leur permettant de collaborer de manière effective.

Avec la remédiation automatisée, les éditeurs veulent aller plus loin. Il s’agit tout simplement de réparer les problèmes IT sans intervention humaine ; ce que certains ont appelé NoOps. Et c’est là que pointent les limites des outils. Certains clients qui s’y sont essayés pour les tâches les moins critiques en production constatent encore un certain manque d’efficacité. D’autres voient la réticence des membres des équipes qui craignent à terme de perdre leur emploi, remplacé par scripts.

Enfin ce renouveau de l’observabilité et du monitoring ne règle pas tous les « vieux » problèmes de la surveillance IT. Le stockage des données dont les volumes explosent en même temps que leurs coûts, la gestion des outils existants et le besoin permanent de connecteurs aux différents systèmes sont quelques-uns des sujets sources d’angoisse pour les entreprises et leurs SRE.

Ce sont l’ensemble de ces points que nous tentons d’illustrer dans ce guide essentiel loin d’être exhaustif. Nous observons l’évolution du marché de l’observabilité à l’aune de la tendance de l’AIOps, les fonctionnalités des outils, équipés ou non de fonctionnalités « intelligentes », les usages des entreprises et les difficultés qu’elles rencontrent actuellement.

1Un marché en pleine expansion-

L’AiOps, une nouvelle ère ?

2Mode d’emploi-

Les fonctionnalités des outils d’observabilité

3Réalité-

Comment les entreprises surveillent leurs systèmes

4Défis-

Les difficultés rencontrées par les entreprises

5Glossaire-

Quelques définitions