Observabilité : Datadog pousse une stratégie hybride dans un marché en mutation

Un tier de stockage supplémentaire pour les entreprises les plus réglementées

Ce tiers de stockage est associé à Flex Logs, toujours en préversion limitée. Le « Flex Tier » retient les données pendant 90 jours maximum, quand le tier « standard » sauvegarde les logs pendant 3 jours.

Les données sont stockées dans des espaces de stockage objet par Datadog. « Flex Frozen répond aux enjeux de conformité des entreprises qui doivent conserver leurs logs en cas d’audit », explique Yrieix Garnier, vice-président des produits, supervision de l’infrastructure, plateforme et data science chez Datadog. Les services financiers et d’assurance sont généralement concernés par ce type d’exigence.

 « Il y a une particularité avec Frozen Flex : le client paye à la requête puisqu’il n’y a plus besoin de pool de calcul. Nous pensons que les interrogations seront si rares que nous avons adapté la stack technique et le prix en conséquence. »

Pour rechercher les données dans ces espaces de stockage à long terme gérés par Datadog ou dans des buckets tiers type Amazon S3, l’éditeur a présenté Archive Search. L’outil, accessible en préversion, remonte les informations sans nécessité de réhydrater les données. Auparavant, il fallait faire transiter de la couche de stockage à froid à une autre « à chaud » avant d’accéder aux informations. Archive Search n’offre pas des résultats instantanés, mais permet d’obtenir une prévisualisation des logs, des messages qu’ils contiennent, des horodatages, des labels et des attributs associés.

Et Hugo Kaczmarek, directeur de la gestion produit chez Datadog, de préciser qu’avec Flex Logs, Datadog a découplé techniquement et financièrement le stockage des requêtes. « Avec Flex Logs, le client achète un pool de requêtes. De notre côté, nous allouons la capacité de calcul nécessaire pour exécuter ces recherches », indique-t-il. « Il y a une particularité avec Frozen Flex : le client paye à la requête puisqu’il n’y a plus besoin de pool de calcul. Nous pensons que les interrogations seront si rares que nous avons adapté la stack technique et le prix en conséquence ».

Plusieurs pools de calcul sont disponibles en fonction du volume de logs à traiter et de requêtes à exécuter, précise Yrieix Garnier. « Le coût n’est pas forcément linéaire », assure-t-il.

Datadog en mode cloud hybride : CloudPrem débarque en disponibilité limitée

En outre, Datadog a dévoilé la préversion de CloudPrem, la fonctionnalité hybride issue du rachat de Quickwit en février dernier. Ici, l’objectif est de stocker les données au sein de l’infrastructure du client, sur site ou dans le cloud, et de les interroger depuis l’interface de la suite d’observabilité.

La technologie de Quickwit sépare elle aussi le calcul du stockage (l’indexation et la recherche du stockage), mais ces deux éléments restent à la main du client. L’agent Datadog envoie les logs aux « indexeurs » chargés d’indexer les données et de les stocker dans des espaces de stockage objet compatible avec le protocole S3. Un control plane est chargé de planifier les jobs d’indexation. 

Un metastore basé sur PostgreSQL sert à enregistrer des métadonnées sur les index et la localisation des fichiers de logs (splits) au sein des buckets. Les « chercheurs » sont des composants qui reçoivent les requêtes en provenance de l’interface de Datadog. Ils s’occupent ensuite de lire les métadonnées stockées au sein de la base Postgres et recherchent les données dans l’espace de stockage objet. Enfin, le « concierge » se charge des tâches de maintenance, de nettoyage des requêtes, d’application des politiques de rétention, etc.

Les indexeurs, le control plane, le concierge, les chercheurs sont déployés sur Kubernetes. Pour l’instant, Datadog ne prend en charge le déploiement de CloudPrem que sur AWS, dans les environnements gérés par les clients. Plus tard, Datadog entend bien rétablir le stockage des données dans d’autres environnements cloud, dont Azure, et sur site à travers MinIO et d’autres. Pour le moment, la plateforme de Datadog est promise à devenir le « control plane » du « data plane » CloudPrem.

Convertir les requêtes SplunkQL dans le DSL de Datadog

Cette hybridation, somme toute récente pour le pure-player du cloud s’accompagne de la volonté d’attirer un plus grand nombre de clients. Pour ce faire, l’éditeur entend proposer une fonction « Bring Your Own Query ». Et pas n’importe quelle requête : celle en provenance de Splunk. « Nous intégrerons les requêtes issues de Splunk et nous les convertirons pour notre plateforme », décrit Yrieix Garnier. Datadog n’est pas le premier à proposer une telle fonctionnalité. Elastic n’a pas caché sa volonté de prendre des parts de marché à l’acteur historique racheté par Cisco.

« Aujourd’hui, les clients expriment des attentes claires : ils recherchent un partenaire de long terme avec lequel ils peuvent s’engager en toute confiance », poursuit-il. « Cependant, certaines acquisitions récentes suscitent des doutes chez eux ». En clair, le rachat de Splunk par Cisco suscite des interrogations auxquelles les concurrents veulent avoir une réponse rassurante.

« Nous observons une augmentation des demandes, et il devient pertinent de souligner que la transition est désormais grandement simplifiée dans ce contexte », assure Yrieix Garnier. Un aspect « étroitement lié à CloudPrem », selon le dirigeant. Certains clients de Splunk ont en effet maintenu des déploiements on-premise pour des raisons réglementaires et de confidentialité.

Elastic a déjà une réponse à ces enjeux. Datadog devait s’adapter. Il lui reste à confirmer ses intentions. Ce sera sûrement chose faite au moment de la disponibilité générale de CloudPrem, de Bring Your Own Query et de Flex Logs.

Anticiper les mouvements des clients

Selon les propos d’Olivier Pomel, cofondateur et CEO de Datadog, lors de la présentation des résultats financiers de l’entreprise en mai dernier, il s’agit de répondre à deux tendances de fond.

« Il y a le souhait des clients de gérer leurs propres infrastructures, qu’il s’agisse de clouds ou d’une version sur site d’un cloud. Nous pensons qu’il existe clairement un avenir où cela deviendra plus important. »

« D’une part […], certains clients disposent de nombreuses charges de travail importantes sur site qui ne sont pas près de disparaître », note le dirigeant. « Nous avons de nouvelles offres qui ciblent spécifiquement ce besoin. Ainsi, nous sommes en mesure de couvrir, depuis le cloud, les charges de travail sur site de manière rentable pour eux, tout en leur permettant de les utiliser en complément de la surveillance de leur propre environnement cloud ».

D’autre part, poursuit-il, « il y a le souhait des clients de gérer leurs propres infrastructures, qu’il s’agisse de clouds ou d’une version sur site d’un cloud. Nous pensons qu’il existe clairement un avenir où cela deviendra plus important, notamment si une séparation géopolitique accrue se manifeste entre différentes régions du monde », déclare-t-il. « Philosophiquement, nous suivons les besoins des clients, où qu’ils souhaitent nous voir intervenir. Si c’est ainsi qu’ils veulent consommer des logiciels à terme, c’est de cette manière que nous les leur fournirons ».

Le volume de demande des clients pour des offres hybrides ou on-prem dictera la feuille de route en la matière. « Pour nous, cela pourrait représenter une grande opportunité à l’avenir », conclut-il.