En intégrant Quickwit, Datadog veut lancer une solution « cloud-prem »

Suivre l’évolution du « monde on-premise »

Outre le fait d’attirer les clients vers le cloud, Datadog espère étendre la supervision d’infrastructure sur site depuis la plateforme d’observabilité.

« Le monde on-premise évolue, mais il ne disparaît pas. Je ne sais pas si cela restera vrai dans dix ans, mais il y a certains clients qui, effectivement, veulent ramener des données on premise. »

D’après Yrieix Garnier, vice-président produit chez Datadog, certains clients souhaitent également « gérer des logs dans le cloud, mais pouvoir les conserver on premise ». « Le monde on-premise évolue, mais il ne disparaît pas. Je ne sais pas si cela restera vrai dans dix ans, mais il y a certains clients qui, effectivement, veulent ramener des données on premise », ajoute-t-il.

De fait, l’ingestion et le stockage de logs en cloud coûtent cher. « Je ne sais pas réellement si c’est une réalité, mais certains clients pensent que stocker les données sur site, à l’aide de technologies compatibles S3 coûte moins cher », avance Yrieix Garnier. À cela s’ajoutent les normes liées à la résidentialité des données, dont la réglementation DORA.

Selon le vice-président produit, pour répondre à cet enjeu, l’éditeur étend déjà la disponibilité de sa plateforme sur différentes régions cloud. « Nous sommes présents dans une région aux États-Unis (Virginie du Nord, us-east-1), ainsi que sur une instance Gov Cloud, au Japon et en Allemagne à travers la région Francfort d’AWS », précise-t-il. « Nous accélérons notre feuille de route en 2025 afin de déployer notre plateforme sur davantage de datacenters cloud ». Et de préciser que la « réglementation actuelle n’empêche pas ses clients d’utiliser Datadog », d’autant que l’éditeur a mis en place différents mécanismes pour anonymiser les données sensibles dans les logs.  

Néanmoins, certains clients espèrent conserver localement des logs considérés comme sensibles. Aussi, l’éditeur a récemment lancé une offre consacrée à la supervision des infrastructures Oracle Cloud. Les instances OCI sont par nature hybrides, mais ici, Datadog ingère l’ensemble des logs sur sa plateforme, sur AWS donc.

Il y a toutefois un ingrédient supplémentaire dans la besace de l’éditeur qui devrait lui permettre de mieux répondre aux demandes de ses clients. En janvier, il a annoncé l’acquisition de Quickwit, une entreprise fondée à San Francisco par des Français.

Quickwit, la brique qui manquait à Datadog pour s’étendre sur site

Datadog justifie immédiatement ce rachat par la nécessité pour les entreprises régulées de disposer d’une visibilité complète sur des systèmes à la fois cloud et sur site.

« Quickwit est un moteur de recherche de logs open source et cloud-native, conçu pour répondre aux défis d’échelle, de coût et de vitesse liés à l’augmentation des volumes de logs », indique Datadog. « Les entreprises peuvent facilement déployer et gérer Quickwit dans leur propre environnement, que ce soit dans le cloud ou dans des centres de données sur site, ce qui leur permet d’être pleinement propriétaires de leurs logs ».

Quickwit est un moteur distribué rapide écrit en Rust capable d’interroger des « données brutes » dans des espaces de stockage objet compatible S3. Cela comprend MiniO, Ceph et les déclinaisons des services comparables à S3 chez les fournisseurs cloud. Il est bâti sur un socle appelé Tantivy, un moteur « full text search » inspiré par Apache Lucene, lui aussi écrit en Rust par la startup.

L’éditeur éponyme en a principalement fait une solution de gestion de logs et de traces distribuées. Elle indexait des données en provenance d’Opentelemetry, de la stack Elastic et de Datadog, entre autres dans le but de pousser les clients à la migration vers sa plateforme. La distribution Entreprise de Quickwit affichait une tarification agressive. Un client, l’opérateur de la plateforme d’échange de cryptomonnaies Binance l’utilisait même pour gérer 100 pétaoctets de données.

« Le rachat de Quickwit vise à répondre à ce cas d’usage de “Cloud Prem” qui rassemble les notions de confidentialité, de coûts et de surveillance des infrastructures dans le cloud et sur site », résume Yrieix Garnier.

Datadog ne prétend pas lancer une distribution on premise de la solution. « Nous avons toujours cette logique d’intégrer les technologies acquises dans notre plateforme », rappelle Yrieix Garnier. Une approche inspirée de celle de ServiceNow, selon les propos d’Olivier Pomel auprès du MagIT.

En toute logique, la plateforme Datadog sera le control plane au-dessus de data planes – d’agents et d’espaces de stockage – déployés sur site. Une solution qui, en toute logique, devrait être commercialisée dans moins de deux ans.

De son côté, l’équipe de Quickwit – estimant qu’elle ne pourra pas continuer le développement de la version open source de sa plateforme (en tout cas pas dans l’immédiat) – a proposé en janvier de lancer une mise à jour majeure de Quickwit et Tantivy, respectivement sous licence Apache 2.0 et MIT. Celle-ci ne semble pas encore disponible.