Chez Databricks, l’ontologie n’est pas si automatique

Un futur agent autonome

Cette fonctionnalité concerne pour l’instant des tâches simples. « Il peut prendre en charge des tâches quotidiennes, comme la gestion des e-mails, de Slack et la préparation des réunions », décrit Databricks dans une FAQ. « Il peut assumer des responsabilités plus importantes, telles que le suivi des prévisions trimestrielles, l’analyse des habitudes d’utilisation des clients, le suivi des tendances en matière de chiffre d’affaires ou l’analyse des réponses aux enquêtes menées auprès des employés », poursuit-il.

Pour ce faire, Genie lancera ses propres sous-agents, en exécutant des tâches à heures fixe ou à la demande de l’utilisateur. Il pourra envoyer des courriels d’alerte et permettra de gérer des tâches jugées prioritaires. Au besoin, une nouvelle information pourra déclencher l’exécution d’un job et demander la validation d’un humain, au besoin.

Cette fonctionnalité n’est en réalité pas encore disponible : le concurrent de Snowflake promet une préversion « bientôt ».

La seule grande différence par rapport à un outil agentique bâti avec les outils de Microsoft, AWS et Anthropic, c’est l’intégration par défaut de Genie avec Unity Catalog, la couche de gouvernance de la plateforme de Databricks, et Unity Gateway, sa passerelle IA, consacré au contrôle des coûts et de la sécurité. Et avec Unity Catalog vient Genie Ontology, l’ontologie semi-automatisée de l’éditeur.

« Genie Always-On fera parler de lui, mais son efficacité dépend entièrement de la compréhension qu’il a du métier de l’entreprise », déclare Sanjeev Mohan, analyste indépendant du cabinet SanjMo, auprès de TechTarget. « On le sait désormais : les agents échouent moins par la faute de modèles défaillants que par manque de contexte ».

Genie Ontology intègre aussi (et surtout ?) le contexte façonné à la main

Et c’est justement pourquoi la disponibilité générale de Genie Ontology est l’annonce la plus importante faite par l’éditeur cette semaine. Dévoilé lors de sa conférence annuelle en juin, Ontology a la particularité d’extraire et de maintenir des snippets de connaissances sur les usages, les vues des métriques, les tableaux de bord, les requêtes SQL – y compris celle réalisée avec des outils tiers, dont dbt – et les prompts soumis à Genie.

Databricks appelle cela des « connaissances apprises ». Ces snippets concernent des définitions de métriques, des sources d’autorité et des règles métiers. Le système OnToRank confie un score à chaque extrait, permettant à Genie de choisir le plus pertinent à travers un index dédié, de résoudre les conflits (en s’appuyant sur les certifications, la popularité, l’auteur d’un actif) et de n’utiliser que les données accessibles par l’utilisateur.

En juin, l’éditeur n’avait pas présenté de solutions pour éditer manuellement cette ontologie. Il disait alors à ses clients de charger des documents supplémentaires à même la fenêtre de contexte de l’assistant. « Nous avons beaucoup à apprendre », avait reconnu Craig Wiley, vice-président des produits IA chez Databricks, auprès du MagIT.

C’est pourquoi aux « connaissances apprises » s’adjoignent les « connaissances modélisées ».

Celle-ci concerne la définition d’indicateurs clés de performance comme des vues de métrique, l’organisation des actifs et des jeux de données en domaines et sous-domaines (un groupement logique d’actifs. Un actif peut résider dans plusieurs domaines), la définition de concepts métiers dans des « Pages » (comme des pages Wiki) et la sélection d’agents Genie considérés comme d’autorité.

« Les connaissances modélisées, les ressources certifiées et les agents Genie sélectionnés avec soin ont généralement la priorité sur les connaissances acquises portant sur le même sujet. Si Genie ne parvient pas à résoudre un conflit, il se peut qu’il vous demande des précisions », précise l’éditeur dans sa documentation.

En clair et contrairement à ce que laisse entendre Databricks, cela réclame comme chez les concurrents Snowflake et Microsoft un travail d’organisation, de réunion des profils techniques qui ont la main sur la plateforme et des métiers, experts des données concernées. Un travail de longue haleine.

Databricks a un autre atout dans sa manche : la possibilité d’ajouter à cette ontologie semi-automatique des sources externes. Il y a d’abord les « sources de connaissances externes », disponibles en beta. Il faudrait plutôt parler d’une source actuellement : Power BI. Le système « récupère les métadonnées issues des modèles sémantiques Power BI lorsqu’un job s’exécute via une connexion Unity Catalog utilisant l’authentification OAuth Machine-to-Machine ».

« Les mesures, les colonnes calculées et les relations » issues des modèles sémantiques de l’outil de visualisation sont converties en connaissances apprises. Logiquement, elles sont moins prioritaires que les connaissances modélisées, donc les métriques et les concepts métiers mis en place depuis Databricks. Un connecteur similaire pour Tableau semble sur la feuille de route.

L’éditeur n’abandonne pas les documents pour nourrir ces agents du contexte des entreprises. Genie Search, en beta également, doit maintenir un index de contenu répertorié et les autorisations associées sur Google Drive (fichiers workspace, Microsoft Office, PDF, TXT, MD, RTF, CSV), Jira Cloud (projets), Confluence Cloud (espaces) et Workday (profils des employés issus d’un rapport personnalisé).

« Les clients posaient de plus en plus à Genie des questions qui dépendaient d’un contexte extérieur à Databricks, comme celui capturé dans les documents, les tickets et les échanges de messagerie », indique Ken Wong, directeur senior produit chez Databricks, auprès de TechTarget. « Nous disposions déjà de connecteurs fédérés au lancement, mais nous avons voulu améliorer les performances en construisant Genie Search pour indexer directement ces systèmes », justifie-t-il.

Notons que l’assistant n’accède aux données qu’en lecture seule et ne voit pas l’ensemble du contenu si le fichier dépasse 10 Mo. Du côté de Google Drive, les métadonnées des fichiers pesant plus de 100 Mo ne sont pas prises en compte. Les PDF sont « ocrisés ». Les administrateurs devront paramétrer les accès un à un pour chacune de ces sources. Databricks ne précise pas quel est le poids dans le classement fait par l’algorithme OnToRank.

Genie Search (plus de 100 connecteurs MCP pour un petit nombre de sources) et Ontology sont normalement compatibles avec d’autres assistants agentiques, dont ChatGPT, Claude, Copilot Cowork et Grok Bot, à travers un connecteur MCP. L’éditeur n’a pas détaillé les mécanismes associés.

Ontologie (semi) automatique : Databricks a de l’avance, mais les concurrents le suivent de près, notent les analystes

Toutefois, les analystes approuvent cette approche. « L’intégration de la sémantique provenant d’outils de BI externes se distingue particulièrement, car une grande partie de cette logique métier réside aujourd’hui en dehors de Databricks », souligne Sanjeev Mohan.

« Genie Search change la manière dont les agents accèdent à l’information répartie au sein d’une entreprise », complète Mike Leone, analyste chez Moor Insights & Strategy, auprès de TechTarget. « Actuellement, un agent qui passe d’une application à l’autre a besoin de son propre accès à chacune d’elles, et chaque étape supplémentaire alourdit la facture. Une recherche gouvernée unique offre un seul endroit pour définir les permissions, et beaucoup moins d’appels à payer », croit-il.

Cette primeur à l’automatisation, plutôt qu’à centrer le système sur une ontologie manuelle, donnerait l’avantage à la société dirigée par Ali Ghodsi. « Databricks est en phase avec le marché sur l’idée générale, mais prend l’avantage sur l’ontologie », ajoute Mike Leone. « [L’éditeur] capte les définitions d’une entreprise à partir de la façon dont les utilisateurs interrogent réellement les données, évitant ainsi à une équipe de devoir tout rédiger au préalable ».

Là encore, la fonctionnalité qui permettra de trier le bon grain de l’ivraie n’est pas encore disponible. Databricks a présenté Ontology Manager « bientôt en beta », une expérience qui, à l’instar de ce que propose Snowflake, informera les data stewards sur les contenus les plus fréquemment utilisés qui n’ont pas une définition gérée depuis Unity Catalog.

Les concurrents prennent la même voie, reconnaît l’analyste de Moor Insights et Strategy. « Databricks a de la compagnie », observe-t-il.

« Toutes les grandes plateformes de données et tous les hyperscalers convergent vers le même schéma : une couche sémantique ou contextuelle, une recherche unifiée à travers les données structurées et non structurées, et des agents capables d’agir sur les deux », rappelle Sanjeev Mohan.

Les deux analystes s’entendent également sur le fait que Databricks devra renforcer l’identification des agents, leur piste d’audit et la manière de gérer les validations humaines. Un mode autonome comme « Genie Always-on » pourrait accélérer la propagation des hallucinations, anticipe Mike Leone. À titre de comparaison, le concurrent Snowflake a déjà pris la notion d’incertitude dans les réponses livrées par son agent CoCo.

Une facturation à l’usage qu’il faudra suivre de près

Enfin, notons que les analystes n’évoquent pas la question des coûts. Toutes les fonctionnalités sont facturées à l’usage de DBU, le crédit spécifique à Databricks. La passerelle IA permettra de les mesurer, de les observer et de fixer des budgets. À noter que les fonctionnalités listées plus haut sont gratuites jusqu’au 31 janvier 2027.

 Pour Genie One, les agents Genie et Genie Code, les 150 premiers DBU (12,3 dollars, de quoi couvrir quelques requêtes) par utilisateur par mois seront gratuits à partir du 1^er février. Au-delà, il en coûtera 0,082 dollar par DBU, plus le coût de calcul sous-jacent sur la région française d’AWS. La tarification de Genie Ontologie et Genie Search n’est pas établie. Databricks précise que le parsing des données structurées et non structurées coûte aussi 0,082 dollar par DBU.

Les citations de Sanjeev Mohan, Mike Leone et Ken Wong ont été recueillies par Eric Avidon pour TechTarget.