vege - stock.adobe.com

Snowflake précise les contours de sa Business Ontology

Évoquée lors de sa conférence annuelle en juin, Snowflake a pris le temps de détailler le fonctionnement de son ontologie métier, l’une des trois couches de contexte pour fiabiliser les analyses de données des agents IA. Comme anticipé, l’outil n’est pas la véritable problématique. Il implique de réunir les directions métiers pour poser sur la table les concepts clés de l’entreprise.

Après sa conférence annuelle en juin dernier, Snowflake maintient son point d’étape habituel concernant sa feuille de route. Le fournisseur a concentré ses annonces sur ses capacités agentiques. Mais il a aussi posé les fondations de son ontologie métier. Elle doit renforcer la confiance dans les résultats affichés dans les tableaux de bord et celles générées par les agents IA.

De fait, la Business Ontology avait été vaguement été présenté cet été. Puisqu’elle arrive « bientôt en préversion publique » (il est donc en préversion privée), Snowflake précise son rôle. C’est un modèle de représentation orientée graphe des concepts clés au sein de l’entreprise. Business Ontology est intégrée à la couche de gouvernance Horizon via son gestionnaire de contexte.

Business Ontology permet d’enregistrer des concepts associés à des définitions métiers qui régissent les vues sémantiques. Ces vues ont été mises en place afin de fournir le contexte des métriques BI à Snowflake Cortex, l’assistant agentique devenu CoCo. Une définition peut avoir des synonymes, des concepts associés et ces variantes liés aux métriques calculées à l’aide des vues sémantiques. Jusque-là, rien de révolutionnaire.

Dans cette ontologie orienté graphe, « les nœuds sont des concepts, tels que le “chiffre d’affaires net” ou une politique de comptabilisation du chiffre d’affaires », décrivent les ingénieurs de Snowflake dans un billet de blog.

« Les arêtes relient les concepts au moyen d’une relation orientée et typée. Par exemple, le “chiffre d’affaires net” dérive du “chiffre d’affaires brut” et une politique de comptabilisation s’applique “chiffre d’affaires net” », poursuivent-ils.

La définition pointe vers des représentations, c’est-à-dire une association aux objets qui l’appliquent ou le décrivent, comme une métrique calculée par une vue sémantique.

Une prise en compte des domaines métiers et de leurs différences

En juin dernier, Snowflake avait largement misé sur l’alignement des concepts métiers dans une ontologie partagée au niveau de l’entreprise. C’est toujours le cas. En revanche, chaque entité d’une entreprise peut disposer d’une variante de sa définition.

Il est possible de créer des domaines séparés, par exemple pour les équipes finance et vente.

« Un domaine est un conteneur ayant un propriétaire ; les domaines peuvent être imbriqués, comme Finance.Revenue.EMEA », précisent les ingénieurs. « Chaque concept n’a qu’un seul emplacement. Si deux équipes désignent la même chose, reliez leurs concepts à l’aide de EQUIVALENT_TO ; si elles désignent des choses différentes, conservez des concepts et des propriétaires distincts ».

Le système de Snowflake respecte la philosophie Data Mesh. Chaque domaine a un responsable désigné et les data stewards doivent attester que les liens entre les concepts, leurs définitions et les vues sémantiques.

Pour l’interroger, un agent Cortex est doté de deux outils de recherche : l’un consacré à l’ontologie, l’autre aux vues sémantiques. Cela doit lui permettre de lever les ambiguïtés lorsqu’une question d’un usager porte sur un concept associé à plusieurs domaines et définitions. Il devra présenter les définitions connues et laisser l’usager choisir la bonne.

Avant cela, intervient Cortex Sense, qui est lui aussi « bientôt en préversion publique ». Il s’agit d’un index de métadonnées conçu pour collecter automatiquement les patterns d’utilisation des données, des requêtes, des tableaux de bord et des modèles dbt. De la description qu’en fait Snowflake, plusieurs index peuvent cohabiter, puisque l’utilisation de Cortex Sense commence par la définition d’un cas d’usage, la connexion des sources de données automatiquement mise à jour afin de détecter ces schémas d’utilisation.

Il permet de créer « un brouillon de définitions » dans le glossaire de Business Ontology. Comme chez Databricks avec Genie Ontology, l’outil doit de lui-même identifier les conflits et avertir l’équipe en charge pour qu’elle le résolve. Des fonctions disponibles de longue date chez des acteurs tels Collibra et Informatica.

À l’instar de ce que propose Microsoft dans sa suite Fabric, ses trois couches de contexte –, les vues sémantiques, la Business Ontology, Cortex Sense – peuvent être utilisées indépendamment de l’une de l’autre.

« Cortex Sense offre aux agents une couverture étendue des environnements de données dès le départ, sans que votre équipe ait à définir au préalable chaque table et chaque indicateur manuellement », affirment les porte-parole de Snowflake, dans un billet de blog. « L’ontologie métier fournit une référence là où cela compte le plus, permettant ainsi aux utilisateurs et aux agents de s’appuyer sur une définition métier validée », poursuivent-ils. « Les vues sémantiques apportent de la précision, garantissant que chaque indicateur est calculé de la même manière à chaque fois ».

Et de préciser que ces couches ne sont pas « séquentielles ». « Les clients peuvent commencer par la couche qui résout leur problème le plus urgent et ajouter les autres au fur et à mesure de leur développement ». Par exemple, l’on peut se passer de Cortex Sense et importer des concepts et leurs définitions depuis un glossaire métier existant.

Un enjeu technique et d’organisation

L’éditeur devait évidemment préciser les mécanismes qui régissent sa Business Ontology. Mais comme chez les clients de Microsoft Fabric, cela demande de poser sur la table l’ensemble de ces concepts, les définitions, les métriques associées. De désigner les responsables des domaines. De décider si les concepts existent ou non dans plusieurs domaines ou s’ils sont obligatoirement liés, afin d’aligner l’ontologie à l’échelle de l’entreprise. Bref, Snowflake n’a pas terminé d’installer son système et le véritable travail pour les entreprises n’a pas commencé.

« Une ontologie gouvernée peut réduire les ambiguïtés entre les rapports, les applications et les agents, à condition que ces systèmes l’utilisent effectivement. Pour qu’elle reste utile, il faut que les responsables métier en assument la responsabilité et en valident le sens, et que les équipes chargées des données assurent la maintenance des correspondances et testent les modifications », complète Michael Ni, analyste chez Constellation Research.

Il faudra aussi en mesurer le coût. Chez Microsoft, la tarification de FabricIQ était préalablement trop chère pour être réellement viable à long terme. Le géant du cloud a déjà rectifié le tir. Snowflake n’a pas détaillé le coût d’un tel dispositif.

Auprès de TechTarget, William McKnight, président du cabinet d’analystes McKnight Consulting, estime toutefois que Snowflake a un avantage par rapport à Microsoft, et surtout Databricks. Horizon, sa couche de gouvernance, est bâtie sur des briques open source : Apache Polaris, Apache Iceberg et son API REST Catalog.

« Aujourd’hui, le véritable enfermement propriétaire tient au fait de savoir qui détient le contexte métier du client, ses métadonnées et ses règles de sécurité, et non pas uniquement la puissance de calcul », souligne-t-il. « Snowflake Horizon propose une architecture de catalogue ouverte et multimoteur [tandis que] Databricks Unity Catalog fonctionne comme un écosystème fermé qui traite les catalogues externes comme des points d’accès en lecture seule ».

Les vues sémantiques, elles, ont été rapprochées d’Apache Ossie afin d’importer des métriques en provenance d’outils BI, comme Power BI ou Tableau. Business Ontology prend également en charge le framework RDF, pour extraire des concepts et des définitions.

Unity Catalog existe bien dans une version open source, mais la prise en charge des tables Iceberg et de l’API REST Catalog date d’il y a trois semaines.

Le sujet de la levée des ambiguïtés est également important. Là, Snowflake semble faire mieux que Microsoft. Ce n’est pas l’agent qui calcule la métrique. Il peut aussi se référer à des requêtes SQL préenregistrées. Cette place laissée à l’humain est également prépondérante dans les réponses de CoCo et des agents Cortex. Lors d’une démonstration effectuée par MeltOne lors de la convention de l’USF à la mi-octobre, LeMagIT a observé que les résultats formulés par l’un de ces agents étaient ponctués d’éléments de prudence.

Reste à voir comment Snowflake gérera cette levée d’ambiguïté lorsque des agents IA prendront des décisions autonomes sur la base des métriques, anticipe en creux Stephen Catanzano, analyste chez Omdia, une filiale d’Informa TechTarget.

« Malgré des bases solides, des lacunes opérationnelles majeures subsistent avant que les entreprises puissent automatiser entièrement leurs flux de travail essentiels sans intervention humaine », juge-t-il.

Pour approfondir sur MDM - Gouvernance - Qualité