Couche sémantique : Snowflake confie Open Semantic Interchange (OSI) à la fondation Apache

Une couche sémantique pour les agents IA et les plateformes analytiques

Il y a moins de deux semaines, Open Semantic Interchange a été incubé au sein de l’Apache Software Foundation sous le nom d’Apache Ossie. C’est la phase pendant laquelle il restera en observation avant son acceptation en tant que projet à part entière porté par la Fondation. Dans la pure tradition de l’open source, les contributeurs principaux ont choisi une mascotte : un kangourou. La nouvelle appellation ressemble à « Aussie », un terme familier pour désigner un habitant d’Australie.

Malgré le changement de nom, elle reste inchangée, tout comme le format YAML utilisée pour définir les métriques, les dimensions et les relations entre les données. « Cela permet à n’importe quel outil – qu’il s’agisse de plateformes de BI, de moteurs de requêtes ou d’agents d’IA – d’utiliser et de générer des définitions sémantiques sans perte de sens [entre les outils] ».

Car le véritable objectif du projet est bien de permettre aux entreprises de définir leur contexte métier –, les définitions métiers, les indicateurs clés de performance, les métriques, etc. – une seule fois avant de les propager au sein de leur CRM, de leurs outils BI et de leurs entrepôts de données.

Snowflake et Databricks n’ont pas caché leur volonté de désintermédier cette couche afin de la rapprocher des données et de leur plateforme d’hébergement. Tableau, chez Salesforce, défend l’intérêt d’une couche sémantique indépendante des systèmes sous-jacents.

Un fort soutien des éditeurs malgré leurs divergences

Malgré ces divergences, plus de 50 éditeurs soutiennent le projet, au moins 33 de plus qu’au lancement, dont Microsoft. Hormis Snowflake, des contributeurs en provenance de Salesforce, Databricks, dbt Labs, RelationalAI et Honeydew ont réalisé plus de 100 commits et 35 pull requests depuis le lancement du projet.

D’ailleurs, Russel Spritzer, ingénieur principal chez Snowflake et membre du comité de gouvernance d’Apache Polaris – un autre projet versé à Apache par l’éditeur –, a expliqué au MagIT en juin que, étant donné ses procédures, l’ASF rend plus difficile la prise de contrôle d’un projet et de sa marque par un seul éditeur que d’autres fondations. Un argument repris dans l’annonce de l’incubation d’Apache Ossie.

« En phase d’incubation, Ossie s’appuie sur des listes de diffusion publiques, un développement basé sur GitHub, un processus formel de discussion et de vote pour les modifications des spécifications, ainsi que des droits de contribution acquis grâce à l’apport personnel plutôt qu’à l’affiliation à un employeur », soulignent les porte-parole de Snowflake.

« Faire passer un projet par l’incubation n’est pas seulement une étape légale ou procédurale : c’est un signal que nous construisons une véritable communauté autour d’un Podling [un projet qui n’est pas encore tout à fait accepté par l’ASF, N.D.L.R.], avec suffisamment de contributeurs indépendants pour que le projet puisse prospérer au-delà de toute entreprise ou tout individu », insiste Jean-Baptiste Onofré, ingénieur logiciel principal chez Dremio et membre du comité de direction de l’ASF. « C’est toujours mon objectif dans tous les projets que j’aide ».

La communauté derrière Apache Polaris a proposé une implémentation de référence pour convertir les modèles sémantiques Ossie vers les métadonnées de son catalogue associé au format de tables Apache Iceberg. Elle développera une intégration afin de rendre les modèles sémantiques directement accessibles depuis ce catalogue.

Snowflake a également présenté un outil de conversion vers ses modèles sémantiques, tout comme dbt Labs pour ses métriques.

Les discussions des contributeurs affineront la feuille de route. Elle portera principalement sur l’approfondissement de la spécification pour les définitions, les métriques et les relations « les plus avancées ». D’autres convertisseurs verront le jour, tout comme un moyen pour les moteurs analytiques d’interroger les objets définis au format YAML/JSON.