Container Services : Snowflake devient une « Data PaaS »

Des clusters Kubernetes intégrés à Snowflake

Avec Snowpark Container Services, il donne accès à un « runtime supplémentaire ». Sous le capot, il automatise le déploiement de Kubernetes et permet aux entreprises d’enregistrer et de déployer des images de conteneurs Docker conformes au standard OCI (Open Container Initiative) cantonnés à leur compte. Les entreprises devront gérer elles-mêmes ces images et pourront y exécuter des programmes dans le langage et avec les frameworks de leur choix « au-delà de Scala, Python et Java » (par exemple, R, C++, etc.). C’est aussi un moyen pour les clients de déployer dans le périmètre de leur compte Snowflake les Native Apps accessibles depuis la marketplace.

Snowflake permettra de configurer les capacités de calcul nécessaire à l’exécution des applications. Il précise que les ressources de calcul sont indépendantes de celles allouées au « Data Cloud », mais qu’elles seront également optimisées « en fonction des besoins des clients ».

Dans la même veine, Snowflake a annoncé un « partenariat stratégique » avec Nvidia pour effectuer des traitements sur des processeurs graphiques (GPU). L’éditeur est clair : Snowpark Container Services est un moyen de déployer des modèles de deep learning et de machine learning. Le fournisseur proposera des instances de plusieurs tailles liées au CPU, la mémoire vive ou au GPU (dans un premier temps, les instances les mieux dotées disposeront jusqu’à 80 Go de VRAM, selon un porte-parole de Snowflake). Pour le reste, les conteneurs pourront tirer des flux de données depuis l’espace de stockage « optimisé par Snowflake », à savoir le stockage du data warehouse lui-même ou depuis les services de stockage objet de type S3.

Évidemment, Snowflake rattache cette offre aux wagons de l’IA générative. Les instances Container Services pourront accueillir des grands modèles de langage. « Nous avons déjà effectué des tests avec des modèles de quelques dizaines de milliards de paramètres », avance Torsten Grabs, directeur senior de la gestion produit chez Snowflake, lors d’un point de presse. « Nous adapterons les capacités de calcul au besoin des clients, mais la taille des modèles ne doit pas être limitante ».

En la matière, Snowflake mentionne les modèles de Reka AI, un éditeur de modèles propriétaires pouvant être réentraînés sur des données privées pour accomplir des tâches spécifiques.

L’objet du partenariat avec Nvidia concerne, par ailleurs, le déploiement du framework NeMo, une boîte à outils pour concevoir des modèles et des applications de Speech to Text, de questions-réponses, mais également pour contrôler et filtrer les résultats des algorithmes d’IA générative (Guardrails). Snowpark Container Services permettra de déployer la plateforme des modules de la plateforme Nvidia AI Enterprise.

D’une certaine manière, Snowflake s’est fait dépasser par les événements.

« L’année dernière, nous avons présenté notre vision pour faire de Snowflake une plateforme applicative », rappelle Christian Kleinerman, Senior Vice-Président Produit chez Snowflake. « Dès lors que nous avons intégré les runtimes Python et Java, les clients et les partenaires sont revenus vers nous en nous réclamant la prise en charge de C++, C#, Golang, etc », ajoute-t-il. « Container Services nous permet de répondre à cette demande, de déployer des grands modèles de langage, mais pas uniquement, loin de là ».

En ce sens, Snowflake insiste sur le fait que ses clients peuvent migrer des applications existantes sur le runtime Snowpark Container Services. Selon Frank Slootman, directeur général de Snowflake, l’introduction de Python a déjà permis aux clients de l’éditeur de remplacer des workloads Apache Spark et de les exécuter efficacement à « un prix compétitif » dans les environnements Snowflake. Voilà un sujet qui peut intéresser Novartis (et une pique indirecte en direction de Databricks).

Un pont entre les plateformes de data science et le « Data Cloud »

Snowkpark Container Services accueillera pareillement les charges de travail déployées à l’aide des solutions de certains éditeurs tiers.

Dans le cadre de l’annonce de Container Services, Snowflake a annoncé des partenariats avec 21 partenaires dans plusieurs domaines.

Par exemple, il sera possible de déployer les applications d’Amplitude, de Goldman Sachs, de phData, de Fosfor ou de SailPoint. Pour les data engineers qui utilisaient déjà Airflow, un outil open source d’orchestration de flux de données, pourront (s’ils le souhaitent) s’appuyer sur la version managée par Astronomer.

On retrouve également quelques grands noms de la data science. Outre Nvidia, Dataiku, Alteryx, H20.AI et SAS seront partenaires au lancement de Container Services.

En clair, Snowflake n’est pas perçu comme une menace pour des éditeurs de solutions analytiques.

« Snowflake est un très bon partenaire », indiquait récemment Bryan Harris, CTO de SAS auprès du MagIT. « Ils [les dirigeants de Snowflake] nous considèrent comme les porteurs de capacités intéressantes pour servir leur stratégie “data” ».

« Ils sont honnêtes concernant les problèmes qu’ils veulent résoudre. Ils ne cherchent pas à recréer des solutions en s’inspirant de vos technologies, comme les fournisseurs cloud ont tendance à faire », poursuit-il.

Pour autant, il ne s’agit pas de concurrencer les fournisseurs cloud. D’ailleurs, Snowflake a annoncé un partenariat avec Microsoft pour non seulement intégrer les API d’Azure OpenAI, les services Azure ML, mais aussi pour se connecter à la plateforme low-code/no-code Power Apps, Azure Data Factory (un service ETL), Purview (un data catalog), ou encore Power BI.

Selon l’image suggérée par le CTO de SAS, c’est un écosystème vivant.

« C’est un éditeur indépendant qui vit dans l’écosystème des trois grands fournisseurs cloud. Nous sommes de la même trempe [que Snowflake] », juge Bryan Harris.

Snowflake se penche sur les notions de DevOps, DataOps et de MLOps

L’année dernière, l’éditeur vantait les bénéfices de l’acquisition de Streamlit, une bibliothèque pour déployer simplement des modules écrits en Python par-dessus le data warehouse cloud. La librairie entrera en préversion publique « bientôt ». Si l’éditeur n’abandonne pas l’idée de « démocratiser » le traitement de données à un plus grand nombre d’utilisateurs, les annonces effectuées lors de Snowflake Summit 2023 intiment un meilleur contrôle de la chaîne CI/CD.

Qui dit images de conteneurs, applications et modèles de machine learning, dit besoin de programmabilité. En la matière, Snowflake souhaite proposer des intégrations et des outils au service des pratiques DevOps, de data engineering et de MLOps.

Ainsi, Snowflake propose en préversion privée un « nouveau » CLI (et non SnowSQL), prépare une intégration avec les dépôts Git (sans préciser si GitHub, GitLab et Bitbucket seront de la partie), la possibilité d’effectuer des tests locaux, de récupérer les logs et les traces en provenance UDF et des procédures, ou encore de recevoir des notifications par mail.

En matière de data engineering, l’éditeur compte toujours sur la feuille de route les tables dynamiques (ex-Materialized Views, un système de pipelines permettant de préparer des vues matérialisées de manière déclarative en SQL), davantage de connecteurs, tandis que la disponibilité générale de Snowpipe Streaming, l’outil d’ingestion des fichiers hébergés sur un service de stockage objet, est imminente.

Enfin, Snowpark accueillera un registre de modèles et une API pour les servir. « Nous voulons simplifier le déploiement des modèles d’IA pour nos clients », affirme Christian Kleinerman.

Comme l’année dernière et l’année précédente, Snowflake présente une feuille de route sur un an et demi à deux ans. La très grande majorité de ces fonctions sont en préversions privées ou publiques.

« Pourquoi mettons-nous du temps à sortir les fonctionnalités des préversions ? Parce qu’il faut en assurer la sécurité et la gouvernance », justifie Frank Slootman. Reste à voir si cette approche unifiée de la gestion des projets de traitements de données prendra auprès des clients.