L’IA agentique est désormais au centre de la feuille de route de Confluent

Confluent se concentre sur la cohérence des données temps réel

Confluent a également entendu les clients qui n’utilisent pas forcément ses outils pour gérer leurs intégrations de données. Les utilisateurs de Flink et de dbt ont le droit à un adaptateur open source pour gérer, tester, documenter et déployer des pipelines Flink depuis la plateforme acquise par Fivetran.

À cela s’ajoute un driver spécifique pour ouvrir Flink à l’écosystème Python. Là, il s’agit de satisfaire les utilisateurs d’Apache Airflow et de ses versions managées ainsi que les usagers du framework Panda.

Par ailleurs, Confluent stabilise l’intégration des identifiants des schémas au sein des headers Kafka. L’objectif affiché est de simplifier l’intégration des topics dans les schémas à des fins de gouvernance, mais aussi un moyen de pousser davantage de contexte aux agents IA, selon l’éditeur.

 « Cela garantit la cohérence et la traçabilité des données tout au long de leur parcours dans vos pipelines », affirment les porte-parole de Confluent, dans un billet de blog. « Cette évolution permet à vos équipes de traiter les données en flux continu comme des éléments à part entière ». Par la même occasion, les événements bruts se transformeraient « en ressources de haute qualité, prêtes pour l’IA, en respectant une gouvernance stricte sans compromettre les exigences du temps réel ».

Plus précisément ce changement doit éviter les problèmes qui s’imposaient jusqu’alors aux équipes qui souhaitaient appliquer un schéma aux topics qui n’en avaient pas. Les clients s’en plaignaient l’année dernière.

Malgré tout, les schémas avec et sans en-têtes cohabiteront. « Les consommateurs traditionnels peuvent continuer à lire les charges utiles brutes et sans schéma, tandis que les consommateurs “intelligents” valident les données par rapport au registre de schémas à l’aide de l’identifiant unique global (GUID) figurant dans l’en-tête ; les octets de la charge utile restent inchangés, ce qui évite toute interruption en aval », avancent les porte-parole de l’éditeur.

Toujours plus d’IA agentique

Évidemment, Confluent a fortement mis l’accent sur ce point, ainsi que la disponibilité générale de son serveur MCP managé et de ses « agent skills ». Ceux-là doivent servir à consommer des données depuis les topics Kafka, à gérer et à débugger des opérations de streaming de données. Les skills renferment les bonnes pratiques pour la configuration des pipelines CDC (Change Data Capture), des relations producteurs/consommateurs ou encore la gestion du registre des schémas. Les résultats obtenus avec les skills demeurent assujettis à une validation humaine, assure l’éditeur. Outre le serveur MCP managé, l’éditeur dit poursuivre les développements de son équivalent hybride et on premise (local). Ici, il s’agit d’intervenir dans les environnements de développement et de tests. Cette brique open source serait de plus en plus utilisée par les clients, selon Sean Falconer, directeur de l’IA chez Confluent. D’où le fait de se concentrer sur une variante managée, qui elle n’est pas open source.

 Mais il a également remis une couche sur son « moteur de contexte en temps réel », à savoir l’instrumentation des topics Kafka pour alimenter les agents IA en informations événementielles. En clair, ce pipeline sert à transmettre les vues matérialisées créées avec Flink vers les agents IA, les systèmes tiers et les frameworks agentiques via un serveur MCP. Les rôles et les accès configurés au sein de la plateforme sont activés pour les agents IA. Pour l’instant, ce pipeline managé n’est disponible que depuis les clusters déployés Confluent Cloud déployés sur AWS. En disponibilité générale, le système ne prend plus seulement en charge les lookups, mais également, les requêtes composées, par filtre et par plage. L’éditeur dit ainsi couvrir l’ensemble des types de schémas possibles avec le couple Kafka – Flink.

Les streaming agents, à savoir des agents mobilisés au sein des pipelines Flink, sont également en disponibilité générale. Ceux-là peuvent appeler des fonctions, des outils via MCP, ils s’exécutent à l’aide d’un runtime spécifique, dispose d’une boucle de raffinage automatisée et des fonctions de rejouabilité. Une interface au sein de la console de Confluent Cloud doit en simplifier la gestion. Confluent voit ce système comme une base pour développer différents types d’agents IA dans les domaines de la finance, de l’industrie, du retail, de la banque, etc. Si l’éditeur souhaite imposer sa plateforme comme une couche d’exécution agentique, son système est toutefois compatible avec les frameworks agentiques. Reste que ces intégrations sont toujours peu documentées par Confluent. Quant à l’intégration avec le protocole Agent2Agent (A2A), elle est désormais en préversion publique.

Une plateforme compétitive, mais qui peine à se différencier, selon les analystes

Interrogés par SearchDataManagement, les analystes Stephen Catanzano d’Omdia [une division d’Informa TechTarget, également propriétaire du MagIT] et Kevin Petrie de Barc US saluent tous deux l’intégration de l’algorithme de détection des données sensibles (PII) avec Flink. Ils estiment cette fonctionnalité nécessaire pour les entreprises des secteurs régulés.

Kevin Petrie remarque plus particulièrement que Confluent se tient au niveau de la compétition, sans toutefois se différencier véritablement.

« Ils [les dirigeants de Confluent] se sont fortement concentrés sur la couche de données et les contrôles de sécurité, mais ils n’ont pas abordé la surveillance des modèles, la détection des dérives, ni d’autres enjeux liés au MLOps qui affectent également les systèmes d’IA en production », ajoute Stephen Catanzano. « [Cependant], cela pourrait être intentionnel, compte tenu de leur volonté de se positionner comme une infrastructure de streaming plutôt que comme une plateforme d’IA complète ».

Sean Falconer assure que l’entreprise continuera sur sa lancée en matière de prise en charge du protocole MCP, des agents skills et du contexte en temps réel, mais également poursuivra ses efforts en matière de gouvernance et de sécurité.

Des acteurs comme Redpanda, AWS, avec Amazon MSK ou Solace prennent la même direction. Pour se différencier, Stephen Catanzano estime que Confluent ne doit pas se limiter à fournir une fondation, mais également des templates pour les différents secteurs.

« Ils pourraient se démarquer davantage en créant des modèles spécifiques à chaque secteur et des pipelines de streaming préconfigurés pour les cas d’usage courants de l’IA – détection des fraudes, personnalisation, maintenance prédictive – qui intègrent leurs capacités en matière de gouvernance, de connectivité et d’agents dans des solutions clés en main », suggère l’analyste. « Elles permettraient de réduire le délai de rentabilisation pour les nouveaux clients des secteurs réglementés ».

Reste à savoir si les ingénieurs de données suivront. Il y a un an, les clients disaient n’être pas habitués au couple Kafka-Flink. LeMagIT doute que la majorité des clients se soient convertis à cette pile technologique chère à Netflix.