WSO2 met l’IA générative au service de la gestion d’API (et vice-versa)

Une passerelle API dédiée à l’IA générative

Pour ce faire, WSO2 a revu Egress API Management, devenu Expanded AI Gateway au sein d’API Manager et sa nouvelle déclinaison SaaS, Bijira, une plateforme de gestion d’API actuellement en bêta. L’idée est d’automatiser le choix du LLM sous-jacent en fonction du coût, de la disponibilité, du temps de réponse et des performances souhaités.

Ce « routage dynamique » dépend d’un système de répartition de charge entre différents services de fournisseurs de LLM et de failover – de redirection totale du trafic vers une autre API quand le premier modèle n’est pas accessible.  

Les utilisateurs pourront placer des limites d’appels, interdire certaines requêtes, chiffrer les données en transit, y connecter le service IAM de l’éditeur (WSO2 Identity Manager en open source, Asgardeo en SaaS) ou celui de tiers, dont Okta.

La passerelle peut également connecter des données de télémétrie et des métriques concernant l’usage des LLM. Des tableaux de bord permettront de suivre l’usage au quotidien et de comprendre les problèmes de latence.

« Nous proposons des solutions agnostiques, ce qui signifie que nous nous adaptons à votre modèle et à votre fournisseur de prédilection. »

WSO2 n’est pas le premier à fournir une solution similaire. Ses concurrents Kong, Mulesoft ou encore Solo.io sont quelques-uns des acteurs proposant des fonctions plus ou moins avancées.

Pour l’heure, WSO2 prend en charge nativement les LLM d’OpenAI, ceux disponibles à travers Azure OpenAI et Mistral AI. Tous reposent sur le cloud de Microsoft. « Notre approche est ouverte et flexible. Nous proposons des solutions agnostiques, ce qui signifie que nous nous adaptons à votre modèle et à votre fournisseur de prédilection », assure Rania Khalaf, chief AI officer chez WSO2. « Par exemple, vous pouvez utiliser un modèle d’OpenAI déployé sur Azure, intégrer un modèle de Hugging Face sur Amazon Bedrock, ou encore l’héberger en local selon vos besoins spécifiques ».

« Notre objectif est de fournir des modèles de base accompagnés d’API et d’abstractions permettant une expérience aussi cohérente que possible », poursuit-elle.

L’IA infusée à toutes les étapes du cycle de vie des API

De son côté, l’éditeur est en train de bâtir un ensemble de services d’assistance au développement et à la gestion d’API. Pour cela, il s’appuie sur différents LLM du marché, suivant le niveau de performance attendu. « Dans nos copilotes, nous utilisons plusieurs modèles, notamment pour la génération de code, où certains sont plus performants que d’autres », note Rania Khalaf.

WSO2 avait lancé dès 2024, Choreo Copilot, du nom de sa plateforme de développement interne SaaS. Puis, il a développé un autre assistant couplé à Micro Integrator (MI Copilot), un pan de sa plateforme d’intégration WSO2 Integrator. Ce copilote est intégré à Visual Studio Code. Lors de la WSO2Con, l’éditeur a présenté WSO2 Copilot, un assistant qui – avec API Manager et dans Bijira – aide à la conception d’API, à créer de la documentation Swagger en prenant en charge les protocoles REST, GraphQL et AsyncAPI.

Dans Bijira, un assistant permet également de parcourir une place de marché d’API afin de déterminer quels sont les composants les plus intéressants suivant le cas d’usage souhaité par les métiers, d’imposer automatiquement des règles de gouvernance, de les extraire depuis un PDF, mais aussi de configurer le portail API des développeurs aux couleurs de l’entreprise.

« Nous cherchons à utiliser le langage naturel pour interpréter et générer des fonctions lorsque c’est pertinent et du code déterministe lorsque c’est plus adapté. »

WSO2 a, par ailleurs, dévoilé la bêta de Ballerina Integrator, du nom du langage de programmation open source dédié à l’intégration, développé par WSO2.

Ballerina Integrator porte une approche hybride – pro/low-code – pour développer des pipelines d’intégrations en prenant en charge les protocoles GraphQL, gRPC, WebSocket et d’autres. En revanche, il intègre WSO2 Copilot afin de traduire les intentions des utilisateurs dans ce langage spécifique. Le copilote suggère la prochaine bonne action dans la création d’un flux d’intégration et peut générer automatiquement des mapping, après avoir analysé les schémas des systèmes cibles et sources.

Aussi, Ballerina Integrator dispose d’un système nommé « fonctions naturelles » en traitant les prompts et les appels aux LLMs « comme parties intégrantes de l’environnement d’exécution ». 

« Nous cherchons à utiliser le langage naturel pour interpréter et générer des fonctions lorsque c’est pertinent et du code déterministe lorsque c’est plus adapté », traduit la chief AI officer.

Un système de vérification des dérives permet de s’assurer des bonnes pratiques de programmation, du respect des logiques métiers, applicatives et de sécurité. Le service peut proposer des corrections de code et de la documentation (la génération de documentation OpenAPI). En outre, Ballerina Integrator imbrique un outil de génération de tests.

Des premières briques pour développer des applications d’IA générative

Mais Ballerina Integrator est également la base qui pourra servir au développement d’applications d’IA générative. Il s’agit par exemple d’intégrer des connecteurs vers les LLM et les bases de données vectorielles dans une approche pro ou low-code, mais aussi, dans un avenir proche, de développer des agents, en se servant des API vers des outils du marché.

Ces fonctionnalités sont imbriquées dans l’iPaaS Devant, elle aussi en bêta. Outre l’intégration avec les bases de données vectorielles et les services d’IA, WSO2 entend prendre en charge les protocoles TCP, UDP, FILE, Websub et Websubhub.

L’iPaaS Devant peut par exemple servir à configurer l’ingestion RAG. « Ce processus implique la mise en place d’une base de données vectorielle, l’utilisation de modèles d’embeddings, le traitement des fichiers sources et le découpage des données », évoque la documentation de la plateforme.

L’IA agentique a besoin de métadonnées (et de protocoles comme MCP)

Prochainement, l’éditeur compte prendre en charge les flux de travail agentique dans l’ensemble de ses produits.

« Les agents d’IA consommeront de plus en plus d’outils. Ces outils sont emballés dans des API existantes et futures », anticipe Pubudu Gunatilaka, directeur associé et architecte chez WSO2.

Pour cela, l’éditeur estime qu’il faut enrichir la documentation des API, notamment à travers OpenAPI. « Nous devons disposer de plus de métadonnées pour que les agents d’intelligence artificielle puissent comprendre ce que font réellement les API », juge Pubudu Gunatilaka.

Enfin, à l’instar de Cisco, WSO2 se penche sur la prise en charge de Model Context Protocol (MCP), une librairie open source proposé par Anthropic. « MCP normalise la manière dont le contexte de l’application est transmis au LLM pour qu’il puisse l’utiliser », résume le directeur associé qui précise que la librairie sera prise en charge dans « les mois à venir ».

Rania Khalaf évoque une technologie prometteuse, mais qu’il faut encore tester pour sécuriser les déploiements.

Justement, si elle est prometteuse, l’IA ne serait que la cerise sur le gâteau, selon Sanjiva Weerawarana, fondateur et CEO de WSO2. « Bien que l’IA soit importante, nous résolvons les problèmes fondamentaux des clients en matière de gestion des identités, d’intégration, des API et d’architectures de plateformes internes pour les développeurs », rappelle-t-il. « Ce sont des enjeux que tous les clients rencontrent. Tous les clients qui construisent une expérience numérique ont besoin d’API ».

Et l’IA générative ne fait qu’amplifier ce phénomène. Si elles suscitent l’intérêt des participants de la conférence, notons que la plupart des fonctionnalités GenAI de WSO2 doivent encore faire leurs preuves.