La recette open source de Crédit Mutuel Arkéa pour industrialiser les applications GenAI

Tybot sur Tock

Pour la conception de bots conversationnels, dont « Tybot » qui déployé sur les espaces clients, la banque exploite Tock (The Open Conversation Kit), un projet open source initié par la SNCF.

Le projet open source, aujourd’hui fédéré au sein du TOSIT (l’association qui regroupe les grands comptes français autour de l’Open source), compte d’autres contributeurs, dont le Crédit Mutuel Arkéa sur le volet GenAI. Orange intervient en particulier sur la partie Helm, gestionnaire de paquets pour Kubernetes.

Bâti sur Tock, Tybot « c’est du RAG, essentiellement », insiste Benjamin Bernard, Lead Tech au sein de l’AI Factory de l’établissement bancaire.

Pour l’alimenter, l’équipe a indexé le contenu de la base de connaissances clients, qui repose sur le logiciel Smart Tribune. Pour répondre, le chabot puise aussi dans les bases descriptives produits des sites des fédérations.

« L’objectif, c’est d’en avoir des vecteurs et de faire de la recherche sémantique pour alimenter la chaîne RAG », résume Benjamin Bernard.

Un studio pour créer ses chatbots

Tock peut être vu comme une « ferme à chatbots ». L’outil propose un studio qui permet de créer ses propres chatbots sans développement et de les alimenter avec de l’information. Il embarque aussi « une chaîne GenIA RAG », en plus donc du conversationnel classique pré-IA générative.

Tock apporte ainsi un moteur de reconnaissance d’intention classique pour les sujets récurrents, évitant donc de systématiser le recours à l’IA générative. Benjamin Bernard fait en outre état d’une intégration avec les outils de relation client. Le chatbot peut dès lors, sans changer de canal, orienter un client vers un conseiller humain.

Plus d’une quinzaine de différents canaux sont pris en charge par Tock, dont Slack, WhatsApp, Messenger et plus récemment OpenAI. « Vous pouvez brancher votre Tock dans des applications compatibles avec le modèle OpenAI », souligne Benjamin Bernard.

La fonctionnalité est utilisée par le Crédit Mutuel Arkéa pour s’intégrer à Open WebUI, déployée par la banque pour disposer d’une interface de type ChatGPT.

Observabilité, « LLM as a Judge » et l’humain dans la boucle

Pour satisfaire aux exigences réglementaires, Arkéa a aussi prévu une couche d’audit. L’observabilité technique repose sur Langfuse (compatible avec Tock). L’outil permet de tracer chaque interaction et d’automatiser l’évaluation via des modèles juges (LLM as a judge).

L’implémentation de la banque prévoit aussi une intervention humaine. Le Studio Tock, en production depuis deux ans au Crédit Mutuel Arkéa, autorise la supervision de chacun des chabots, ainsi que l’annotation des conversations par des experts métiers et l’échantillonnage des réponses.

Benjamin Bernard précise que l’annotation humaine dépasse le simple feed-back. Elle contribue en effet au réglage des prompts systèmes et à l’identification des thématiques émergentes ou des besoins de reconnaissance d’intention qui ne sont pas encore couverts par le RAG.

Mais pour gagner en performance sur les chatbots, la fraîcheur des données sources est critique.

Les limites de l’ingestion conventionnelle

Interrogé sur « Wero » (un service lancé par Crédit Mutuel Arkea en janvier 2025), le chatbot Tybot s’est avéré incapable de répondre, faute d’une mise à jour de ses vecteurs.

La cause racine résidait dans l’archaïsme du pipeline d’ingestion : un processus manuel où des fichiers CSV étaient déposés dans un bucket S3, traités par un simple job Kubernetes.

Ce dispositif « artisanal » présentait des ruptures de flux chroniques et des temps de traitement qui dépassaient les 24 heures pour des volumes massifs (dizaines de milliers de documents). L’impossibilité de garantir la synchronisation avec les référentiels métiers constituait un risque opérationnel.

QaLLam

Cette fragilité venait de la dispersion des données dans le SI. La résoudre imposait une rupture technologique, en l’occurrence le projet QaLLam.

Le logiciel a été pensé comme une réponse à la complexité de l’ingestion de masse. Il assure à la fois la collecte, la conversion et la vectorisation des données non structurées.

Son architecture repose sur des connecteurs (S3, GitLab, etc.) et un web crawler capable de navigation authentifiée pour extraire les données. Une des innovations réside dans l’utilisation de la librairie Readability JS pour le nettoyage des pages web.

Ce choix permet d’extraire le contenu utile en éliminant menus et publicités par heuristique, évitant ainsi le recours coûteux et risqué à des LLM pour cette phase de réduction de bruit. Le pipeline privilégie des outils comme Docling ou Marker.

La résilience de l’ensemble est orchestrée par Temporal, en service dans la banque en on-premise depuis un an. En cas d’échec d’un serveur d’inférence après 20 heures de traitement, le système reprend précisément là où il s’est interrompu. Cette caractéristique est jugée indispensable par Benjamin Bernard pour gérer de grands volumes de documents.

Raffinement sémantique et stratégies de chunking avancé

Une fois la donnée convertie, QaLLam procède à un enrichissement sémantique par « captioning » intelligent. Plutôt que de vectoriser des éléments bruts, le système transforme les graphiques en tableaux structurés et convertit le code source en descriptions textuelles accompagnées de questions-réponses possibles.

Concernant le découpage, ou « chunking », de l’information, Crédit Mutuel Arkéa adopte des approches inspirées du Dense X-Retrieval. Le système prévient la perte de sens inhérente au découpage récursif classique. Ce raffinement est un rempart contre les hallucinations lors de la phase de génération.

La banque utilise QaLLam en combinaison avec Tock, mais pas seulement. Son usage est généralisé à l’ensemble des applications d’IA générative traitant de la donnée non structurée en masse.

Le rayonnement de Tock dépasse d’ailleurs désormais les frontières nationales, avec des déploiements en Espagne.