Koa : Salesforce présente un modèle de raisonnement dédié à son CRM

Un modèle de raisonnement pour gérer les flux agentiques dans le CRM de Salesforce

« Notre réflexion, lorsque nous avons abordé cette question avec l’équipe de recherche et celle de NVIDIA, nous a amenés à examiner la grande diversité des scénarios pour lesquels nos clients développent des agents », affirme Jayesh Govindarajan, EVP, ingénierie logicielle chez Salesforce AI, lors d’un point presse. « Nous avons alors réalisé qu’en entreprise, on n’avait pas vraiment besoin des mêmes modèles que ceux utilisés pour les cas d’usage mathématiques et physiques de type AGI », poursuit-il. « Il est possible - à condition de disposer des données et des cas d’usage appropriés - d’entraîner un modèle adapté aux besoins spécifiques du CRM ».

Gros avantage pour Salesforce AI Research, Nvidia est l’un des seuls fournisseurs de LLM avec IBM à partager une bonne partie des jeux de données utilisés pour entraîner ses LLM.

« Nous souhaitons uniquement utiliser des modèles dont la traçabilité des données est claire, ce que Nemotron nous offre », indique Jayesh Govindarajan. « Les deux autres atouts sont les excellents outils développés par NVIDIA pour l’apprentissage par renforcement (NeMo RL) et les environnements de simulation, que nous exploitons de manière très approfondie ».

Avant cela, l’équipe a généré des jeux de données synthétiques : l’équipe de recherche ne pouvait et ne voulait pas utiliser les données de Salesforce et de ses clients.

« Nous avons généré un profil de service client, un profil commercial, un profil marketing, etc. », explique le responsable de l’ingénierie logicielle. « Chaque profil interagissant réellement avec notre système d’agents a été simulé. Puis, à partir de ces simulations, nous avons recueilli des traces illustrant comment un flux de travail spécifique est exécuté [dans la plateforme Salesforce]", poursuit-il. « Cela représente environ deux à trois décennies de travail menées par Salesforce pour comprendre à quoi ressemble une politique de remboursement, une conversation de service client, une résolution des tickets, etc. ».

Ces données synthétiques et ces traces ont ensuite servi à mettre en place le pipeline d’apprentissage par renforcement. Un travail guidé par les ingénieurs de Nvidia. Plus particulièrement, les chercheurs se sont concentrés sur le fine-tuning supervisé et la technique d’apprentissage par renforcement GRPO (Group Relative Policy Optimization), imaginée par DeepSeek, à partir d’un modèle de base.

Cette technique permet d'optimiser les décisions du modèle en comparant les performances de plusieurs réponses générées simultanément.

Les flux de travail en question et les appels aux outils sont conditionnés par une approche « spec-driven ». Les chercheurs ont utilisé le langage de spécification open source Agent Script, développé en interne par Salesforce, pour structurer le routage des requêtes, l’usage des sous-agents, des outils, etc.

L’outil Nemo Gym de Nvidia permet d’exécuter ces spécifications sous forme de simulations qui incluent les différents scénarios et personas liés à quatorze secteurs différents. Un LLM as-a-Judge s’est chargé de noter les performances du modèle concernant le bon usage des outils, le suivi des étapes et la redirection des demandes vers les bons services. Ces informations ont servi à « récompenser » Koa quand il obtenait de bons résultats.

Les chercheurs disent avoir fait en sorte que les simulations de flux de travail Salesforce et non Salesforce soient égales une fois soumis à un modèle de récompenses.

Une approche économe en temps et en argent

L’approche est différente de celle de Thomson Reuters qui a re-entraîné de bout en bout (préentraînement et postentraînement) des modèles chinois Qwen pour les spécialiser dans des tâches financières, légales et journalistiques.

L’équipe de recherche de Salesforce ne voulait pas se confronter à un problème auquel celle de Thomson Reuters a fait face. « Plus on s’enfonce dans les poids du modèle, plus le risque de modifier ou de mettre à jour ces poids peut entraîner ce qu’on appelle un « oubli catastrophique » », explique Silvio Savarese, EVP et directeur scientifique de Salesforce Research.

Le phénomène d’oubli catastrophique peut provoquer une perte de savoir partielle ou totale dans certains domaines qui ne sont pas forcément couverts par un réentraînement. « En modifiant un élément, on en perturbe un autre, ce qui n’est évidemment pas souhaitable », ajoute Silvio Savarese.

Cet oubli catastrophique peut affecter les filtres internes de toxicité et de sécurité, établis après une phase de red teaming. Or, Salesforce avait un troisième critère de choix pour le modèle de base à adapter. « Nous avons pris la décision délibérée d’utiliser des modèles « souverains », c’est-à-dire des modèles dont la qualité, la toxicité et les biais ont été vérifiés, et qui proviennent d’une organisation américaine », affirme le directeur scientifique. « Nous n’utilisons pas de modèles issus d’entreprises qui ne garantissent pas la sécurité de nos chercheurs. C’est une politique que nous avons établie en interne chez Salesforce ».

C’est aussi un moyen de gagner en indépendance par rapport à Google, Amazon, Anthropic et OpenAI à moindres frais. D’observer la réaction du marché. L’éditeur n’est pas le seul à s’être tourné vers Nvidia : ServiceNow, Dassault Systèmes ou encore Siemens sont quelques-uns à utiliser les LLM Nemotron.

Koa doit encore faire ses preuves

Si l’équipe IA de Thomson Reuters ne compte que deux membres de plus que celles de Salesforce AI sur les deux projets comparés (27 contre 25), elles n’avaient pas le même budget de calcul lors des expérimentations. Quand Thomson Reuters a mobilisé 368 GPU Nvidia B200 pour entraîner Thomson-1.0-Large, Salesforce a utilisé 32 GPU Nvidia B200 (5 clusters de huit GPU).

Résultat, le rapport technique de Koa affiche des scores légèrement supérieurs à Nemotron 3 Super 120B sur les parangonnages Tau2Bench (services clients), BFCL (flux agentiques) et CRM Bench. Il surpasse ou égale GPT-4.1, mais reste loin derrière GPT-5.5 et Claude Opus 4.8.

« Le rapport ne présente pas les résultats réels des tests de performance dont nous disposons en interne, et nous le faisons délibérément, car nous ne pouvions pas encore divulguer ces informations au moment de le publier », indiquait Silvio Savarese, mercredi 16 septembre.

Agent Script et Agentforce oblige, Koa se comporterait mieux au sein de son « harnais IA ».

« En matière de rapport coût/précisions sur une courbe de Pareto, les résultats de Koa sont nettement meilleurs », assure Jayesh Govindarajan.

Sur le benchmark interne de Salesforce, Koa est présenté comme les moins chers des modèles à exécuter, devant Gemma 4 31B. Il égalerait GPT-5.5 dans le suivi d’instruction, la génération et la production de résumé. En matière de tâches agentiques, Koa égalerait Claude Sonnet 4.6, mais resterait derrière GPT-5.6 Terra, Sol, ainsi que Gemini 3.7 Flash et GPT-5.5.

En l’absence d’évaluations tierces, ces résultats sont à prendre avec des pincettes. Nemotron 3 Super 120B est un modèle de raisonnement plutôt rapide (140 Tokens/s), mais il consomme beaucoup de tokens à la tâche, selon Artificial Analysis.

Koa « est d'ores et déjà disponible pour certains clients participant au programme pilote et devrait être mis à la disposition du grand public dans les régions des États-Unis au moment du lancement de la version Winter 2026 », précise Salesforce. « Une bêta ouverte est prévue peu après ».

Restera à résoudre la question des coûts. Le géant du CRM n’a pas détaillé le modèle économique lié à son LLM.