IA spécialisée : Thomson Reuters lance ses propres LLM

40 millions de dollars et un entraînement à l’économie

L’éditeur de logiciels spécialisé dans le droit et la finance explique son choix au nom de la « souveraineté IA » (de contrôle des données, des modèles et de l’infrastructure) et le coût que représente actuellement l’inférence. Dans les 40 millions de dollars, Thomson Reuters prend en compte le coût de calcul, le salaire des équipes mobilisées (« trois douzaines d’ingénieurs et de scientifiques »), ainsi que la rétribution des experts et des partenaires sollicités. Le coût des trois semaines de calcul de Thomson-Large représente un peu moins de 450 000 dollars, soit 87 842 heures de calcul cumulées sur 386 GPU Nvidia B200. Le projet a réclamé environ trois mois de travail.

Thomson Reuters n’est pas le premier éditeur à tenter d’entraîner ses propres modèles. En 2024, Snowflake et Databricks avaient respectivement lancé Arctic et DBRX. Le coût de calcul de ces modèles reposant sur une architecture en propre avoisine les 2 millions de dollars. À titre de comparaison, les fournisseurs de LLM tels OpenAI et Anthropic dépensent 100 millions à plus d’un milliard de dollars par collection, selon les estimations de Dario Amodei, CEO d’Anthropic, en 2024.

Par souci d’économie, les chercheurs ont privilégié le recours aux LLM open weight, plus particulièrement Qwen 3.5 397B (B pour milliards de paramètres) et Qwen 3.6 35B. Ils bénéficient par extension de l’architecture « Mixture of Experts ». Les modèles n’activent qu’une partie de leurs paramètres à l’inférence, ce qui sollicite moins de puissance de calcul. Cela permet surtout de les distribuer sur plusieurs GPU afin de servir un plus grand nombre d’usagers.

Dans le détail, Thomson Reuters s’est appuyé sur les variantes du FAIR Lab de l’Imperial College de Londres, Snowdon-Large et Small.

Snowdon est un projet de « réalignement » des modèles d’Alibaba à partir d’une constitution publique et ouverte, inspirée des travaux d’Anthropic. Mais au lieu de formuler des interdictions explicites, la constitution du FAIR Lab énumère cinq principes généraux (« globalement sûr, généralement éthique, impartial et sans parti pris, conforme aux directives institutionnelles et véritablement utile ») et les argumentaires associés. Cela permettrait de généraliser l’application de certains principes sans que le LLM refuse de répondre à certaines questions. Le processus a été répété pour tenter d’aligner les « checkpoints » finaux sur les principes de l’entreprise.

Éviter les « pertes » de connaissances

Pour donner naissance à Thomson Large et Small, les LLM Snowdon ont été entraînés selon une « approche » d’apprentissage continu (« continual learning »). L’objectif : éviter l’oubli de connaissances, généralement plus subtiles que le phénomène d’oubli catastrophique observé lors des premiers affinages de SLM.

C’est le problème majeur auquel est confronté toute équipe qui tente de réentraîner ou de fine-tuner un LLM avec des données spécifiques à un domaine. Si des mitigations existent et sont maîtrisées (rejeu des connaissances généralistes, révision des paramètres modifiés, etc.), « aucune ne le règle ».

 « Tout au long du développement de cette approche, nous avons constaté que la mise en œuvre itérative, rigoureuse et disciplinée d’idées bien établies – “Data Rehearsal”, “Architectural Regularisation” et “Functional Regularisation” –, appliquées de manière sélective, mais cohérente à chaque étape du pipeline, constituait une stratégie nettement plus efficace et plus pratique que des modifications isolées apportées à un seul algorithme d’apprentissage », observent les chercheurs.

Par ailleurs, ils n’ont pas seulement préentraîné des modèles open weight, mais ont adapté finement les instructions utilisées lors du post-entraînement. Il fallait s’assurer que Thomson-Large et Small suivent à la lettre les indications fournies dans les prompts des usagers. Surtout, l’incapacité du modèle à suivre des indications est l’un des agents principaux de l’érosion des connaissances, souligne le laboratoire.

Outre un pipeline d’entraînement agentique – désormais la norme dans l’industrie – le laboratoire de Thomson Reuters a co-développé et utilisé CapTrack, un framework/benchmark pour évaluer finement le phénomène d’oubli et de dérive tout au long de l’entraînement.

Le pipeline complet d’entraînement se décline en trois phases : l’alignement des LLM sur la constitution, le gain de connaissances, puis l’affinage de son comportement, de ses compétences et de ses capacités agentiques.

L’une des fonctions clés utiles au sein des applications légales, financières et aux journalistes de Reuters n’est autre que la recherche profonde. Un des principes clés de cette capacité, précisent les chercheurs, est de considérer qu’une information fiable ne se trouve pas publiquement sur le Web. « Les sources fiables se trouvent souvent dans des bases de données privées ou sous licence et dans des corpus accessibles uniquement sur abonnement, plutôt que sur le Web ouvert indexé », notent les chercheurs. « Par conséquent, un modèle ne peut pas (et ne doit pas) se rabattre sur du contenu Web mémorisé ou sur des résultats de recherche généraux ; ses performances doivent donc dépendre de la recherche et de l’extraction effectuées au moment de l’inférence à partir de ces sources contrôlées ».

Ce faisant, Thomson Reuters n’aurait exploité que 10 % des contenus à sa disposition couvrant les actualités de Reuters, les commentaires légaux de Westlaw et de Practical Law, ainsi que les documents financiers associés à Checkpoint.

Tenter de surpasser Claude, GPT et Gemini

Surtout, les méthodes et les pipelines peuvent être réutilisés pour réentraîner des LLM plus performants. Une approche que les chercheurs ont déjà testée.

En attendant, « Thomson affiche des performances comparables à celles des modèles “frontier” les plus performants du marché, notamment Claude Opus 4.8, et devance GPT-5.5, Claude Sonnet 5 et Gemini 3.1 Pro », affirment-ils, dans un billet de blog. « Il [Thomson-Large] se distingue surtout sur un point crucial : ses citations résistent davantage à la vérification ».

Les experts et les universitaires cités par Thomson Reuters confirment évidemment ses dires. Si cela semble encore difficilement vérifiable, l’éditeur précise toutefois que l’évaluation des modèles s’est appuyée sur un cadre conçu par des experts en interne et missionné par l’entreprise. « Chaque grille énumère ce qu’une réponse correcte doit contenir. Ce processus est lent, coûteux et ne peut être ni confié au crowdsourcing ni synthétisé », souligne-t-il.

Les LLM Thomson auraient également été formés aux nuances des accords commerciaux et à fournir non pas les meilleures réponses dans un cas d’école, mais les plus utiles sur le terrain. En cela, ils doivent apprendre des avis divergents des experts sollicités. D’où la nécessaire mise en qualité des données. Par exemple, pour la phase intermédiaire de « mid-training », 200 milliards de tokens ont été retenus sur une base de 19 000 milliards de tokens constitués de données privées et publiques.

Cette ablation volontaire (dérivé d’une nécessité économique) est aussi l’un des critères d’amélioration des modèles Thomson. Selon les chercheurs, élargir le panel de données de qualité permettrait de rendre le mid-training plus efficace. Par ailleurs, l’amélioration de l’apprentissage par renforcement permettrait de fournir de meilleures réponses et d’éviter les oublis. Les ingénieurs souhaitent aussi se passer des LLM d’Anthropic (Claude Sonnet 4.5 et 4.6) utilisés comme des LLM-as-a-Judge. Thomson-Large premier du nom pourrait être utilisé pour entraîner ses successeurs, voire servir de base aux prochains modèles.  

À noter que Thomson Reuters ne s’est pas concentré sur la programmation : les chercheurs souhaitent améliorer ce point. Tout comme ils doivent s’assurer d’introduire une phase de red teaming pour s’assurer du bon respect de la constitution par les prochains LLM. Les problèmes d’hallucinations sont majoritairement réglés par l’attention à la qualité des données. Or, un tel contrôle est difficile à reproduire. Les chercheurs voudraient que d’autres entreprises puissent s’inspirer de leurs travaux pour entraîner leurs propres LLM. « Nous pensons qu’il pourrait être utile de mettre au point avec soin un processus de traitement des questions litigieuses, afin d’automatiser entièrement le processus d’alignement constitutionnel ».

Reste aux clients de la firme de vérifier ses dires. Et voir si l’initiative fera des adeptes. Thomson Reuters valide toutefois l’approche poussée par Nvidia et Mistral AI. Selon eux, le réentraînement des LLM sur des données spécifiques à un domaine, demeure un champ prometteur financièrement et évite une trop forte dépendance à Anthropic ou OpenAI. À condition de réunir une belle mise de départ.