RAG : guide de survie pour une implémentation réussie

Introduction

Elle a été très vite perçue comme la technique pour ancrer les résultats des modèles d’IA générative dans le contexte de l’entreprise. Dès 2023, les éditeurs et les entreprises ont testé la mise en place de l’architecture Retrieval Augmented Generation (RAG). Elle a exposé ces primoadoptants à des difficultés bien connues de Google. L’indexation et la recherche d’informations pertinentes dans une base documentaire sont un art.

Oui, l’émergence de l’IA générative en simplifie certains aspects. Pour autant, chaque traitement effectué au cours de ce processus permettant d’obtenir un résultat informé pose son lot de défis. De l’ingestion, en passant par l’indexation, la vectorisation, la recherche et la génération de la réponse. Les influenceurs sur LinkedIn l’affirment haut et fort : « RAG is dead ». L’allongement de la fenêtre de contexte des grands modèles de langage permettrait de se passer de ce fastidieux processus pour obtenir des résultats cohérents et sourcés. C’est faux.

« La RAG n’est pas une solution de contournement pour la taille limitée du contexte », explique Qdrant. « Pour les cas d’usage critiques en entreprise, c’est un moyen d’exploiter des connaissances d’entreprise propriétaires de grande valeur que l’on ne trouvera jamais dans les jeux de données publiques utilisés lors de l’entraînement de LLM ».

Comme ce n’est pas non plus une solution miracle, il est de bon ton d’en limiter les contours. Par exemple, l’indexation de millions de documents n’est pas une bonne idée. Les entreprises les plus avancées semblent se limiter à quelques dizaines de milliers de documents. Par exemple, lors de l’AWS Summit 2025 à Paris, Bureau Veritas a présenté une architecture RAG accessible à 83 000 collaborateurs rassemblant 28 000 documents techniques.

D’autant que le vieil adage « garbage-in, garbage-out » prévaut. Ou, comme le dit Bruno Maillot, directeur Practice AI for Business chez Sopra Steria Next, « l’IA générative, ça ne fait pas des Chocapic ».

Ce guide revient sur les techniques, briques et approches essentielles à la mise en place d’une telle architecture. Il évoque des cas d’usage, les solutions du marché et l’émergence de ce que LeMagIT appelle « RAG as a Service ». Une appellation qui plaît peu aux équipes marketing des éditeurs, mais qui semble traduire assez justement l’intérêt des solutions presque clés en main comme Agentspace, Amazon Q Business et d’autres.

Pour l’instant, la notion de graphe de connaissance – ou GraphRAG – est évoquée, mais pas détaillée. Cette technique avancée donnera lieu à une actualisation de ce dossier, tout comme « l’agentification » des architectures RAG. Quant à l’ingestion de documents véritablement non structurés – fichiers audio et vidéo en tête de liste –, elle est balbutiante.

1Conseils-

Les fondamentaux d’une architecture RAG

2Bases de données-

Une brique essentielle de l’architecture RAG

3« RAG as a Service »-

Des solutions clés en main ou presque

4Cas d’usage-

Les premiers déploiements