Quand le RAG échoue
Le RAG n'est pas une garantie contre les hallucinations
Même avec des passages pertinents fournis en contexte, le modèle générateur peut encore mal les interpréter, en extraire une information incorrecte, ou mélanger des informations de plusieurs passages de façon incohérente. Le RAG réduit le risque d'hallucination sur des faits privés, il ne l'élimine pas.
Les modes d'échec courants du RAG
| Problème | Cause typique |
|---|---|
| Recherche non pertinente | Découpage en chunks mal calibré, ou embeddings de mauvaise qualité pour le domaine |
| Information manquante | Document jamais indexé, ou mis à jour dans le système source mais pas dans la base vectorielle |
| Contradiction entre sources | Plusieurs versions d'un document coexistent dans la base, sans indication de laquelle fait autorité |
| Sur-confiance du modèle | Le modèle affirme une information avec assurance même si le passage récupéré est ambigu ou incomplet |
Vérifier la fraîcheur de la base de connaissances
flowchart TD
A[Document source\nmis a jour] --> B{Reindexation\nautomatique ?}
B -- Oui --> C[Base vectorielle\ntoujours a jour]
B -- Non, manuelle --> D[Risque : base\nvectorielle obsolete]
Un système RAG dont la base de connaissances n'est pas synchronisée automatiquement avec la source réelle des documents peut répondre avec assurance à partir d'informations obsolètes, un piège fréquent en production.
Cas concret
Une entreprise met à jour sa politique de télétravail dans son wiki interne, mais oublie de relancer l'indexation de son système RAG connecté à ce wiki. Un employé demande à l'agent "combien de jours de télétravail sont autorisés ?" et reçoit une réponse basée sur l'ancienne politique, toujours indexée dans la base vectorielle, sans aucun signal d'alerte indiquant que cette information pourrait être obsolète.
Erreurs fréquentes
- Ne jamais automatiser la réindexation de la base de connaissances RAG lors d'une mise à jour des documents source, exposant au risque de répondre avec des informations obsolètes sans le savoir.
- Laisser coexister plusieurs versions contradictoires d'un même document dans la base vectorielle sans mécanisme pour indiquer laquelle fait autorité.
- Faire une confiance excessive à une réponse générée via RAG simplement parce qu'elle cite un passage source, sans vérifier que ce passage est réellement pertinent et à jour.
À retenir
- Le RAG réduit le risque d'hallucination sur des faits privés, il ne l'élimine pas totalement : le modèle peut toujours mal interpréter un passage pertinent.
- Une base de connaissances RAG non synchronisée automatiquement avec sa source réelle peut répondre avec assurance à partir d'informations obsolètes.
- Des versions contradictoires coexistant dans la base vectorielle, sans indication d'autorité, produisent des réponses incohérentes selon le hasard de la recherche.
Mini-exercice
Un document source est mis à jour dans son système d'origine, mais la base vectorielle RAG connectée n'est pas automatiquement réindexée. Quel risque concret cela présente-t-il pour les utilisateurs de l'agent ?
Réponse : l'agent continue de répondre avec assurance à partir de l'ancienne version du document, sans aucun signal indiquant que l'information pourrait être obsolète, un risque d'autant plus dangereux que la réponse générée semble parfaitement fiable et sourcée.