Faire répondre une IA sur vos propres documents

« Est-ce qu'on peut lui donner nos procédures, pour que les nouveaux arrêtent de poser la même question quinze fois ? »

Oui. Et le résultat sera excellent ou inutilisable selon trois décisions que la plupart des gens prennent en cinq minutes sans savoir qu'elles décident de tout.

Ce guide traite ces trois décisions, puis vous donne la méthode pour savoir, avant de mettre l'outil entre les mains de vos collègues, s'il faut y aller ou pas.

Si vous cherchez plutôt à choisir entre cette approche et d'autres, le cours RAG : choisir son architecture fait ce travail de décision avec des quiz. Ici, on monte la chose.

D'abord, ce qui se passe réellement

On dit « donner ses documents à l'IA ». C'est faux, et le malentendu coûte cher.

Le modèle ne retient rien. Il ne lit pas vos documents une fois pour toutes. Voici ce qui se passe à chaque question :

flowchart TD
    A["Vos documents"] --> B["Decoupes en morceaux"]
    B --> C["Chaque morceau range<br/>dans un index"]
    D["Une question"] --> E["Recherche des morceaux<br/>qui ressemblent a la question"]
    C --> E
    E --> F["Les 3 a 5 meilleurs morceaux<br/>+ la question"]
    F --> G["Le modele redige<br/>a partir de CA seulement"]
    G --> H["Reponse + citation<br/>des morceaux utilises"]

Trois conséquences qui expliquent presque toutes les déceptions :

• Si le bon morceau n'est pas retrouvé, le modèle ne l'inventera pas. Il répondra quand même, à partir des morceaux retrouvés, même s'ils sont hors sujet.
• Le modèle ne voit jamais l'ensemble de vos documents. Il voit trois à cinq morceaux. Une question qui demande une synthèse de trente documents ne peut pas bien fonctionner ainsi.
• La qualité de la réponse dépend surtout de la qualité de la recherche, pas de l'intelligence du modèle. C'est contre-intuitif, et c'est pourquoi changer de modèle ne répare presque jamais un assistant documentaire décevant.

Décision 1 : quels documents entrent

C'est la décision la plus lourde, et celle qu'on prend le plus vite. La tentation est d'indexer tout le serveur de fichiers, « comme ça il saura tout ».

Deux raisons de ne pas le faire.

La qualité s'effondre. Plus l'index contient de documents, plus la recherche a de chances de rapporter un morceau qui ressemble à la question sans y répondre. Un index de trente procédures à jour rend de meilleures réponses qu'un index de trois mille fichiers dont la moitié sont des brouillons de 2017.

Vous exposez ce que personne n'ouvrait. Un document rangé dans un partage mal configuré était protégé par l'ignorance du chemin d'accès. Indexé, il devient trouvable par une question en français. Ce point mérite d'être traité avant, pas après : voir Brancher une IA sur vos fichiers n'ouvre aucune porte.

Le critère qui marche : n'indexez que ce que vous seriez prêt à afficher au mur de la salle de pause, pour commencer. Les procédures, les modes opératoires, la documentation technique, le règlement intérieur. Vous élargirez ensuite, document par document, en sachant ce que vous ajoutez.

Décision 2 : comment les documents sont découpés

La partie que presque tout le monde rate, parce qu'elle n'a pas l'air d'être une décision.

Vos documents sont coupés en morceaux avant d'être indexés. La taille de ces morceaux décide de la qualité :

• trop grands : chaque morceau contient la réponse noyée dans quatre paragraphes hors sujet. Le modèle reçoit beaucoup de bruit et répond de façon vague ;
• trop petits : la réponse est coupée en deux. Le morceau retrouvé dit « dans ce cas, appliquer la procédure suivante » et s'arrête là.

L'ordre de grandeur qui fonctionne pour de la documentation en français : quelques centaines de mots par morceau, avec un chevauchement entre morceaux consécutifs pour que rien ne tombe dans la fissure.

Mais le vrai conseil est ailleurs : découpez selon la structure de vos documents, pas selon un nombre de caractères. Un morceau par section, ou par article, ou par étape de procédure. Vos documents ont déjà des titres, ils indiquent où couper.

Comment vérifier : demandez à voir les morceaux retrouvés pour trois questions. Si un morceau commence au milieu d'une phrase ou mélange deux sujets, votre découpage est à revoir.

Décision 3 : les citations sont obligatoires

Non négociable. Un assistant documentaire qui répond sans dire d'où vient sa réponse est inutilisable, pour deux raisons.

On ne peut pas le vérifier. Et on ne peut pas le corriger : quand une réponse est fausse, sans la source, vous ne savez pas s'il faut réécrire la procédure, refaire le découpage ou retirer un vieux document.

Exigez que chaque réponse nomme le document et, si possible, la section. Si l'outil que vous évaluez ne sait pas faire ça, c'est un critère d'élimination, pas un détail de confort.

Savoir si c'est exploitable, avant de le livrer

Voici la méthode. Elle demande deux heures et vous évite de découvrir le problème par les plaintes de vos collègues.

Écrivez vingt questions dont vous connaissez déjà la réponse. Pas des questions inventées : les vraies, celles qu'on vous pose. Mélangez délibérément :

• douze questions dont la réponse est clairement dans un document ;
• quatre questions dont la réponse est répartie sur deux documents ;
• quatre questions dont la réponse n'est nulle part. Celles-là sont les plus instructives.

Posez-les, et classez chaque réponse dans une de ces cases :

Le dernier cas mérite son insistance. Un assistant qui invente sur les quatre questions sans réponse invente aussi ailleurs, sauf que vous ne le verrez pas parce que vous ne connaîtrez pas la bonne réponse.

Seuil raisonnable avant de livrer : au moins seize réponses justes et sourcées sur vingt, et zéro invention sur les quatre questions sans réponse. Si vous n'y êtes pas, ne livrez pas : reprenez le périmètre des documents et le découpage.

Les trois pannes que vous rencontrerez

Elles arrivent toutes, et aucune ne signifie que l'outil est mauvais.

Il ne trouve pas ce qui existe. La panne la plus fréquente et la plus démoralisante. Six causes possibles, à diagnostiquer dans l'ordre : L'assistant ne trouve pas la réponse, alors qu'elle est dans le document.

Il répond différemment à chaque fois. Normal sur la formulation, alarmant sur les faits : L'IA donne une réponse différente à chaque fois.

Il cite un document que le lecteur n'aurait pas dû voir. Ce n'est pas l'assistant qui a ouvert une porte : elle l'était déjà. Voir Brancher une IA sur vos fichiers n'ouvre aucune porte.

Quand il ne faut pas monter ça

Trois situations où la réponse honnête est de ne pas le faire.

Vos documents sont périmés ou contradictoires. Un assistant documentaire amplifie l'état de votre documentation. S'il existe trois versions de la procédure de congés, il en citera une au hasard, avec assurance. Rangez d'abord ; l'assistant ne rangera pas pour vous.

Vos documents sont des PDF scannés. Si le texte est en réalité une image, la machine n'y voit aucun mot. Ça s'ouvre, ça se lit à l'écran, et c'est invisible à l'indexation. À vérifier avant tout le reste : essayez de sélectionner du texte dans le PDF avec la souris. Si vous ne pouvez pas, il faudra une étape d'extraction.

La question qu'on vous pose demande un jugement, pas une information. « Est-ce que j'ai le droit de… » dans un cas limite ne se répond pas en citant un article. Là, l'assistant donnera une réponse plausible et fausse.

Ce qui fait monter la facture

Sans chiffres, parce qu'ils dépendent de l'outil et changent vite. Ce qui compte, c'est de savoir sur quels leviers vous agissez :

• le nombre de documents indexés, à l'indexation et à chaque réindexation ;
• la fréquence de réindexation. Reconstruire tout chaque nuit sur des documents qui bougent une fois par mois est du gaspillage pur ;
• la taille et le nombre des morceaux renvoyés à chaque question. Renvoyer dix gros morceaux au lieu de trois coûte trois fois plus, et rend souvent de moins bonnes réponses ;
• le volume de questions, qui est le seul levier que vous ne contrôlez pas et le seul qui soit une bonne nouvelle.

À retenir

• Le modèle ne mémorise rien. À chaque question, on lui remet trois à cinq morceaux de vos documents.
• La qualité vient de la recherche, pas du modèle. Changer de modèle ne répare pas un assistant documentaire décevant.
• Indexez peu et bien. Tout indexer dégrade les réponses et expose ce que personne n'ouvrait.
• Découpez selon la structure de vos documents, pas selon un nombre de caractères.
• Sans citation des sources, l'outil n'est ni vérifiable ni corrigible.
• Testez sur vingt questions connues, dont quatre sans réponse. Zéro invention sur celles-là, sinon ne livrez pas.
• Un assistant amplifie l'état de votre documentation. Il ne la range pas.