Le problème que les sources résolvent
Un modèle génère du texte plausible. Une affirmation fausse a exactement la même forme qu'une affirmation vraie : même assurance, même syntaxe, même précision apparente. Vous ne pouvez donc pas trier à la lecture.
Demander des sources ne rend pas le modèle plus exact. Cela vous rend capable de vérifier, ce qui n'est pas la même chose et vaut beaucoup mieux.
La demande qui marche, sur vos propres documents
Quand le modèle travaille sur un texte que vous lui avez fourni, la consigne utile est la citation littérale.
« Pour chaque affirmation, cite entre guillemets le passage exact du document qui la justifie. Si aucun passage ne la justifie, écris NON TROUVÉ au lieu de répondre. »
Deux effets, et le second compte plus que le premier. Les citations vous permettent de vérifier par recherche dans le texte, en quelques secondes. Et l'autorisation explicite de répondre NON TROUVÉ retire au modèle la pression de produire quelque chose : sans cette porte de sortie, il comblera le vide.
La demande qui marche, sur le web
Quand l'assistant consulte des pages, exigez trois choses ensemble : le lien, la date de la page, et la phrase reprise. Un lien seul ne prouve rien, car il arrive que la page existe mais ne contienne pas l'affirmation.
Vérifiez toujours au moins une source par réponse, choisie au hasard. C'est peu coûteux et cela suffit à détecter le cas où le modèle a fabriqué ses références.
Reconnaître une source inventée
Quatre signes, par ordre de fréquence :
- une référence trop parfaite, qui répond exactement à votre question dans son titre
- une date absente ou vague, alors que la page existe forcément à une date
- un lien qui ne s'ouvre pas, ou qui renvoie vers l'accueil du site
- une citation introuvable dans la page, ce qui se vérifie par une recherche de texte
Le premier signe est le plus trompeur, parce qu'il ressemble à de la chance.
Un exercice à faire une fois
Prenez un document que vous connaissez par coeur. Posez une question dont la réponse ne s'y trouve pas, sans le dire. Comparez deux demandes : l'une simple, l'autre imposant la citation littérale et autorisant NON TROUVÉ.
La première produit une réponse inventée dans une majorité de cas. La seconde s'abstient. C'est la démonstration la plus courte de tout ce cours, et elle prend cinq minutes.
À retenir
Exigez la citation exacte, autorisez explicitement le NON TROUVÉ, vérifiez une source au hasard. Vous ne rendez pas le modèle plus fiable, vous vous rendez capable de le contrôler.