Problème
Vous posez la même question deux fois et vous obtenez deux réponses différentes. Parfois seulement la formulation change, parfois le contenu aussi : un chiffre n'est plus le même, une conclusion s'inverse. Le réflexe est d'y voir un défaut à signaler. Ce n'en est pas un, et c'est important de le comprendre avant d'aller plus loin : un modèle de langage ne récite pas, il choisit. À chaque mot, il tire parmi plusieurs suites plausibles. Deux tirages donnent deux textes. Ce qui compte n'est donc pas de savoir si ça varie, mais de savoir si ça varie sur la forme ou sur le fond. Les deux ne se traitent pas pareil, et la seconde est un signal d'alarme.
Solution recommandée
Commencez par distinguer les deux variations, parce que tout le reste en dépend. La variation de formulation est bénigne. Deux phrases différentes qui disent la même chose, c'est normal et sans conséquence. La variation de fond est grave. Deux réponses qui se contredisent sur un chiffre, une date ou une conclusion signifient que le modèle n'a pas l'information et comble le vide. Chaque réponse est alors une invention plausible, y compris celle qui vous plaît. Ensuite, agissez selon le besoin. Si vous avez besoin d'un texte, la variation n'est pas un problème. Si vous avez besoin d'un résultat reproductible, ne confiez pas la tâche à un assistant sans contrôle.
Matériel & outils
L'assistant lui-même, pour le test des trois questions identiques. Le réglage souvent appelé température ou créativité, quand l'outil l'expose. Le baisser réduit la variation sans la supprimer. Un document, un tableau ou une source fiable à coller dans la conversation : fournir l'information est le levier le plus efficace. Un tableur ou une calculatrice, pour tout ce qui relève du calcul.
Étapes
1. Posez trois fois la même question, dans trois conversations neuves, sans rien changer. Une nouvelle conversation à chaque fois est essentiel : dans la même, l'historique influence la suite. 2. Comparez les faits et non les mots. Alignez les trois réponses et relevez uniquement les chiffres, les dates, les noms et les conclusions. 3. Si seuls les mots changent, il n'y a rien à corriger. Gardez la réponse la mieux écrite et passez à autre chose. 4. Si les faits changent, arrêtez d'utiliser ces réponses. Le modèle ne sait pas, et aucune des trois n'est fiable. Fournissez-lui l'information plutôt que de la lui demander de mémoire : collez le document, le tableau ou l'extrait de règlement dans la conversation. 5. Reposez la question avec la source fournie. La variation de fond doit disparaître. Si elle persiste, votre question est probablement ambiguë et le modèle tranche différemment à chaque fois. 6. Imposez un format dans votre demande. Nombre d'éléments, structure attendue, longueur. Un cadre étroit laisse moins de place au tirage au sort. 7. Baissez la température si l'outil le permet. Cela rend les réponses plus stables et plus plates. Utile pour une extraction, gênant pour de la rédaction. 8. Pour toute tâche qui doit être reproductible et auditable, sortez l'assistant de la boucle de décision. Il peut préparer, proposer, rédiger un brouillon. Le résultat final se calcule ailleurs.
Coût estimé
Gratuit. Le test des trois questions demande cinq minutes. Le seul coût réel est le temps de vérification, qui ne disparaît jamais sur les tâches où le fond compte.
Limites
La variation ne se supprime pas, elle se réduit. Même à température minimale, deux appels peuvent différer, et un changement de version du modèle chez le fournisseur modifie les réponses sans avertissement. Un résultat stable n'est pas un résultat juste. Un modèle peut se tromper de la même façon trois fois de suite, et cette constance est trompeuse : elle ressemble à de la fiabilité. Fournir la source réduit la variation de fond mais ne l'annule pas si la source elle-même est ambiguë ou se contredit. Enfin, la température n'est pas exposée par tous les outils, notamment les assistants grand public.
Erreurs fréquentes
Relancer jusqu'à obtenir la réponse qui plaît, puis la garder. C'est de la sélection de résultat, pas de la vérification, et cela donne une confiance totalement injustifiée. Confier un calcul à un assistant parce que le résultat semblait juste la première fois. Tout ce qui se calcule doit se calculer dans un tableur. Conclure qu'un modèle est meilleur qu'un autre parce qu'il a répondu juste une fois. Un essai ne départage rien sur un processus qui tire au sort. Comparer les réponses dans la même conversation. L'historique influence la suite, et la variation observée n'est plus celle qu'on croit mesurer. Prendre la stabilité pour de la fiabilité. Trois réponses identiques et fausses restent fausses.
Alternatives
Pour une extraction de données depuis des documents, un outil déterministe donne le même résultat à chaque exécution, et c'est ce qu'on veut : un script, une règle, un modèle de formulaire. Pour un calcul, un tableur. Il rend toujours le même résultat, et il montre sa formule. Pour une tâche répétitive dont le résultat doit être vérifiable, faire produire par l'assistant la procédure plutôt que le résultat. La procédure se relit une fois et s'applique ensuite mille fois de façon identique. Si la variation vient d'une information que le modèle n'a pas, un assistant branché sur vos documents répondra mieux, à condition qu'il cite ses sources.
Besoin d'un accompagnement personnalisé ?
Cours 1:1, conseil de solution, ou simplement une question précise - contacte-moi directement.