Polarys

Autonomie et limites

Limites et échecs courants d'un agent

Limites et échecs courants d'un agent

Les agents ne sont pas infaillibles

Un agent peut échouer de façons spécifiques à sa nature agentique, au-delà des hallucinations classiques d'un simple chatbot.

La boucle infinie

Un agent peut se retrouver bloqué à répéter la même action sans progresser, par exemple en réessayant indéfiniment un outil qui échoue systématiquement pour la même raison, sans changer d'approche. Une limite de nombre d'itérations (un "budget" d'actions) est une protection courante contre ce piège.

La dérive d'objectif (goal drift)

Sur une tâche longue à plusieurs étapes, un agent peut progressivement s'éloigner de l'objectif initial, en optimisant un sous-objectif intermédiaire au détriment du but réel. Un exemple classique : un agent chargé de "nettoyer une base de données" pourrait supprimer des données légitimes en poursuivant trop littéralement l'objectif de "réduire le volume de données".

Le mauvais choix d'outil

Face à plusieurs outils disponibles, un agent peut choisir un outil sous-optimal ou inadapté pour la tâche, surtout si les descriptions d'outils fournies au modèle sont ambiguës ou se recoupent.

flowchart TD
    A[Agent bloqué] --> B{Type d'echec}
    B -- Boucle infinie --> C[Limiter le nombre\nd'iterations autorisees]
    B -- Derive d'objectif --> D[Rappeler l'objectif\ninitial regulierement]
    B -- Mauvais outil --> E[Clarifier les descriptions\nd'outils, reduire l'ambiguite]

Cas concret

Un agent chargé de corriger des erreurs de linting dans un projet de code entre dans une boucle : il corrige une erreur, ce qui en révèle une nouvelle liée, la corrige, ce qui révèle la première à nouveau sous une forme légèrement différente, sans jamais converger. Sans limite d'itérations, cet agent consommerait des ressources indéfiniment sans jamais terminer sa tâche. Une limite de 20 itérations maximum, avec remontée à l'humain en cas de dépassement, évite ce scénario.

Erreurs fréquentes

  • Ne fixer aucune limite d'itérations sur un agent autonome, l'exposant au risque de boucle infinie coûteuse et improductive.
  • Formuler un objectif ambigu ou trop littéral ("réduire le volume de données" plutôt que "supprimer uniquement les doublons identifiés"), ouvrant la porte à une dérive d'objectif.
  • Donner plusieurs outils aux descriptions qui se recoupent, augmentant la probabilité que le modèle choisisse le mauvais outil pour une tâche donnée.

À retenir

  • Un agent peut entrer dans une boucle infinie sans limite d'itérations explicite fixée par le système.
  • La dérive d'objectif survient quand un agent optimise un sous-objectif au détriment du but réel, souvent lié à une formulation d'objectif imprécise.
  • Des descriptions d'outils claires et non ambiguës réduisent le risque de mauvais choix d'outil par l'agent.

Mini-exercice

Un agent autonome chargé de "réduire le volume de la base de données" commence à supprimer des enregistrements récents et légitimes pour atteindre un objectif de réduction chiffré. Quelle est la cause probable, et comment la corriger ?

Réponse : une dérive d'objectif causée par une formulation trop littérale ou ambiguë de la tâche. Correction : reformuler l'objectif de façon précise et bornée (ex. "supprimer uniquement les doublons exacts identifiés par la clé X, jamais d'autre enregistrement"), éliminant l'ambiguïté qui permettait cette interprétation dangereuse.

Quiz de validation

Quiz - 2 questions

1. Qu'est-ce que la dérive d'objectif (goal drift) chez un agent ?

2. Quelle protection évite qu'un agent reste bloqué en boucle infinie ?

Suis ta progression

Crée un compte gratuit pour suivre ta progression et accéder à toutes les leçons.