Tout le monde parle de prompts. C'est dans la boucle que les agents échouent réellement
L'ingénierie de prompts attire toute l'attention. Les gens partagent des prompts et se sentent intelligents. Mais dans les systèmes agentiques que je construis, ce ne sont pas les prompts qui cassent. C'est la boucle qui casse.
Un agent n'est pas un simple couple prompt-réponse. C'est une boucle.
- Observer l'état.
- Prendre une action.
- Évaluer le résultat.
- Décider de continuer ou de s'arrêter.
Si l'une de ces étapes échoue, l'agent échoue. J'ai analysé 12 modèles sur 1 412 exécutions pour étudier cela. Voici comment les boucles échouent et comment les corriger.
Échecs de boucle courants :
- Spirales de tokens : l'agent se répète et consomme trop de tokens.
- Angles morts : l'agent ne perçoit pas son environnement et répète la même erreur.
- Faux succès : l'agent produit une mauvaise réponse mais pense qu'elle est correcte.
- Impasses : l'agent détecte une erreur mais ne peut pas utiliser cette donnée pour s'améliorer.
Un meilleur prompt ne peut pas résoudre ces problèmes. Vous avez besoin d'ingénierie de boucle.
Quatre principes de conception pour de meilleures boucles :
- Limiter la boucle : Fixez une limite stricte sur les itérations et les tokens. Si l'agent atteint un plafond, il doit s'arrêter et demander de l'aide.
- Rendre l'environnement lisible : Assurez-vous que l'étape d'observation fournit tous les faits à l'agent. Si un agent répète une action qui échoue, c'est qu'il manque d'informations pertinentes.
- Séparer l'acteur de l'évaluateur : Ne laissez pas le même modèle vérifier son propre travail. Utilisez un modèle différent ou un contrôle basé sur des règles pour juger la sortie.
- Boucler la boucle : Utilisez les erreurs pour générer de véritables corrections. Lorsqu'une boucle échoue, ajoutez un test de régression pour que cela ne se reproduise plus.
J'ai construit un agent de support nommé RelayOps en utilisant ces règles. Nous avons utilisé un juge indépendant pour noter l'agent.
Une fois, l'agent a cité le bon article mais n'a pas réussi à répondre à la question posée. Un simple contrôle basé sur des règles l'a laissé passer. Mais notre évaluateur indépendant l'a détecté. Nous avons utilisé cet échec pour corriger le système et avons ajouté un test pour éviter que cela ne se reproduise.
L'agent n'avait pas besoin d'être plus intelligent. C'est la boucle qui avait besoin d'une meilleure conception.
Arrêtez de vous concentrer uniquement sur les prompts. Concentrez-vous sur la structure.
Quel échec de boucle avez-vous rencontré ? Une spirale de tokens, un angle mort, ou un agent qui était persuadé d'avoir raison alors qu'il se trompait ?
Communauté d'apprentissage optionnelle : https://t.me/GyaanSetuAi