Isoler les e-mails des LLM dans les workflows automatisés
Lorsqu'un agent LLM commence à envoyer des e-mails ou à approuver des tickets, la problématique change. Il ne s'agit plus de savoir si votre prompt fonctionne. Désormais, votre système repose sur trois couches : décision, exécution et vérification.
Si vous mélangez ces couches, votre équipe aura du mal à comprendre ce que l'agent a réellement fait.
L'étape de l'e-mail semble souvent être la fin d'un workflow. En réalité, c'est là que les échecs apparaissent en premier. Un agent peut classer correctement une requête mais l'envoyer à la mauvaise personne ou utiliser un lien expiré. Vous devez isoler les tests et les traces.
Une conception stable ne cherche pas à tester l'intelligence d'un seul coup. Au lieu de cela, divisez votre système en petits contrats :
- Contrat d'entrée : Définissez les données que l'agent utilise et les actions qu'il peut demander.
- Contrat d'exécution : Définissez comment une action devient un e-mail spécifique.
- Contrat d'observabilité : Liez les logs, les messages reçus et l'état final du système.
Gardez la logique d'e-mail en dehors du prompt libre. Le LLM peut suggérer une action telle que "send_followup_email." Cependant, le modèle ne doit pas décider des en-têtes, des destinataires ou des politiques de retry. Utilisez du code déterministe pour ces traductions.
Cette approche réduit le risque opérationnel. Le LLM propose, le système valide et l'exécuteur envoie.
Pour maintenir une visibilité claire, suivez ces quatre signaux :
- La décision prise par l'agent et le contexte utilisé.
- La commande finale envoyée à l'exécuteur d'e-mails.
- Le message reçu dans une boîte de réception isolée.
- L'effet final après avoir cliqué sur un lien ou confirmé une action.
Utilisez un trace_id partagé de l'événement initial jusqu'au clic final. Cela vous aide à trouver les erreurs rapidement. Vous saurez si l'échec s'est produit dans le modèle, la politique de l'outil ou le worker.
Suivez cette checklist pour une meilleure automatisation :
- Chaque exécution possède son propre trace_id.
- Le LLM ne demande que des actions conformes à un schéma valide.
- L'exécuteur d'e-mails re-valide le destinataire et le template.
- Chaque scénario de test utilise sa propre boîte de réception isolée.
- Le clic final confirme le changement d'état attendu.
- Les logs vous permettent de suivre le cas sans avoir à deviner.
Séparer ces étapes demande un peu plus de travail. Mais cela vous apporte quelque chose de précieux : la capacité d'expliquer pourquoi un e-mail a été envoyé ou pourquoi il a échoué.
Optional learning community: https://t.me/GyaanSetuAi