Isolare le email degli LLM nei workflow automatizzati
Quando un agente LLM inizia a inviare email o ad approvare ticket, il problema cambia. Non si tratta più di capire se il tuo prompt funziona. Ora, il tuo sistema si basa su tre livelli: decisione, esecuzione e verifica.
Se mescoli questi livelli, il tuo team farà fatica a capire cosa abbia effettivamente fatto l'agente.
Il passaggio dell'email spesso sembra la fine di un workflow. In realtà, è proprio qui che i fallimenti si manifestano per primi. Un agente potrebbe classificare correttamente una richiesta, ma inviarla alla persona sbagliata o utilizzare un link scaduto. Devi isolare test e tracce.
Un design stabile non cerca di testare l'intelligenza tutto in una volta. Invece, dividi il tuo sistema in piccoli contratti:
- Contratto di Input: Definisci quali dati utilizza l'agente e quali azioni può richiedere.
- Contratto di Esecuzione: Definisci come un'azione si trasformi in una specifica email.
- Contratto di Osservabilità: Collega i log, i messaggi ricevuti e lo stato finale del sistema.
Mantieni la logica dell'email al di fuori del prompt libero. L'LLM può suggerire un'azione come "send_followup_email". Tuttavia, il modello non dovrebbe decidere gli header, i destinatari o le policy di retry. Usa codice deterministico per queste traduzioni.
Questo approccio riduce il rischio operativo. L'LLM propone, il sistema valida e l'esecutore invia.
Per mantenere una visibilità chiara, monitora questi quattro segnali:
- La decisione presa dall'agente e il contesto utilizzato.
- Il comando finale inviato all'esecutore delle email.
- Il messaggio ricevuto in una casella di posta isolata.
- L'effetto finale dopo aver cliccato su un link o confermato un'azione.
Usa un trace_id condiviso dall'evento iniziale al clic finale. Questo ti aiuta a trovare gli errori rapidamente. Saprai se il fallimento è avvenuto nel modello, nella policy dello strumento o nel worker.
Segui questa checklist per un'automazione migliore:
- Ogni esecuzione ha il proprio trace_id.
- L'LLM richiede solo azioni all'interno di uno schema valido.
- L'esecutore delle email rivalida il destinatario e il template.
- Ogni scenario di test utilizza la propria casella di posta isolata.
- Il clic finale conferma il cambiamento di stato previsto.
- I log ti permettono di seguire il caso senza dover tirare a indovinare.
Separare questi passaggi richiede un po' di lavoro in più. Ma ti offre qualcosa di prezioso: la capacità di spiegare perché un'email è stata inviata o perché è fallita.
Community di apprendimento opzionale: https://t.me/GyaanSetuAi