𝗖𝗼𝗺𝗽𝗿𝗲𝗻𝗱𝗲𝗿𝗲 𝗹'𝗔𝗴𝗲𝗻𝘁 𝗟𝗼𝗼𝗽
Se sviluppi con modelli di tool-calling, la decisione più importante non è il prompt. È il loop attorno al modello.
Un LLM decide di utilizzare uno strumento, ma non può eseguirlo. L'applicazione o l'SDK deve assemblare il contesto, eseguire lo strumento e aggiungere i risultati. Questo ciclo è l'agent loop.
Il modello è solo una parte del sistema. L'harness o l'SDK gestisce l'orchestrazione. Ciò include l'assemblaggio del prompt, l'esecuzione degli strumenti, i tentativi di riesecuzione (retries) e la terminazione.
Concetti chiave per costruire agenti affidabili:
- La gestione dello stato è vitale. Se perdi gli output degli strumenti, l'agente dimentica ciò che è accaduto.
- Le prestazioni dipendono dal controllo della crescita del prompt. Usa prefissi stabili e il caching per mantenere bassi i costi.
- La sicurezza richiede validazione. Usa dei gate di approvazione per le azioni che modificano i dati.
- L'harness, non il modello, gestisce il ciclo di vita.
Un modello mentale pratico per il loop:
- Costruisci lo stato di input.
- Chiama il modello.
- Ispeziona la risposta.
- Se il modello richiede strumenti, validali ed eseguili.
- Aggiungi i risultati degli strumenti al contesto.
- Chiama nuovamente il modello.
- Fermati solo quando il modello fornisce una risposta finale.
Due sistemi possono utilizzare lo stesso modello ma comportarsi in modo diverso. Ciò accade perché i loro harness prendono decisioni differenti riguardo al contesto, all'ordine degli strumenti e alla cronologia.
Attenzione a questi problemi comuni:
- Comportamento ripetitivo: Solitamente causato da una continuità dello stato interrotta.
- Bassa qualità: Spesso causata da output degli strumenti troppo lunghi o rumorosi.
- Costi elevati: Solitamente causati da un ordine dei prompt inefficiente che interrompe il caching.
- Azioni non sicure: Si verifica quando non si validano gli argomenti degli strumenti prima di eseguirli.
Il modello sceglie le azioni. L'harness controlla la realtà. Se vuoi un sistema migliore, non limitarti a modificare il prompt. Costruisci un loop migliore.
Community di apprendimento opzionale: https://t.me/GyaanSetuAi