𝗖𝗼𝗺𝗽𝗿𝗲𝗻𝗱𝗲𝗿𝗲 𝗹'𝗔𝗴𝗲𝗻𝘁 𝗟𝗼𝗼𝗽

Se sviluppi con modelli di tool-calling, la decisione più importante non è il prompt. È il loop attorno al modello.

Un LLM decide di utilizzare uno strumento, ma non può eseguirlo. L'applicazione o l'SDK deve assemblare il contesto, eseguire lo strumento e aggiungere i risultati. Questo ciclo è l'agent loop.

Il modello è solo una parte del sistema. L'harness o l'SDK gestisce l'orchestrazione. Ciò include l'assemblaggio del prompt, l'esecuzione degli strumenti, i tentativi di riesecuzione (retries) e la terminazione.

Concetti chiave per costruire agenti affidabili:

  • La gestione dello stato è vitale. Se perdi gli output degli strumenti, l'agente dimentica ciò che è accaduto.
  • Le prestazioni dipendono dal controllo della crescita del prompt. Usa prefissi stabili e il caching per mantenere bassi i costi.
  • La sicurezza richiede validazione. Usa dei gate di approvazione per le azioni che modificano i dati.
  • L'harness, non il modello, gestisce il ciclo di vita.

Un modello mentale pratico per il loop:

  • Costruisci lo stato di input.
  • Chiama il modello.
  • Ispeziona la risposta.
  • Se il modello richiede strumenti, validali ed eseguili.
  • Aggiungi i risultati degli strumenti al contesto.
  • Chiama nuovamente il modello.
  • Fermati solo quando il modello fornisce una risposta finale.

Due sistemi possono utilizzare lo stesso modello ma comportarsi in modo diverso. Ciò accade perché i loro harness prendono decisioni differenti riguardo al contesto, all'ordine degli strumenti e alla cronologia.

Attenzione a questi problemi comuni:

  • Comportamento ripetitivo: Solitamente causato da una continuità dello stato interrotta.
  • Bassa qualità: Spesso causata da output degli strumenti troppo lunghi o rumorosi.
  • Costi elevati: Solitamente causati da un ordine dei prompt inefficiente che interrompe il caching.
  • Azioni non sicure: Si verifica quando non si validano gli argomenti degli strumenti prima di eseguirli.

Il modello sceglie le azioni. L'harness controlla la realtà. Se vuoi un sistema migliore, non limitarti a modificare il prompt. Costruisci un loop migliore.

Fonte: https://dev.to/pramod_sahu_d5bd2e6de82d1/understanding-the-agent-loop-how-tool-using-llm-systems-actually-work-2mb5

Community di apprendimento opzionale: https://t.me/GyaanSetuAi