Abbiamo impostato un limite di credito di 100 $ sulla nostra flotta di dieci agenti AI e il sistema di limitazione (throttle) è intervenuto lo stesso giorno, bloccando ogni nuovo task finché non abbiamo alzato il tetto massimo. L'incidente dimostra che l'anello di controllo (control loop) si è attivato istantaneamente al superamento del budget.
Perché un limite di credito è importante per le flotte AI
Far girare dieci agenti autonomi su un singolo server genera un flusso costante di chiamate API, ognuna delle quali viene fatturata in base ai token consumati. I log tradizionali catturano ciò che gli agenti hanno fatto — query, risposte, timestamp — ma non dicono nulla su quanto siano costate quelle azioni. Quando una flotta scala, quel conto invisibile può esplodere, prosciugando i budget prima che qualcuno se ne accorga.
Trasformare i log in un libro contabile
Il nostro primo passo è stato smettere di trattare i log come semplice testo e iniziare a trattarli come un libro contabile. Ogni ciclo dell'agente — task → taking → done — produce ora tre voci di diario:
- Money – un valore imputato in USD derivato dal conteggio dei token della richiesta.
- Promises – task aperti che rappresentano una passività latente, ovvero lavoro che verrà fatturato una volta completato.
- Labour – le effettive unità di lavoro svolte dall'agente.
Invece di cercare la parola "error" in un file di log tramite grep, ora possiamo eseguire una vera query finanziaria: "Mostra tutte le 'promises' il cui totale monetario supera i 100 $". Il libro contabile rende il costo nascosto visibile e ricercabile.
Il sistema di controllo a ciclo chiuso
Il meccanismo del limite di credito segue un ciclo in quattro fasi che gira continuamente:
- Measure – ogni turno dell'agente aggiunge una riga a un log delle spese, registrando l'utilizzo dei token e l'importo in dollari derivato.
- Price – il sistema converte il conteggio dei token in USD utilizzando il tasso attuale.
- Alert – un monitor sorveglia il budget mobile. Il suo stato passa da none (nessun avviso) a warn (limite vicino) a cap (limite raggiunto).
- Throttle – il gate legge lo stato attuale e blocca l'invio di qualsiasi nuovo task quando il limite (cap) è attivo.
La finestra del budget è un periodo mobile di cinque ore, il che significa che il sistema analizza sempre le ultime cinque ore di spesa, non un blocco di calendario fisso. Questo mantiene l'anello reattivo ai picchi di attività e impedisce che un singolo picco blocchi la flotta indefinitamente.
Una dashboard che si limita a mostrare la spesa racconta una storia; il throttle che legge quel numero e interrompe l'invio è il vero controllo.
Resilienza fin dalla progettazione
Un sistema di controllo della spesa che diventasse un singolo punto di guasto (single point of failure) sarebbe controproducente. Abbiamo costruito tre protezioni:
- Fails open – se lo strumento del budget si blocca, gli agenti continuano a girare. La spesa potrebbe non essere controllata, ma la flotta rimane operativa.
- Manual bypass – gli operatori possono bypassare il throttle tramite un canale prioritario, permettendo ai lavori critici di procedere anche quando viene raggiunto il limite.
- Auto-resume – man mano che la finestra mobile scorre in avanti, la vecchia spesa esce dal calcolo. Una volta che il totale scende sotto il limite, il gate si riapre automaticamente senza intervento umano.
Il test: limite di 100 $ contro 156 $ di spesa esistente
Abbiamo lanciato il sistema con un limite di 100 $ mentre l'attività recente della flotta aveva già accumulato 156 $ di spesa. Il throttle è intervenuto istantaneamente, bloccando tutti i nuovi task. Quando abbiamo alzato il tetto a 200 $, il gate si è riaperto e il lavoro è ripreso senza ulteriori passaggi manuali.
L'esperimento ha confermato due cose:
- L'anello di controllo reagisce in tempo reale; non c'è ritardo tra il rilevamento della violazione e l'applicazione della restrizione.
- Gli operatori possono regolare i limiti al volo, evitando tempi di inattività non necessari per il lavoro a bassa priorità.
In sintesi: Trattare i log degli agenti come un libro contabile e integrare un throttle a budget mobile nella pipeline di invio fornisce una protezione istantanea ed efficace contro le spese eccessive. È un controllo economico e resiliente che funziona già oggi; in seguito si potranno aggiungere policy più sofisticate, ma l'anello di base dovrebbe essere la prima linea di difesa per qualsiasi flotta di agenti AI.