Vercel ha introdotto gli "AI Gateway Budgets", un limite di spesa per progetto e per chiave API che blocca automaticamente ulteriori chiamate ai modelli linguistici di grandi dimensioni (LLM) una volta raggiunto un limite prestabilito. La funzione è pensata per fermare i costi AI fuori controllo che possono esplodere a causa di un singolo loop errato o di un bug nei tentativi di riproporre la richiesta (retry).

Perché è importante un interruttore di emergenza (kill switch) dedicato solo all'AI

Gli sviluppatori che utilizzano l'AI Gateway di Vercel instradano le richieste LLM attraverso l'infrastruttura di Vercel, pagando per i token consumati da tali modelli. Un singolo loop di prompt-injection o una policy di retry configurata male possono generare migliaia di richieste di token in pochi minuti, trasformando un budget modesto in una fattura a cinque cifre. Gli attuali strumenti di gestione della spesa su Vercel operano a livello di account e limitano tutto il traffico in uscita, non solo le chiamate AI. Questo approccio troppo generico può paralizzare il front-end o l'API di un sito, anche quando il problema riguarda esclusivamente l'utilizzo dell'AI.

In cosa differiscono gli AI Gateway Budgets dai normali controlli di spesa

  • Ambito (Scope) – I budget si applicano solo alla spesa dei token AI, lasciando invariato il resto dell'account.
  • Granularità – I limiti possono essere impostati a livello di team, di progetto o di singola chiave API.
  • Comportamento – Quando viene raggiunto un limite, il gateway restituisce una risposta HTTP 402 "Payment Required", segnalando che la richiesta è stata bloccata perché il budget è esaurito.
  • Isolamento – Un singolo progetto che raggiunge il proprio limite non può esaurire il budget rimanente del team, proteggendo gli altri progetti da danni collaterali.

Configurare un budget in pochi minuti

Vercel consente di configurare i budget tramite la dashboard web o l'interfaccia a riga di comando (CLI). La CLI è utile per creare script su molti ambienti diversi.

Limite per l'intero team (mensile) 

vercel ai-gateway budgets set team --limit 500 --refresh-period monthly

Limite specifico per progetto (mensile) 

vercel ai-gateway budgets set project my-project --limit 200 --refresh-period monthly

I budget si sommano, quindi si applica il limite più restrittivo tra i due. Se il progetto raggiunge il tetto di 200 $, le richieste si interrompono anche se il team ha ancora 300 $ a disposizione.

Chiave per collaboratori esterni 

vercel ai-gateway api-keys create --name contractor \
  --limit 50 --refresh-period none --expiration 30d

La chiave scade dopo 30 giorni e si interrompe dopo 50 $ di spesa AI, fornendo una finestra di accesso temporizzata e pulita per i collaboratori esterni.

Cosa fanno effettivamente i limiti

  • Soft cap (limite flessibile) – La richiesta che spinge la spesa oltre la soglia viene comunque completata, quindi è possibile un piccolo sforamento.
  • Ritardo nell'applicazione (Enforcement lag) – I budget vengono valutati una volta ogni minuto o due; un picco di chiamate subito dopo il raggiungimento di un limite potrebbe passare prima che il blocco si attivi.
  • Nessuna copertura per BYOK – Se utilizzi le tue chiavi di un fornitore cloud (BYOK) per fatturare direttamente a un fornitore LLM esterno, il sistema di budget di Vercel non può vedere quel traffico, quindi il limite non si applica.

Quando la funzione eccelle e quando invece è limitata

L'interruttore di emergenza è una risposta pragmatica al problema dello "shock da fattura AI" che ha tormentato molti team SaaS. Per la maggior parte dei progetti ospitati su Vercel che si affidano all'AI Gateway integrato, il budget può essere configurato in meno di dieci minuti e fornisce una rete di sicurezza contro le spese accidentali.

Tuttavia, la natura di "soft cap" significa che un picco di breve durata può comunque costare qualche dollaro oltre il limite. I team che necessitano di blocchi assoluti (hard stops) potrebbero trovare insufficiente il ritardo di un minuto. Inoltre, le aziende che instradano il traffico LLM attraverso le proprie credenziali cloud devono fare affidamento su meccanismi di controllo dei costi esterni, poiché i budget di Vercel non vedranno tale utilizzo.

Cosa osservare in futuro

  • Metriche di adozione – I primi feedback degli sviluppatori indicheranno se la granularità del budget risolverà gli scenari di superamento dei costi più comuni.
  • Estensioni delle funzionalità – Le richieste di avvisi in tempo reale, intervalli di applicazione più stretti o limiti compatibili con BYOK potrebbero dare forma ai futuri aggiornamenti.
  • Risposta della concorrenza – Altre piattaforme serverless potrebbero introdurre controlli di spesa simili specifici per l'AI, trasformando la mossa di Vercel in uno standard di settore più ampio.

In sintesi

Gli AI Gateway Budgets di Vercel offrono agli sviluppatori un modo rapido, per singolo progetto, per interrompere la spesa dei token AI prima che si trasformi in una fattura a sorpresa. Lo strumento è facile da abilitare, opera al livello in cui si verificano la maggior parte degli incidenti di costi fuori controllo e restituisce un errore chiaro quando i limiti vengono superati. I suoi principali svantaggi — un piccolo sforamento, un ritardo nell'applicazione di circa un minuto e la mancanza di visibilità sul traffico BYOK — sono trasparenti, lasciando ai team la decisione se il compromesso sia adatto alla propria tolleranza al rischio. Per chiunque esegua chiamate LLM su Vercel, il nuovo interruttore di emergenza è una protezione pratica che vale la pena configurare oggi stesso.