Titolo: Rinomina uno strumento, perdi l'intero cache

Il nuovo modello di prezzi per il cache di Anthropic significa che una modifica di un singolo carattere — rinominare uno strumento o aggiungere un timestamp a un system prompt — può trasformare un economico cache hit in un costoso cache miss, gonfiando le fatture di decine di volte.

Il cambiamento deriva dallo sconto sul cache a due livelli di Anthropic. Per alcuni modelli, una lettura dal cache costa solo 0,025 × il prezzo regolare dell'input; per altri, lo sconto è di 0,1 ×. Lo sconto si applica solo quando la richiesta corrisponde esattamente a una voce precedentemente memorizzata nel cache. I miss vengono fatturati alla tariffa base, quindi il divario tra hit e miss si amplia drasticamente. In pratica, una modesta modifica al prompt può far salire il costo fino a quaranta volte l'importo previsto.

Perché il cambiamento è importante

Anthropic ha aggiunto il livello di cache per incoraggiare il riutilizzo di prompt identici, un pattern comune negli agent che chiamano ripetutamente lo stesso set di strumenti. L'idea è semplice: memorizzare una volta il risultato di una combinazione prompt-strumento, per poi recuperarlo a basso costo nelle chiamate successive. I nuovi moltiplicatori rendono la fase di "recupero" molto più economica, ma rendono anche la penalità per un "miss" molto più severa.

Gli sviluppatori che hanno costruito agent basati su system prompt stabili vedono ora ogni variazione — intenzionale o accidentale — interrompere la catena del cache. Il risultato è una tassa occulta sul servizio: un rapporto di cache-hit più basso si traduce direttamente in costi operativi più elevati.

Cosa interrompe il cache

La documentazione di Anthropic descrive una gerarchia in cui le modifiche ai livelli superiori invalidano tutto ciò che sta al di sotto. La conseguenza pratica è che modifiche apparentemente innocue possono causare un addebito a prezzo pieno a cascata.

  • Definizioni degli strumenti – Aggiungere, rimuovere o rinominare uno strumento, oppure alterarne la descrizione, cancella il cache per gli strumenti, il system prompt e tutta la cronologia dei messaggi.
  • Interruttore web-search – Cambiare il valore booleano che abilita uno strumento di ricerca web svuota il cache del system prompt e dei messaggi.
  • Parametro tool-choice – Modificare il parametro che seleziona quale strumento eseguire invalida solo il cache dei messaggi.
  • Payload delle immagini – L'aggiunta o la rimozione di immagini influisce solo sul cache dei messaggi.

Pattern comuni che gli sviluppatori attivano involontariamente:

  1. Riordinamento degli strumenti – Alcune basi di codice ordinano i dizionari degli strumenti a ogni deployment. Il nuovo ordine crea una chiave di cache differente, forzando un miss ogni volta.
  2. Prompt con timestamp – Inserire una stringa "generato alle HH:MM:SS" nel system prompt rende ogni richiesta unica, garantendo un miss.
  3. Rotazione di frammenti del prompt – Sostituire un saluto o un banner di versione cambia l'hash del prompt e interrompe il cache.

Individuare il costo nascosto

I log di utilizzo di Anthropic espongono la dinamica del cache attraverso tre campi:

  • cache_read_input_tokens – Tokens letti da una voce del cache.
  • cache_creation_input_tokens – Tokens che hanno causato la memorizzazione di una nuova voce nel cache.
  • input_tokens – Tokens fatturati alla tariffa regolare (il resto dopo le letture dal cache).

Un improvviso aumento di input_tokens insieme a un calo di cache_read_input_tokens segnala che qualcosa nello stack del prompt è cambiato. Monitorare queste metriche permette ai team di reagire prima che la fattura lieviti.

La risposta degli sviluppatori

Di fronte alla nuova realtà dei prezzi, molti team ora trattano la stabilità del prompt come una metrica di performance di primo livello. Le strategie comuni includono:

  • System prompt statici – Memorizzare il prompt in un file controllato da versionamento e iniettarlo senza modifiche a runtime.
  • Ordinamento deterministico degli strumenti – Definire le liste degli strumenti direttamente nel codice invece di fare affidamento sull'ordinamento dei dizionari o su generatori esterni.
  • Rimozione dei timestamp – Spostare le informazioni di logging o di temporizzazione in un canale di metadati separato che non influisca sulla stringa del prompt.
  • Testing consapevole del cache – Aggiungere unit test che verifichino che l'hash del prompt completo (system + tools + messages) rimanga costante tra le varie build.

Queste pratiche aggiungono un piccolo sovraccarico ingegneristico, ma proteggono dalla "tassa occulta" che un cache miss rappresenta ora.

La prospettiva di Anthropic

Anthropic sostiene che lo sconto più profondo incentivi il riutilizzo, il che può ridurre il carico computazionale complessivo sui propri server. Rendendo le letture dal cache drasticamente più economiche, sperano che gli sviluppatori progettino agent che chiamino ripetutamente lo stesso set di strumenti invece di rimodellare costantemente i prompt. Il compromesso è una penalità più alta per le chiamate non riutilizzabili, il che, secondo l'azienda, spinge gli sviluppatori verso una migliore "igiene dei prompt".

I critici osservano che molti agenti nel mondo reale devono adattare i prompt al volo: aggiungere contesto, timestamp o selezioni dinamiche di strumenti è spesso essenziale. Per tali carichi di lavoro, il nuovo pricing potrebbe rendere Anthropic meno attraente rispetto ai provider che applicano una tariffa fissa indipendentemente dai cache hit.

Cosa osservare in seguito

  • Revisioni dei prezzi – Anthropic potrebbe affinare i moltiplicatori se il feedback della community dovesse mostrare che il divario tra hit e miss è troppo ampio.
  • Funzionalità di cache-control – I futuri aggiornamenti delle API potrebbero consentire agli sviluppatori di specificare quali parti di un prompt debbano essere escluse dalla cache key, offrendo una via di mezzo.
  • Risposte dei competitor – Altri provider di LLM potrebbero regolare i propri modelli di cache per rimanere competitivi, sia offrendo un pricing più uniforme, sia esponendo controlli di cache più granulari.

In sintesi

Con il nuovo pricing della cache di Anthropic, il costo di un prompt miss non è più un inconveniente marginale; è una leva finanziaria che può far oscillare drasticamente il budget di un progetto. Mantenere immutabili i system prompt, le definizioni degli strumenti e i metadati correlati è ora importante quanto scrivere codice efficiente. I team che trattano il determinismo dei prompt come una metrica misurabile eviteranno bollette a sorpresa e manterranno il controllo delle spese per i propri agenti AI.