AWS ha aggiunto un'opzione di "instradamento consapevole del prefisso" (prefix-aware routing) ad Amazon SageMaker Inference, promettendo tassi di cache hit più elevati e una latenza sensibilmente inferiore per i clienti che eseguono modelli linguistici di grandi dimensioni (LLM) sulla propria infrastruttura. Il cambiamento è importante perché garantisce una latenza notevolmente ridotta e una diminuzione dei costi di calcolo GPU.

Perché la latenza degli LLM è importante

Quando un LLM riceve una richiesta, normalmente ricomputa l'attenzione su l'intero prompt — un passaggio costoso che aumenta con ogni token aggiunto. Se il modello può riutilizzare la cache dell'attenzione di una richiesta precedente, deve solo elaborare la nuova parte del testo. I carichi di lavoro che inviano ripetutamente lo stesso system prompt o mantengono una cronologia della conversazione sono candidati ideali per il riutilizzo della cache.

Nella configurazione predefinita di SageMaker, le richieste in arrivo sono distribuite casualmente tra il pool di istanze di inferenza. La distribuzione casuale significa che una richiesta che avrebbe potuto colpire una cache calda spesso finisce su un'istanza fredda, costringendo a una ricalcolazione completa. Il risultato è una latenza maggiore e cicli GPU extra che si traducono direttamente in una spesa più elevata.

Come funziona l'instradamento consapevole del prefisso

La nuova modalità di instradamento mantiene una mappa leggera dei prefissi delle richieste recenti — essenzialmente la prima parte di un prompt che tende a rimanere costante tra le chiamate. Quando arriva una nuova richiesta, SageMaker controlla la mappa e inoltra la richiesta a un'istanza che ha già elaborato lo stesso prefisso. Se l'istanza conserva ancora la cache dell'attenzione pertinente, il modello può saltare la maggior parte del lavoro e generare la risposta più velocemente.

Punti chiave:

  • Nessuna modifica al codice richiesta – la funzionalità risiede interamente nello strato del servizio di inferenza.
  • Si applica solo ai modelli self-hosted – le offerte gestite come l'API di OpenAI o il servizio di Anthropic non ne sono influenzate.
  • Trasparente per le applicazioni – l'URL dell'endpoint SageMaker e il contratto API rimangono invariati.

Chi ne trarrà vantaggio

Le aziende che ospitano LLM su SageMaker lo fanno per motivi che vanno dalla privacy dei dati al controllo dei costi. Per coloro che gestiscono chatbot di assistenza, assistenti alle vendite o qualsiasi agente interattivo che utilizzi ripetutamente un system prompt fisso, la modifica all'instradamento può ridurre i tempi medi di risposta. Dal lato dei costi, ogni cache hit evita alla GPU di dover rivalutare la parte condivisa del prompt.

Limiti e controargomentazioni

Il vantaggio dipende dalla presenza di prefissi ripetuti. Prompt altamente variabili — come query singole o messaggi di sistema generati dinamicamente — non vedranno lo stesso vantaggio in termini di cache hit.

Poiché la funzionalità è limitata alle implementazioni self-hosted, i clienti vincolati a servizi LLM gestiti non possono sfruttarla.

In sintesi: L'instradamento consapevole del prefisso offre agli utenti SageMaker un modo semplice e senza codice per ridurre al minimo la latenza nei carichi di lavoro LLM ripetitivi, tagliando al contempo i costi GPU. Per le organizzazioni che già ospitano modelli sulla piattaforma, l'aggiornamento è una modifica a basso rischio che potrebbe tradursi in interazioni utente più rapide e bollette più basse.