AWS heeft een "prefix-aware routing"-optie toegevoegd aan Amazon SageMaker Inference, wat hogere cache-hitrates en aanzienlijk lagere latentie belooft voor klanten die large language models (LLM's) op hun eigen infrastructuur draaien. De wijziging is belangrijk omdat het zorgt voor merkbaar lagere latentie en lagere GPU-rekenkosten.

Waarom LLM-latentie belangrijk is

Wanneer een LLM een verzoek ontvangt, berekent het normaal gesproken de attention opnieuw over de gehele prompt — een kostbare stap die groeit met elk toegevoegd token. Als het model de attention-cache van een eerder verzoek kan hergebruiken, hoeft het alleen het nieuwe deel van de tekst te verwerken. Workloads die herhaaldelijk dezelfde system prompt sturen of een gespreksgeschiedenis bijhouden, zijn ideale kandidaten voor cache-hergebruik.

In de standaard SageMaker-opstelling worden inkomende verzoeken willekeurig verdeeld over de pool van inference-instances. Willekeurige distributie betekent dat een verzoek dat een warme cache had kunnen raken, vaak op een koude instance terechtkomt, wat een volledige herberekening afdwingt. Het resultaat is een hogere latentie en extra GPU-cycli, wat zich direct vertaalt in hogere kosten.

Hoe prefix-aware routing werkt

De nieuwe routeringsmodus houdt een lichtgewicht kaart bij van recente request-prefixes — in essentie het eerste deel van een prompt dat meestal constant blijft bij opeenvolgende oproepen. Wanneer een nieuw verzoek binnenkomt, controleert SageMaker de kaart en stuurt het verzoek door naar een instance die dezelfde prefix al heeft verwerkt. Als de instance de relevante attention-cache nog bezit, kan het model het grootste deel van het werk overslaan en het antwoord sneller genereren.

Kernpunten:

  • Geen code-wijzigingen vereist – de functie bevindt zich volledig in de inference service-laag.
  • Alleen van toepassing op self-hosted modellen – beheerde aanbiedingen zoals de API van OpenAI of de service van Anthropic blijven onveranderd.
  • Transparant voor applicaties – dezelfde SageMaker endpoint URL en het API-contract blijven van kracht.

Wie er baat bij heeft

Bedrijven die LLM's op SageMaker hosten, doen dit om uiteenlopende redenen, variërend van gegevensprivacy tot kostenbeheersing. Voor degenen die support-chatbots, verkoopassistenten of andere interactieve agenten draaien die herhaaldelijk een vaste system prompt gebruiken, kan de routeringsaanpassing de gemiddelde responstijden verkorten. Aan de kostenkant bespaart elke cache-hit de GPU op het opnieuw evalueren van het gedeelde deel van de prompt.

Beperkingen en tegenargumenten

Het voordeel hangt af van de aanwezigheid van herhaalde prefixes. Zeer variabele prompts — zoals eenmalige queries of dynamisch gegenereerde systeemberichten — zullen niet hetzelfde voordeel van de cache-hit ervaren.

Omdat de functie beperkt is tot self-hosted implementaties, kunnen klanten die vastzitten aan beheerde LLM-services er geen gebruik van maken.

Conclusie: Prefix-aware routing biedt SageMaker-gebruikers een eenvoudige zero-code manier om de latentie bij repetitieve LLM-workloads te minimaliseren en tegelijkertijd de GPU-kosten te verlagen. Voor organisaties die al modellen op het platform hosten, is de upgrade een risicoarme aanpassing die kan leiden tot snellere gebruikersinteracties en lagere rekeningen.