Het inschakelen van prompt caching leverde me niets op—sterker nog, mijn OpenAI-API-factuur steeg met ongeveer een kwart. De schuldige was een enkele regel die bij elke aanvraag veranderde: een tijdstempel die in de system prompt was ingebed.

LLM-providers laten ontwikkelaars promptfragmenten cachen om de kosten voor tokenverwerking te verlagen. Een cache-read (een "hit") kost slechts een tiende van het normale tarief, terwijl een cache-write (een "miss") ongeveer 1,25 × de normale prijs kost. Als er een write plaatsvindt maar het gecachte fragment nooit wordt gelezen, is de extra toeslag van 25 % verspilde moeite. Dat is precies wat er gebeurde toen de tijdstempel ervoor zorgde dat de prompt niet overeenkwam met een bestaande cache-entry.

Waarom caching averechts

Sommige ontwikkelaars beweren dat de complexiteit van het beheren van statische versus dynamische prompt-onderdelen zwaarder weegt dan de besparingen. Dat standpunt voorbijgaat aan het feit dat veel productie-pipelines configuratie (statisch) al scheiden van gebruikersgegevens (dynamisch). Door prompts op die manier te structureren, kan hetzelfde caching-mechanisme dat de oorspronkelijke ontwikkelaars van de API heeft geholpen, zonder extra inspanning worden ingezet. De afweging is een bescheiden discipline in prompt-ontwerp, geen fundamenteel gebrek in de technologie.

Wat je hierna moet doen

  • Monitor de twee cache-tellers wekelijks in je usage dashboard.
  • Audit de prompt-constructie om te bevestigen dat elk variabel element zich na het gecachte blok bevindt.
  • Voer A/B-tests uit met en zonder caching op een representatieve workload om de werkelijke besparingen te kwantificeren.
  • Valideer de gateway door de ruwe request-payloads te vergelijken voor en na een eventuele proxy.

Kernpunt

Prompt-caching kan de kosten van LLM API's drastisch verlagen, maar alleen als het gecachte segment bij elke aanroep echt identiek is. Een verloren timestamp of een ander dynamisch token aan het begin van een prompt dwingt elke keer tot een kostbare schrijfactie, wat de rekening opdrijft. Door statische instructies naar voren te plaatsen en veranderlijke gegevens naar het einde te verplaatsen, laat je de cache zijn werk doen en houd je de kosten onder controle.