Titel: Ein Tool umbenennen, den gesamten Cache verlieren

Anthropic's neue Cache-Preisgestaltung bedeutet, dass eine winzige Änderung von nur einem Zeichen – das Umbenennen eines Tools oder das Hinzufügen eines Zeitstempels zu einem System-Prompt – einen günstigen Cache-Hit in einen teuren Cache-Miss verwandeln kann, was die Rechnungen um das Vielfache in die Höhe treibt.

Dieser Wandel resultiert aus Anthropics zweistufigem Cache-Rabatt. Bei einigen Modellen kostet ein Cache-Read nur 0,025 × den regulären Input-Preis; bei anderen beträgt der Rabatt 0,1 ×. Der Rabatt gilt nur, wenn die Anfrage exakt mit einem zuvor gecachten Eintrag übereinstimmt. Misses werden zum Basistarif abgerechnet, wodurch sich die Lücke zwischen Hit und Miss dramatisch vergrößert. In der Praxis kann eine geringfügige Prompt-Änderung die Kosten auf das Vierzigfache des erwarteten Betrags treiben.

Warum die Änderung wichtig ist

Anthropic hat die Cache-Stufe eingeführt, um die Wiederverwendung identischer Prompts zu fördern – ein gängiges Muster bei Agenten, die wiederholt denselben Toolset aufrufen. Die Idee ist simpel: Das Ergebnis einer Prompt-Tool-Kombination wird einmal gespeichert und bei späteren Aufrufen kostengünstig abgerufen. Die neuen Multiplikatoren machen die „Abruf“-Seite wesentlich günstiger, erhöhen aber gleichzeitig die Strafe für einen „Miss“ erheblich.

Entwickler, die Agenten um stabile System-Prompts herum aufgebaut haben, erleben nun, dass jede Abweichung – ob beabsichtigt oder versehentlich – die Cache-Kette unterbricht. Das Ergebnis ist eine versteckte Steuer auf den Dienst: Eine niedrigere Cache-Hit-Ratio schlägt sich direkt in höheren Betriebskosten nieder.

Was den Cache unterbricht

Die Dokumentation von Anthropic beschreibt eine Hierarchie, in der Änderungen auf höheren Ebenen alles darunter liegende ungültig machen. Die praktische Folge ist, dass scheinbar harmlose Bearbeitungen zu einer Abrechnung zum vollen Preis führen können.

  • Tool-Definitionen – Das Hinzufügen, Entfernen oder Umbenennen eines Tools oder das Ändern seiner Beschreibung löscht den Cache für die Tools, den System-Prompt und den gesamten Nachrichtenverlauf.
  • Web-Search-Toggle – Das Umstellen des Booleans, der ein Web-Search-Tool aktiviert, leert den System-Prompt und den Nachrichten-Cache.
  • Tool-choice-Parameter – Das Anpassen des Parameters, der festlegt, welches Tool ausgeführt werden soll, macht nur den Nachrichten-Cache ungültig.
  • Image-Payloads – Das Hinzufügen oder Entfernen von Bildern wirkt sich nur auf den Nachrichten-Cache aus.

Häufige Muster, die Entwickler unbeabsichtigt auslösen:

  1. Umordnung von Tools – Einige Codebasen sortieren Tool-Dictionaries bei jedem Deployment neu. Die neue Reihenfolge erzeugt einen anderen Cache-Key, was jedes Mal zu einem Miss führt.
  2. Zeitgestempelte Prompts – Das Einbetten eines „generated at HH:MM:SS“-Strings in den System-Prompt macht jede Anfrage einzigartig und garantiert einen Miss.
  3. Rotierende Prompt-Fragmente – Das Austauschen einer Begrüßung oder eines Versionsbanners ändert den Prompt-Hash und zerstört den Cache.

Die versteckten Kosten erkennen

Die Nutzungsprotokolle von Anthropic machen die Cache-Dynamik durch drei Felder sichtbar:

  • cache_read_input_tokens – Tokens, die aus einem Cache-Eintrag gelesen wurden.
  • cache_creation_input_tokens – Tokens, die dazu führten, dass ein neuer Cache-Eintrag gespeichert wurde.
  • input_tokens – Tokens, die zum regulären Tarif abgerechnet werden (der Rest nach den Cache-Reads).

Ein plötzlicher Anstieg der input_tokens bei gleichzeitigem Rückgang der cache_read_input_tokens signalisiert, dass sich etwas im Prompt-Stack geändert hat. Das Überwachen dieser Metriken ermöglicht es Teams, zu reagieren, bevor die Rechnung explodiert.

Die Reaktion der Entwickler

Angesichts der neuen Preisrealität behandeln viele Teams die Prompt-Stabilität nun als erstklassige Performance-Metrik. Gängige Strategien sind:

  • Statische System-Prompts – Speichern Sie den Prompt in einer versionskontrollierten Datei und injizieren Sie ihn ohne Änderungen zur Laufzeit.
  • Deterministische Tool-Reihenfolge – Definieren Sie Tool-Listen direkt im Code, anstatt sich auf die Sortierung von Dictionaries oder externe Generatoren zu verlassen.
  • Entfernung von Zeitstempeln – Verlagern Sie Logging- oder Zeitinformationen in einen separaten Metadaten-Kanal, der den Prompt-String nicht beeinflusst.
  • Cache-bewusstes Testen – Fügen Sie Unit-Tests hinzu, die verifizieren, dass der Hash des vollständigen Prompts (System + Tools + Nachrichten) über verschiedene Builds hinweg konstant bleibt.

Diese Praktiken verursachen einen geringen Engineering-Aufwand, schützen aber vor der „versteckten Steuer“, die ein Cache-Miss nun darstellt.

Die Perspektive von Anthropic

Anthropic argumentiert, dass der tiefere Rabatt die Wiederverwendung anreizt, was die gesamte Rechenlast auf seinen Servern reduzieren kann. Indem sie Cache-Reads drastisch günstiger machen, hoffen sie, dass Entwickler Agenten entwerfen, die denselben Toolset wiederholt aufrufen, anstatt ständig Prompts umzugestalten. Der Kompromiss ist eine höhere Strafe für nicht wiederverwendbare Aufrufe, was laut dem Unternehmen Entwickler zu einer besseren „Prompt-Hygiene“ bewegt.

Kritiker merken an, dass viele reale Agenten Prompts „on the fly“ anpassen müssen – das Hinzufügen von Kontext, Zeitstempeln oder dynamischen Tool-Auswahlen ist oft unerlässlich. Bei diesen Workloads könnte die neue Preisgestaltung Anthropic im Vergleich zu Anbietern, die eine Pauschalgebühr unabhängig von Cache-Hits berechnen, weniger attraktiv machen.

Worauf man als Nächstes achten sollte

  • Preisänderungen – Anthropic könnte die Multiplikatoren feinjustieren, falls das Feedback der Community zeigt, dass die Lücke zwischen Hits und Misses zu groß ist.
  • Cache-Control-Funktionen – Zukünftige API-Updates könnten es Entwicklern ermöglichen, festzulegen, welche Teile eines Prompts vom Cache-Key ausgeschlossen werden sollen, was einen Mittelweg bietet.
  • Reaktionen der Wettbewerber – Andere LLM-Anbieter könnten ihre eigenen Cache-Modelle anpassen, um wettbewerbsfähig zu bleiben, entweder durch flachere Preismodelle oder durch die Bereitstellung granularerer Cache-Steuerungen.

Fazit

Mit der neuen Cache-Preisgestaltung von Anthropic sind die Kosten eines Prompt-Miss nicht mehr nur eine geringfügige Unannehmlichkeit; sie sind ein finanzieller Hebel, der das Budget eines Projekts drastisch beeinflussen kann. Die Unveränderlichkeit von System-Prompts, Tool-Definitionen und zugehörigen Metadaten zu gewährleisten, ist nun ebenso wichtig wie das Schreiben von effizientem Code. Teams, die Prompt-Determinismus als messbare Metrik behandeln, werden Überraschungsrechnungen vermeiden und die Kosten für ihre KI-Agenten unter Kontrolle behalten.