Amazon Bedrock bietet nun Prompt-Caching für Claude 4.6 an – ein Feature, das die Antwortlatenz verringern und die Inferenzkosten für generative KI-Anwendungen senken kann. Die Funktion arbeitet so, dass ein statischer Teil eines Prompts für bis zu fünf Minuten gespeichert wird, sodass nachfolgende Aufrufe die kostspielige erneute Verarbeitung dieses Textes überspringen.

So fügt sich der Cache in die Anfragekette ein

Wenn eine Claude 4.6-Anfrage eingeht, arbeiten zwei Ebenen zusammen.

  • Modellebene – Claude 4.6 hält einen Key-Value (KV)-Cache im GPU-Speicher vor. Wenn das Modell zum ersten Mal einen Block von Anweisungen parst, speichert es die resultierende interne Repräsentation. Bei späteren Aufrufen, die denselben Block wiederverwenden, kann das Modell die Repräsentation abrufen, anstatt sie neu zu berechnen.

  • Bedrock-Ebene – Bedrock erstellt einen Fingerabdruck des statischen Prompt-Segments. Wenn eine neue Anfrage einen passenden Fingerabdruck aufweist, leitet Bedrock sie direkt an die GPU weiter, die den gecachten Zustand bereits hält, wodurch die „Warm-up“-Phase umgangen wird.

Stellen Sie es sich wie das Laden eines Spielstands vor, anstatt jedes Mal ein neues Spiel zu starten.

Regeln, die den Cache am Leben erhalten

  1. Mindestanzahl an Token – Claude Sonnet 4.6 benötigt mindestens 1.024 Token im gecachten Segment; Claude Opus 4.6 benötigt 4.096 Token. Alles, was kleiner ist, wird ignoriert.

  2. Fünfminütige Lebensdauer – Der Cache läuft nach fünf Minuten Inaktivität ab. Jeder Treffer setzt den Timer zurück, sodass ein stetiger Strom von Aufrufen den Cache unbegrenzt am Leben erhalten kann.

  3. Prompt-Reihenfolge – Bedrock liest den Prompt sequenziell. Die statischen Anweisungen müssen zuerst erscheinen, gefolgt von einem cachePoint-Marker, wobei alle benutzergenerierten Nachrichten nach diesem Marker kommen müssen. Selbst die Änderung eines einzigen Zeichens vor dem Marker zerstört den Fingerabdruck und erzwingt einen „Cold Read“.

Das Feature in die Praxis umsetzen

Die Bedrock Converse API ist der Einstiegspunkt. Nachfolgend finden Sie ein minimales Python-Snippet, das die erforderliche Struktur demonstriert.

import boto3

bedrock = boto3.client("bedrock-runtime", region_name="us-east-1")
MODEL_ID = "anthropic.claude-sonnet-4-6"

# Must be >1,024 tokens for Sonnet
BASE_SYSTEM_PROMPT = "Your long instructions here..."

system_configuration = [
    {"text": BASE_SYSTEM_PROMPT},
    {"cachePoint": {"type": "default"}}
]

conversation_history = []

def run_chat_turn(user_input):
    global conversation_history
    conversation_history.append(
        {"role": "user", "content": [{"text": user_input}]}
    )

    response = bedrock.converse(
        modelId=MODEL_ID,
        system=system_configuration,
        messages=conversation_history,
        inferenceConfig={"maxTokens": 500, "temperature": 0.4}
    )

    assistant_message = response["output"]["message"]
    conversation_history.append(assistant_message)

    metrics = response["usage"]
    print(f"Read from cache: {metrics.get('cacheReadInputTokens', 0)}")

Der cachePoint teilt Bedrock mit, wo das unveränderliche Segment endet. Nach dem ersten Aufruf sollte die Metrik cacheReadInputTokens einen Wert ungleich Null anzeigen, was bestätigt, dass der Cache genutzt wurde.

Warum dies für Entwickler wichtig ist

Die Trennung von statischen Anweisungen und dynamischer Benutzereingabe verschiebt die Arbeit von teuren GPU-Zyklen hin zu einem leichtgewichtigen Routing-Schritt. Für Chatbots, Retrieval-Augmented Generation (RAG)-Pipelines oder jeden Dienst, der denselben System-Prompt wiederholt, sind das schnellere Antworten und geringere abrechenbare Token-Anzahlen. In Szenarien mit hohem Durchsatz kann selbst eine moderate Reduzierung der Rechenzeit in spürbare Kosteneinsparungen resultieren.

Grenzen und Kompromisse

Das Feature hilft nur dann, wenn das Prompt-Segment die Mindestanzahl an Token erreicht und unverändert bleibt. Anwendungen, die Systemanweisungen häufig anpassen oder auf kurze Prompts angewiesen sind, werden kaum profitieren. Das fünfminütige Zeitfenster bedeutet zudem, dass unregelmäßiger Datenverkehr mit langen Leerlaufzeiten wiederholt „Cold Reads“ verursachen kann, was den Latenzvorteil zunichtemacht. Schließlich befindet sich der Cache im GPU-Speicher; wenn mehrere Modelle dieselbe Hardware nutzen, könnten Ressourcenkonflikte die Leistung beeinträchtigen, obwohl Bedrock diese Details nicht offenlegt.

Worauf Sie als Nächstes achten sollten

  • Metrik-Dashboards – Behalten Sie cacheReadInputTokens und die Gesamtlatenz im Auge, um sicherzustellen, dass der Cache wie vorgesehen genutzt wird.
  • Prompt Engineering – Das Entwerfen von Prompts, die die Größen-Schwellenwerte erfüllen, ohne die Anfrage aufzublähen, ist eine neue Disziplin für Entwickler.
  • Zukünftige Erweiterungen – Sollte Bedrock die Cache-Dauer verlängern oder die Token-Limits lockern, könnten sich die wirtschaftlichen Rahmenbedingungen für langwierige Konversationen weiter verändern.

Fazit: Prompt-Caching bietet Claude 4.6-Nutzern einen konkreten Hebel, um sowohl die Antwortzeit als auch die Kosten zu senken – vorausgesetzt, sie können einen ausreichend großen, unveränderlichen Prompt festlegen und die Aufrufe innerhalb eines kurzen Zeitfensters halten. Für jeden GenAI-Dienst, der dieselben Systemanweisungen wiederholt, lohnt es sich, dieses Feature frühzeitig zu testen.