Proactive Memory Boosts Sonnet 4.5 Scores by 8.3 Points on Terminal-Bench 2.0

Ein neues Modul für „proaktives Gedächtnis“ ermöglicht es LLM-Agenten, Aufgabenanforderungen, Umgebungsfakten und vergangene Fehler zu verfolgen – ohne das Kernmodell feinabzustimmen. In Benchmark-Tests steigerte diese Ergänzung den Score von Sonnet 4.5 um 8,3 Prozentpunkte bei Terminal-Bench 2.0 und um 6,8 Punkte bei der τ2-Bench-Suite; ein SETA-trainierter Memory-Agent erhöhte das pass@1 eines eingefrorenen Modells bei unbekannten Problemen von 37,6 % auf 41,1 %.

Warum Agenten den Faden verlieren

Wenn ein LLM-gesteuerter Agent einem mehrstufigen Verfahren folgt, zerfällt sein interner „Zustand“. Forscher nennen dies „behavioral state decay“ (verhaltensbedingten Zustandszerfall): Das Modell vergisst frühere Anweisungen, wichtige Fakten oder bereits begangene Fehler. Das Ergebnis ist eine Kaskade schlechter Entscheidungen, die eine Aufgabe lange vor ihrer Fertigstellung abbricht.

Die übliche Lösung besteht darin, das Kontextfenster zu vergrößern – also den Textblock, den das Modell gleichzeitig verarbeiten kann. Das hilft jedoch nur so lange, bis die Aufgabe das Fenster übersteigt; ältere Informationen werden verworfen und der Zerfall setzt erneut ein.

Eine Erinnerung, die nur bei Bedarf eingreift

Der neue Ansatz fügt einen leichtgewichtigen, zusätzlichen Memory-Agenten hinzu, der den Reasoning-Trace des Hauptmodells überwacht und gezielte Erinnerungen einfügt. Anstatt eine statische Liste vergangener Textfragmente abzurufen, entscheidet das Memory-Modul, wann und was bereitgestellt wird, und greift nur ein, wenn das Hauptmodell Anzeichen von Drift zeigt.

Da der Memory-Learner separat trainiert wird, bleibt das primäre Aktionsmodell eingefroren. Die Studie zeigt, dass diese Trennung dennoch erhebliche Gewinne bei Long-Horizon-Benchmarks erzielt, was beweist, dass proaktive Erinnerungen ein begrenztes Kontextfenster kompensieren können.

Was die Zahlen sagen

• Terminal-Bench 2.0: Sonnet 4.5 steigt um 8,3 Punkte über seinen Baseline-Wert.
• τ2-Bench-Suite: Dasselbe Modell verbessert sich um 6,8 Punkte.
• Pass@1 bei unbekannten Tests: Ein SETA-trainierter Memory-Agent hebt ein eingefrorenes Modell von 37,6 % auf 41,1 %.

Diese Steigerungen erfolgen ohne zusätzliches Fine-Tuning des Hauptmodells, sodass die Memory-Komponente in bestehenden Implementierungen ausgetauscht oder hinzugefügt werden kann.

Grenzen der aktuellen Arbeit

Die Experimente gehen nicht so weit, Folgendes zu testen:

• Skalierbarkeit: Es gibt noch keine Belege dafür, dass sich das Memory-Modul bei Modellen mit mehreren Milliarden Parametern oder Aufgaben, die Millionen von Schritten umfassen, genauso verhält.
• Produktionskosten: Das Speichern und Abrufen von Erinnerungen verursacht zusätzlichen Aufwand, aber die Studie quantifiziert nicht den zusätzlichen Speicher- oder Rechenaufwand, der in einem realen System erforderlich wäre.

Worauf man als Nächstes achten sollte

Zukünftige Benchmark-Suites müssen mehr als nur die reine Kontextgröße messen. Tests, die den Zustandszerfall explizit verfolgen und aktive Erinnerungssysteme belohnen, werden ein klareres Bild der langfristigen Zuverlässigkeit eines Agenten vermitteln. Forscher müssen zudem zeigen, dass proaktives Gedächtnis sowohl in Bezug auf die Modellgröße als auch auf die Betriebskosten effizient skaliert.

Fazit: Ein kleines, separat trainiertes Memory-Modul kann als Wächter für LLM-Agenten fungieren und Drift erkennen sowie korrigieren, bevor er eine Aufgabe vereitelt.