Agenten-Gedächtnis: 7 Typen, und 2 erinnern sich eigentlich gar nicht

Ihr Agent hat kein Gedächtnisproblem. Er verfügt über sieben verschiedene Arten von Gedächtnis. Die meisten Teams bauen nur zwei davon.

Das Erste, was Sie verstehen müssen: Das Modell erinnert sich an nichts. Ein LLM ist eine reine Funktion. Es nimmt einen Input entgegen und gibt einen Output aus. Es überträgt keinen Zustand zwischen den Aufrufen. Was sich wie ein Gedächtnis anfühlt, ist lediglich eine Ebene, die bei jeder Anfrage den Verlauf erneut sendet. Sie bezahlen jedes Mal für diese Token.

Die meisten Engineering-Bemühungen lassen sich auf zwei Muster reduzieren: Gesprächsverlauf (Conversation History) und RAG. Dies sind zwei der sieben Typen. Das Problem? Sie machen Ihren Agenten im Laufe der Zeit nicht intelligenter.

Hier sind die sieben Typen des Gedächtnisses:

• Arbeitsgedächtnis (Working): Alles im aktuellen Kontextfenster. • Semantisches Gedächtnis (Semantic): Fakten, Präferenzen und Domänenwissen. • Episodisches Gedächtnis (Episodic): Ein Protokoll vergangener Ereignisse und dessen, was funktioniert oder gescheitert ist. • Prozedurales Gedächtnis (Procedural): Fähigkeiten, Workflows und Tool-Muster. • Abrufgedächtnis (Retrieval): Abrufen von Wissen mittels Ähnlichkeitssuche. • Parametrisches Gedächtnis (Parametric): In die Modellgewichte eingebettetes Wissen. • Vorausschauendes Gedächtnis (Prospective): Zukünftige Absichten und geplante Aufgaben.

Zwei davon sind kein echtes Gedächtnis. RAG ist lediglich ein Bereitstellungsmechanismus. Es ist die Rohrleitung, nicht das Wasser. Es bewegt Daten von einem Speicher in das Arbeitsgedächtnis. Wenn Sie nur eine Vektordatenbank verwenden, haben Sie ein Rohr gebaut und die Flüssigkeit vergessen.

Um einen Agenten zu bauen, der tatsächlich lernt, benötigen Sie eine Konsolidierungsschleife (Consolidation Loop). Das bedeutet, episodisches Gedächtnis in semantisches Gedächtnis umzuwandeln.

Der Prozess funktioniert so:

  1. Der Agent erlebt ein Ereignis (Episodisch).
  2. Der Agent sieht dasselbe Muster wiederholt auftreten.
  3. Der Agent abstrahiert dieses Muster zu einer permanenten Regel (Semantisch).

Nun muss der Agent nicht mehr über zwölf Beispiele nachdenken. Er wendet einfach einen Fakt an.

So priorisieren Sie Ihre Entwicklung:

  • Verwalten Sie das Arbeitsgedächtnis wie ein Budget. Es verursacht die höchsten Kosten. Nutzen Sie frühzeitig Zusammenfassungen (Summarization) und das Entfernen von Daten (Eviction).
  • Trennen Sie Ihre Speicher. Bewahren Sie Fakten, Ereignisse und Regeln an unterschiedlichen Orten auf.
  • Nutzen Sie einen Scheduler für das vorausschauende Gedächtnis. Verwenden Sie keinen Vektorspeicher für Dinge, die an einem bestimmten Datum geschehen müssen.
  • Ziehen Sie eine klare Grenze für das parametrische Gedächtnis. Nutzen Sie das Modell für das logische Denken (Reasoning), aber verwenden Sie Ihre eigenen Speicher für flüchtige Daten wie Zinssätze oder Produktregeln.

Die meisten Agenten von heute bestehen nur aus einem Kontextfenster und einer Vektordatenbank. Die Agenten, die gewinnen, sind diejenigen, die die Fehler von gestern in die Regeln von morgen verwandeln können.

Source: https://dev.to/shudiptotrafder/agent-memory-7-types-and-2-of-them-arent-memory-6oi

Optional learning community: https://t.me/GyaanSetuAi