𝟰𝟮/𝟲𝟬 𝗧𝗮𝗴𝗲 𝗦𝘆𝘀𝘁𝗲𝗺-𝗗𝗲𝘀𝗶𝗴𝗻-𝗙𝗿𝗮𝗴𝗲𝗻
Ihr KI-Agent merkt sich einen Benutzernamen.
Ein Nutzer bittet einen Agenten, einen günstigen Flug nach NYC zu buchen. Er fragt nach Hotels für unter 150 $ pro Nacht. Er bittet um einen Vergleich der Gesamtkosten der Reise.
Bei Schritt drei sendet der Agent 8.000 Token des Verlaufs an das LLM. Er antwortet so, als wäre es der erste Turn im Chat.
Sie benötigen eine Speicherarchitektur, bevor Sie dies produktiv setzen.
Wählen Sie eine Option:
In-Context-Window: Behalten Sie den gesamten Verlauf im Prompt. Es ist einfach. Es scheitert nach 15 Turns oder 8.000 Token.
Vector Memory Store: Betten Sie vergangene Turns ein. Rufen Sie die besten Übereinstimmungen über Ähnlichkeit ab. Dies scheitert, wenn eine Suche nach „NYC flight“ eine Erinnerung von einer alten Reise statt der aktuellen Aufgabe abruft.
Episodisches Gedächtnis mit Zusammenfassung: Komprimieren Sie alte Turns in strukturierte Zusammenfassungen. Injizieren Sie relevante Zusammenfassungen in jede Anfrage. Es ist schwieriger aufzubauen. Es ist schwieriger, es zu verwirren.
Redis Session State: Verwenden Sie einen strukturierten Key-Value-Store. Der Agent liest und schreibt explizit. Es ist deterministisch. Der Agent muss wissen, was er wann speichern muss.
Eine Option scheitert nach 15 Turns. Eine ruft zum falschen Zeitpunkt den falschen Kontext ab. Eine ist die richtige Wahl für aufgabenorientierte Agenten.
Wählen Sie A, B, C oder D. Lassen Sie mich wissen, ob Sie diesem Problem in der Produktion begegnet sind.
Die vollständige Analyse teile ich in den Kommentaren.
Quelle: https://dev.to/thejoud1997/4260-days-system-design-questions-4018
Optionale Lern-Community: https://t.me/GyaanSetuAi