𝟰𝟮/𝟲𝟬 𝗗𝗮𝗴𝗲𝗻 𝗦𝘆𝘀𝘁𝗲𝗺 𝗗𝗲𝘀𝗶𝗴𝗻 𝗩𝗿𝗮𝗴𝗲𝗻
Je AI-agent onthoudt een gebruikersnaam.
Een gebruiker vraagt een agent om een goedkope vlucht naar NYC te boeken. Ze vragen om hotels onder de $150 per nacht. Ze vragen om een vergelijking van de totale reiskosten.
Bij stap drie stuurt de agent 8.000 tokens aan geschiedenis naar de LLM. Het antwoordt alsof het de eerste beurt in de chat is.
Je hebt een geheugenarchitectuur nodig voordat je dit lanceert.
Kies er één:
In-context window: Houd de volledige geschiedenis in de prompt. Het is eenvoudig. Het faalt na 15 beurten of 8.000 tokens.
Vector memory store: Embed eerdere beurten. Haal de beste overeenkomsten op op basis van gelijkenis. Dit faalt wanneer een zoekopdracht naar "NYC flight" een herinnering uit een oude reis ophaalt in plaats van de huidige taak.
Episodic memory met samenvatting: Comprimeer oude beurten tot gestructureerde samenvattingen. Injecteer relevante samenvattingen in elke aanvraag. Het is moeilijker te bouwen. Het is moeilijker om in de war te raken.
Redis session state: Gebruik een gestructureerde key-value store. De agent leest en schrijft expliciet. Het is deterministisch. De agent moet weten wat hij wanneer moet opslaan.
Eén optie faalt na 15 beurten. Eén haalt de verkeerde context op op het verkeerde moment. Eén is de juiste keuze voor taakgerichte agents.
Kies A, B, C of D. Laat me weten of je dit in productie bent tegengekomen.
Ik deel de volledige analyse in de reacties.
Bron: https://dev.to/thejoud1997/4260-days-system-design-questions-4018
Optionele leercommunity: https://t.me/GyaanSetuAi