42/60 Domande di System Design
Il tuo agente AI ricorda il nome di un utente.
Un utente chiede a un agente di prenotare un volo economico per NYC. Chiede hotel a meno di 150 $ a notte. Chiede un confronto sul costo totale del viaggio.
Al terzo passaggio, l'agente invia 8.000 token di cronologia all'LLM. Risponde come se fosse il primo turno della chat.
Hai bisogno di un'architettura di memoria prima di rilasciare questo prodotto.
Scegline una:
In-context window: Mantieni l'intera cronologia nel prompt. È semplice. Fallisce dopo 15 turni o 8.000 token.
Vector memory store: Crea gli embedding dei turni passati. Recupera i match migliori tramite similarità. Questo fallisce quando una ricerca per "volo NYC" estrae un ricordo di un vecchio viaggio invece che quello relativo al compito attuale.
Episodic memory con summarization: Comprimi i turni passati in riepiloghi strutturati. Inserisci i riepiloghi rilevanti in ogni richiesta. È più difficile da costruire. È più difficile da confondere.
Redis session state: Usa un archivio key-value strutturato. L'agente legge e scrive esplicitamente. È deterministico. L'agente deve sapere cosa memorizzare e quando.
Un'opzione fallisce dopo 15 turni. Una recupera il contesto sbagliato al momento sbagliato. Una è la scelta corretta per gli agenti orientati ai task.
Scegli A, B, C o D. Dimmi se ti è capitato in produzione.
Condivido l'analisi completa nei commenti.
Fonte: https://dev.to/thejoud1997/4260-days-system-design-questions-4018
Community di apprendimento opzionale: https://t.me/GyaanSetuAi