𝟰𝟮/𝟲𝟬 𝗛𝗮𝗿𝗶 𝗣𝗲𝗿𝘁𝗮𝗻𝘆𝗮𝗮𝗻 𝗗𝗲𝘀𝗮𝗶𝗻 𝗦𝗶𝘀𝘁𝗲𝗺
Agen AI Anda mengingat nama pengguna.
Seorang pengguna meminta agen untuk memesan penerbangan murah ke NYC. Mereka meminta hotel di bawah $150 per malam. Mereka meminta perbandingan total biaya perjalanan.
Pada langkah ketiga, agen mengirimkan 8.000 token riwayat ke LLM. Ia menjawab seolah-olah ini adalah giliran pertama dalam percakapan.
Anda memerlukan arsitektur memori sebelum merilis ini.
Pilih satu:
In-context window: Simpan seluruh riwayat di dalam prompt. Ini sederhana. Ini gagal setelah 15 giliran atau 8.000 token.
Vector memory store: Lakukan embedding pada giliran sebelumnya. Ambil kecocokan terbaik berdasarkan kemiripan. Ini gagal ketika pencarian "NYC flight" menarik memori dari perjalanan lama alih-alih tugas saat ini.
Episodic memory dengan summarization: Kompres giliran lama menjadi ringkasan terstruktur. Suntikkan ringkasan yang relevan ke dalam setiap permintaan. Lebih sulit untuk dibangun. Lebih sulit untuk membingungkan.
Redis session state: Gunakan penyimpanan key-value terstruktur. Agen membaca dan menulis secara eksplisit. Ini bersifat deterministik. Agen harus tahu apa yang harus disimpan dan kapan.
Satu opsi gagal setelah 15 giliran. Satu mengambil konteks yang salah pada waktu yang salah. Satu adalah pilihan yang tepat untuk agen yang berorientasi pada tugas.
Pilih A, B, C, atau D. Beritahu saya jika Anda pernah menghadapi hal ini di produksi.
Saya membagikan rincian lengkapnya di kolom komentar.
Sumber: https://dev.to/thejoud1997/4260-days-system-design-questions-4018
Komunitas pembelajaran opsional: https://t.me/GyaanSetuAi