42/60 Hari Soalan Reka Bentuk Sistem
Ejen AI anda mengingati nama pengguna.
Seorang pengguna meminta ejen untuk menempah penerbangan murah ke NYC. Mereka meminta hotel di bawah $150 semalam. Mereka meminta perbandingan jumlah kos perjalanan.
Menjelang langkah ketiga, ejen menghantar 8,000 token sejarah kepada LLM. Ia menjawab seolah-olah ia adalah giliran pertama sembang tersebut.
Anda memerlukan seni bina memori sebelum melancarkan ini.
Pilih satu:
Tetingkap dalam konteks (In-context window): Simpan keseluruhan sejarah dalam prom. Ia mudah. Ia gagal selepas 15 giliran atau 8,000 token.
Stor memori vektor (Vector memory store): Benamkan (Embed) giliran terdahulu. Ambil padanan terbaik melalui keserupaan. Ini gagal apabila carian untuk "NYC flight" menarik memori daripada perjalanan lama dan bukannya tugasan semasa.
Memori episodik dengan peringkasan (Episodic memory with summarization): Mampatkan giliran lama ke dalam ringkasan berstruktur. Suntik ringkasan yang relevan ke dalam setiap permintaan. Ia lebih sukar untuk dibina. Ia lebih sukar untuk mengelirukan.
Keadaan sesi Redis (Redis session state): Gunakan stor kunci-nilai (key-value store) yang berstruktur. Ejen membaca dan menulis secara eksplisit. Ia bersifat deterministik. Ejen mesti tahu apa yang perlu disimpan dan bila.
Satu pilihan gagal selepas 15 giliran. Satu menarik konteks yang salah pada masa yang salah. Satu lagi adalah pilihan yang betul untuk ejen berorientasikan tugasan.
Pilih A, B, C, atau D. Beritahu saya jika anda menghadapi perkara ini dalam production.
Saya berkongsi pecahan penuh di ruangan komen.
Sumber: https://dev.to/thejoud1997/4260-days-system-design-questions-4018
Komuniti pembelajaran pilihan: https://t.me/GyaanSetuAi