42/60 Günlük Sistem Tasarımı Soruları
Yapay zeka ajanınız bir kullanıcı adını hatırlıyor.
Bir kullanıcı, bir ajandan NYC'ye ucuz bir uçuş rezervasyonu yapmasını ister. Geceliği 150 doların altında oteller sorar. Toplam seyahat maliyeti karşılaştırması ister.
Üçüncü adıma gelindiğinde, ajan LLM'e 8.000 tokenlık bir geçmiş gönderir. Sohbetin ilk turuymuş gibi cevap verir.
Bunu yayına almadan önce bir bellek mimarisine ihtiyacınız var.
Birini seçin:
In-context window: Tüm geçmişi prompt içinde tutun. Basittir. 15 tur veya 8.000 token sonra başarısız olur.
Vector memory store: Geçmiş turları embed edin. En iyi eşleşmeleri benzerlik yoluyla getirin. "NYC uçuşu" araması, mevcut görev yerine eski bir seyahatten bir bellek getirdiğinde başarısız olur.
Episodic memory with summarization: Eski turları yapılandırılmış özetler halinde sıkıştırın. İlgili özetleri her isteğe dahil edin. İnşa etmesi daha zordur. Karıştırılması daha zordur.
Redis session state: Yapılandırılmış bir anahtar-değer deposu kullanın. Ajan açıkça okuma ve yazma yapar. Deterministiktir. Ajanın neyi, ne zaman saklayacağını bilmesi gerekir.
Bir seçenek 15 tur sonra başarısız olur. Biri yanlış zamanda yanlış bağlamı getirir. Biri ise görev odaklı ajanlar için doğru seçimdir.
A, B, C veya D'yi seçin. Bunu production ortamında yaşayıp yaşamadığınızı bana söyleyin.
Tüm detaylı incelemeyi yorumlarda paylaşıyorum.
Kaynak: https://dev.to/thejoud1997/4260-days-system-design-questions-4018
İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi