𝟰𝟮/𝟲𝟬 𝗗𝗮𝘆𝘀 𝗦𝘆𝘀𝘁𝗲𝗺 𝗗𝗲𝘀𝗶𝗴𝗻 𝗤𝘂𝗲𝘀𝘁𝗶𝗼𝗻𝘀
आपका AI एजेंट उपयोगकर्ता का नाम याद रखता है।
एक उपयोगकर्ता एजेंट से NYC के लिए एक सस्ती फ्लाइट बुक करने के लिए कहता है। वे प्रति रात $150 से कम के होटलों के बारे में पूछते हैं। वे कुल यात्रा लागत की तुलना करने के लिए भी कहते हैं।
तीसरे चरण तक, एजेंट LLM को 8,000 टोकन का इतिहास भेजता है। यह ऐसे उत्तर देता है जैसे कि यह चैट का पहला टर्न हो।
इसे शिप (ship) करने से पहले आपको एक मेमोरी आर्किटेक्चर की आवश्यकता है।
एक चुनें:
In-context window: प्रॉम्प्ट में पूरा इतिहास रखें। यह सरल है। यह 15 टर्न या 8,000 टोकन के बाद विफल हो जाता है।
Vector memory store: पिछले टर्न को एम्बेड (embed) करें। समानता (similarity) के आधार पर सबसे अच्छे मिलान प्राप्त करें। यह तब विफल हो जाता है जब "NYC flight" की खोज वर्तमान कार्य के बजाय किसी पुरानी यात्रा की मेमोरी निकाल लेती है।
Episodic memory with summarization: पुराने टर्न को स्ट्रक्चर्ड सारांश (structured summaries) में कंप्रेस करें। प्रत्येक अनुरोध में प्रासंगिक सारांश डालें। इसे बनाना कठिन है। इसे भ्रमित करना भी कठिन है।
Redis session state: एक स्ट्रक्चर्ड की-वैल्यू स्टोर (key-value store) का उपयोग करें। एजेंट स्पष्ट रूप से पढ़ता और लिखता है। यह डिटरमिनिस्टिक (deterministic) है। एजेंट को पता होना चाहिए कि क्या और कब स्टोर करना है।
एक विकल्प 15 टर्न के बाद विफल हो जाता है। एक गलत समय पर गलत कॉन्टेक्स्ट (context) निकालता है। एक टास्क-ओरिएंटेड (task-oriented) एजेंटों के लिए सही विकल्प है।
A, B, C, या D चुनें। मुझे बताएं कि क्या आपने प्रोडक्शन में इसका सामना किया है।
मैं कमेंट्स में पूरा ब्रेकडाउन साझा करूँगा।
स्रोत: https://dev.to/thejoud1997/4260-days-system-design-questions-4018
वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi