𝗪𝗵𝘆 𝗔𝗜 𝗖𝗵𝗮𝗿𝗮𝗰𝘁𝗲𝗿𝘀 𝗙𝗼𝗿𝗴𝗲𝘁 𝗧𝗵𝗲𝗶𝗿 𝗜𝗱𝗲𝗻𝘁𝗶𝘁𝘆
आप एक पात्र बनाने में दो घंटे बिताते हैं। तीस टर्न के बाद, वह पात्र अपना नाम भूल जाता है। वह एक साधारण सहायक (generic assistant) की तरह व्यवहार करने लगता है।
अधिकांश लोगों को लगता है कि AI की याददाश्त खराब है। यह विचार गलत है।
समस्या context window की है।
Chat models stateless होते हैं। हर बार जब आप एक संदेश भेजते हैं, तो ऐप system prompt, पात्र का विवरण और आपकी हालिया chat history मॉडल को वापस भेज देता है।
जिसे आप मेमोरी कहते हैं, वह वास्तव में उस इनपुट विंडो के भीतर रहने वाली हिस्ट्री मात्र है।
जब चैट बहुत लंबी हो जाती है, तो पुराने संदेश विंडो से बाहर निकल जाते हैं। टर्न 41 के लिए जगह बनाने के लिए टर्न 12 का विवरण गायब हो जाता है। मॉडल भूलता नहीं है। ऐप बस उसे जानकारी दिखाना बंद कर देता है।
एक बड़ा context window इसका समाधान नहीं है।
बड़े विंडोज़ से दो समस्याएँ होती हैं:
- लागत और गति (Cost and speed)। विंडो के आकार को दोगुना करने से compute की ज़रूरतें काफी बढ़ जाती हैं। जवाबों को तेज़ और सस्ता रखने के लिए ऐप्स अक्सर विंडो को सीमित कर देते हैं।
- Middle degradation। शोध से पता चलता है कि मॉडल लंबे टेक्स्ट की शुरुआत या अंत में तथ्यों को अच्छी तरह से ढूंढ लेते हैं। वे बीच में दबे तथ्यों को मिस कर देते हैं।
बेहतरीन ऐप्स केवल रॉ विंडो साइज (raw window size) पर निर्भर नहीं रहते। वे दो विशिष्ट तरीकों का उपयोग करते हैं:
- Recursive summarization: ऐप पुराने संदेशों को एक संक्षिप्त सारांश (summary) में बदल देता है। यह बहुत अधिक जगह का उपयोग किए बिना मुख्य तथ्यों को जीवित रखता है।
- Retrieval: ऐप पुराने संदेशों को एक डेटाबेस में स्टोर करता है। जब आपको ज़रूरत होती है, तो यह केवल प्रासंगिक तथ्यों को ही बाहर निकालता है। Lorebooks इसी तरह काम करते हैं।
एक अच्छे ऐप और एक बुरे ऐप के बीच का अंतर आर्किटेक्चर (architecture) का है। एक memory layer का उपयोग करता है। दूसरा केवल एक रॉ विंडो के ऊपर एक पतला wrapper मात्र है।
यदि आपका पात्र अपना व्यक्तित्व खो देता है, तो एक बड़ा मॉडल उपयोग न करें। संरचना (structure) बदलें। पुराने टर्न का सारांश बनाएँ। जो महत्वपूर्ण है उसे retrieve करें।
Context window को हार्ड ड्राइव की तरह नहीं, बल्कि एक cache की तरह समझें।
Optional learning community: https://t.me/GyaanSetuAi