AI को बड़े कॉन्टेक्स्ट विंडो (Context Windows) से ज़्यादा स्टेट मैनेजमेंट (State Management) की ज़रूरत क्यों है
नए मॉडल विशाल कॉन्टेक्स्ट विंडो के साथ लॉन्च होते हैं। धारणा सरल है। एक ही रिक्वेस्ट में अधिक डेटा हर समस्या का समाधान कर देता है।
आप और अधिक दस्तावेज़ जोड़ते हैं। आप और अधिक इतिहास जोड़ते हैं। आप और अधिक वर्कफ़्लो डेटा जोड़ते हैं।
लेकिन प्रोडक्शन में AI चलाने के बाद, हमने एक सबक सीखा। कॉन्टेक्स्ट विंडो मदद करती है। स्टेट मैनेजमेंट ज़्यादा मायने रखता है।
जब AI खराब परिणाम देता है, तो टीमें अक्सर प्रॉम्प्ट में अधिक जानकारी जोड़ देती हैं। उन्हें लगता है कि मॉडल को अधिक इतिहास या अधिक बिजनेस कॉन्टेक्स्ट की आवश्यकता है। प्रॉम्प्ट बढ़ता ही जाता है।
अधिक जानकारी का मतलब बेहतर निर्णय नहीं है। यह अक्सर इसके विपरीत परिणाम देता है। बड़े कॉन्टेक्स्ट विंडो खराब आर्किटेक्चर को छिपा देते हैं। प्रासंगिक डेटा चुनने के बजाय, सिस्टम सब कुछ शामिल कर लेते हैं।
इससे कई समस्याएँ पैदा होती हैं:
- टोकन लागत बढ़ जाती है
- लेटेंसी (Latency) बढ़ जाती है
- रीजनिंग (Reasoning) असंगत हो जाती है
- रिट्रीवल नॉइज़ (Retrieval noise) बढ़ जाती है
- डिबगिंग (Debugging) कठिन हो जाती है
मॉडल के पास अधिक जानकारी होती है लेकिन स्पष्टता कम होती है।
आपको कॉन्टेक्स्ट और स्टेट के बीच का अंतर समझना चाहिए। कॉन्टेक्स्ट वह जानकारी है जो एक सिंगल रिक्वेस्ट के दौरान उपलब्ध होती है। स्टेट वह जानकारी है जिसे सिस्टम समय के साथ जानता है।
स्टेट के उदाहरण:
- कस्टमर प्रोफाइल
- बातचीत का सारांश (Conversation summaries)
- वर्कफ़्लो प्रोग्रेस
- बिजनेस रूल्स
इन्हें हर प्रॉम्प्ट के अंदर रहने की ज़रूरत नहीं है। डिस्ट्रिब्यूटेड सिस्टम हर जगह सारा डेटा भेजकर जटिलता को हल नहीं करते हैं। वे स्टेट को मैनेज करने के लिए डेटाबेस, कैश और क्यू (queues) का उपयोग करते हैं।
AI सिस्टम अक्सर इस अनुशासन को छोड़ देते हैं। वे कॉन्टेक्स्ट विंडो को एक अस्थायी डेटाबेस की तरह मानते हैं। यह आर्किटेक्चरल आलस है।
"क्या हम सब कुछ फिट कर सकते हैं?" पूछना बंद करें। "किस जानकारी की आवश्यकता है?" पूछना शुरू करें।
हमने कॉन्टेक्स्ट का आकार बढ़ाने के बजाय स्टेट मैनेजमेंट में सुधार करके बेहतर परिणाम देखे। हमने यह किया:
- ऑपरेशनल स्टेट को रीजनिंग स्टेट से अलग करके
- प्रोग्रेस को प्रॉम्प्ट के बाहर स्टोर करके
- मेमोरी के लिए एक्सपायरी नियम सेट करके
- डुप्लिकेट कॉन्टेक्स्ट को कम करके
इससे लागत कम हुई और निष्पादन (execution) तेज़ हुआ। इसके लिए बड़े मॉडल्स की आवश्यकता नहीं थी। इसके लिए बेहतर डिज़ाइन की आवश्यकता थी।
लक्ष्य मॉडल को हर चीज़ तक पहुँच देना नहीं है। लक्ष्य मॉडल को सही समय पर सही जानकारी देना है।
Source: https://dev.to/karan2598/why-ai-systems-need-state-management-more-than-bigger-context-windows-2a4m
Optional learning community: https://t.me/GyaanSetuAi