एआय कॉन्टेक्स्ट कॉम्प्रेशन (AI Context Compression) तुमच्या सूचनांचे शांतपणे दुर्लक्ष का करत आहे
जसे लार्ज लँग्वेज मॉडेल्स (LLMs) सोबतचे संवाद लांबत जातात, तसे टोकन मर्यादा व्यवस्थापित करण्यासाठी आणि परफॉर्मन्समधील अडथळे टाळण्यासाठी डेव्हलपर्स 'कॉन्टेक्स्ट कॉम्प्रेशन' (context compression) किंवा कॉम्पॅक्शनवर (compaction) अधिकाधिक अवलंबून राहत आहेत. तथापि, नवीन संशोधनातून या ऑप्टिमायझेशनमधील एका गंभीर त्रुटीचा खुलासा झाला आहे: जेव्हा एआय सिस्टम जागा वाचवण्यासाठी संवादाचा इतिहास सारांशित (summarize) करतात, तेव्हा ते त्यांच्या वर्तनावर नियंत्रण ठेवण्यासाठी बनवलेले नियम वारंवार काढून टाकतात.
सेशन कन्स्ट्रेंट्सची (Session Constraints) नाजूक स्थिती
जेव्हा एखादी एआय सिस्टम कॉम्पॅक्शन प्रक्रियेतून जाते, तेव्हा तिचे प्राथमिक उद्दिष्ट कामाची सातत्य राखणे असते—म्हणजेच उद्दिष्ट, सध्याची स्थिती आणि आवश्यक पुढील पावले कायम ठेवणे. यामुळे संवादातील "काय" (what) सुरक्षित राहते, परंतु अनेकदा "कसे" (how) यावर मात्र गदा येते.
पेन स्टेटमधील संशोधकांनी असे शोधून काढले आहे की, "सेशन कन्स्ट्रेंट्स" (session constraints) हे या प्रक्रियेत सर्वात आधी बाधित होतात. हे वापरकर्त्याने लावलेले तात्पुरते नियम आहेत, जसे की "तुमच्या प्रतिसादांमध्ये कधीही माझे नाव वापरू नका" किंवा "कोणतेही बदल करण्यापूर्वी माझ्याशी खात्री करून घ्या." हे निर्देश मूळ कार्य किंवा कायमस्वरूपी सिस्टम प्रॉम्प्टचा भाग नसल्यामुळे, कॉम्प्रेशन अल्गोरिदम त्यांना दुय्यम तपशील मानतात आणि अधिक संबंधित डेटासाठी जागा करण्यासाठी ते काढून टाकतात.
COMPINT चे निष्कर्ष: केवळ १७% जगण्याचे प्रमाण
या घसरणीचे मोजमाप करण्यासाठी, संशोधकांनी COMPINT इव्हॅल्युएशन सूट विकसित केला. याचे निकाल धक्कादायक आहेत: सरासरी, टाकलेले (injected) सेशन कन्स्ट्रेंट्स केवळ १७ टक्के कॉम्प्रेशन प्रक्रियेतून वाचतात.
या अभ्यासात नियमांच्या पालनामध्ये (rule compliance) मोठी घट झाल्याचे दिसून आले आहे. जेव्हा एखाद्या एजंटला पूर्ण, अनकॉम्प्रेस्ड कॉन्टेक्स्ट उपलब्ध असतो, तेव्हा पालनाचे प्रमाण साधारणपणे ५९% ते ७१% दरम्यान असते. एकदा कॉम्पॅक्शन झाले की, हे प्रमाण कमालीचे घटते आणि अनेकदा अशा पातळीवर येते जिथे कोणताही नियम दिलेला नसेल, त्या परिस्थितीशी ते फारसे वेगळे नसते.
ही केवळ संवादातील बारकाव्यांची बाब नाही; तर हा एक मोठा सुरक्षा आणि विश्वासार्हतेचा धोका आहे. एजन्टिक वर्कफ्लोमध्ये (agentic workflows), "परवानगीशिवाय कोड कार्यान्वित करू नका" सारखा कन्स्ट्रेंट गमावल्यामुळे अनधिकृत टूल कॉल्स, डेटा लीक किंवा कॅलेंडर किंवा ईमेल सारख्या बाह्य प्रणालींमध्ये अनपेक्षित बदल होऊ शकतात.
Qwen3.5-9B द्वारे एक हलका उपाय (Lightweight Solution)
प्रमुख एआय लॅब्सद्वारे वापरले जाणारे जटिल कॉम्प्रेशन लॉजिक पूर्णपणे बदलण्याऐवजी, संशोधकांनी एक "प्लग-अँड-प्ले" (plug-and-play) आर्किटेक्चरल उपाय सुचवला आहे. त्यांनी Qwen3.5-9B मॉडेलवर आधारित एक लहान ॲड-ऑन मॉड्यूल विकसित केले आहे, जे एका विशेष एक्सट्रॅक्टर (extractor) म्हणून काम करण्यासाठी डिझाइन केलेले आहे.
हे मॉड्यूल खालीलप्रमाणे कार्य करते:
- सेशन कन्स्ट्रेंट्स शोधण्यासाठी आणि वेगळे करण्यासाठी रिअल-टाइममध्ये प्रत्येक युजर इनपुट स्कॅन करणे.
- या नियमांची एक समर्पित, स्वतंत्र यादी राखणे.
- मुख्य सिस्टम जेव्हा कॉम्प्रेशन करते, तेव्हा ही सारांशित यादी सारांशासोबत (summary) जोडणे.
या दृष्टिकोनाचे निकाल अत्यंत प्रभावी आहेत. विविध चाचणी परिस्थितींमध्ये या एक्सट्रॅक्टरने ९० टक्क्यांहून अधिक रिटेंशन (retention) साध्य केले, ज्यामध्ये एजंट ट्रॅजेक्टरीजसाठी ९५.६% आणि मल्टी-टर्न चॅट्ससाठी ९०.३% यश दर समाविष्ट आहे. या पद्धतीसाठी मूळ मॉडेलला पुन्हा प्रशिक्षित करण्याची किंवा विद्यमान कॉम्प्रेशन इन्फ्रास्ट्रक्चरमध्ये बदल करण्याची गरज नसल्यामुळे, हा अधिक विश्वसनीय लाँग-कॉन्टेक्स्ट एआय इंटरॅक्शनसाठी एक स्केलेबल मार्ग प्रदान करतो.
मुख्य निष्कर्ष (Key Takeaways)
- कन्स्ट्रेंट इरेझर (Constraint Erasure): कॉन्टेक्स्ट कॉम्प्रेशन वर्तणुकीच्या नियमांपेक्षा कार्याच्या उद्दिष्टांना प्राधान्य देते, ज्यामुळे सारांशित करताना वापरकर्त्याने लावलेले बहुतेक "सेशन कन्स्ट्रेंट्स" गमावले जातात.
- सुरक्षेचे धोके: सूचना गमावल्यामुळे—जसे की 'ह्युमन-इन-द-लूप' (human-in-the-loop) पडताळणीची आवश्यकता—एजंटच्या अनधिकृत कृती आणि सुरक्षा धोक्यात येऊ शकते.
- मॉड्यूलर उपाय: कन्स्ट्रेंट्स स्वतंत्रपणे ट्रॅक करण्यासाठी Qwen3.5-9B सारखे लहान, विशेष मॉडेल वापरल्यास सूचनांचे रिटेंशन ९०% पेक्षा जास्त पर्यंत पुन्हा मिळवता येते.