എന്തുകൊണ്ടാണ് AI കോൺടെക്സ്റ്റ് കംപ്രഷൻ നിങ്ങളുടെ നിർദ്ദേശങ്ങൾ നിശബ്ദമായി അവഗണിക്കുന്നത്
Large Language Models (LLMs)-മായുള്ള സംഭാഷണങ്ങൾ ദൈർഘ്യമേറിയതാകുമ്പോൾ, ടോക്കൺ പരിധികൾ (token limits) നിയന്ത്രിക്കുന്നതിനും പ്രവർത്തന തടസ്സങ്ങൾ ഒഴിവാക്കുന്നതിനുമായി ഡെവലപ്പർമാർ 'context compression' അല്ലെങ്കിൽ കോംപാക്ഷൻ (compaction) എന്ന രീതിയെ കൂടുതൽ ആശ്രയിക്കുന്നു. എന്നാൽ, ഈ ഒപ്റ്റിമൈസേഷനിൽ ഒരു ഗുരുതരമായ പോരായ്മ ഉണ്ടെന്ന് പുതിയ ഗവേഷണങ്ങൾ വെളിപ്പെടുത്തുന്നു: സ്ഥലം ലാഭിക്കുന്നതിനായി AI സിസ്റ്റങ്ങൾ സംഭാഷണ ചരിത്രം സംഗ്രഹിക്കുമ്പോൾ (summarize), അവയുടെ പെരുമാറ്റം നിയന്ത്രിക്കാൻ ഉദ്ദേശിച്ചുള്ള നിയമങ്ങൾ പലപ്പോഴും അവ ഉപേക്ഷിക്കുന്നു.
സെഷൻ കൺസ്ട്രയിന്റുകളുടെ (Session Constraints) ദുർബലത
ഒരു AI സിസ്റ്റം കോംപാക്ഷന് വിധേയമാകുമ്പോൾ, അതിന്റെ പ്രാഥമിക ലക്ഷ്യം ടാസ്ക് തുടർച്ച നിലനിർത്തുക എന്നതാണ്—അതായത് ലക്ഷ്യം (objective), നിലവിലെ അവസ്ഥ (current state), ആവശ്യമായ അടുത്ത ഘട്ടങ്ങൾ എന്നിവ നിലനിർത്തുക. ഇത് ഒരു സംഭാഷണത്തിന്റെ 'എന്ത്' (what) എന്ന ഭാഗം സംരക്ഷിക്കുമ്പോഴും, പലപ്പോഴും 'എങ്ങനെ' (how) എന്ന ഭാഗത്തെ ബലികൊടുക്കുന്നു.
ഈ പ്രക്രിയയിലെ ആദ്യത്തെ ഇരകൾ 'സെഷൻ കൺസ്ട്രയിന്റുകൾ' (session constraints) ആണെന്ന് പെൻ സ്റ്റേറ്റ് (Penn State) ഗവേഷകർ കണ്ടെത്തിയിട്ടുണ്ട്. "നിങ്ങളുടെ മറുപടികളിൽ ഒരിക്കലും എന്റെ പേര് ഉപയോഗിക്കരുത്" അല്ലെങ്കിൽ "മാറ്റങ്ങൾ വരുത്തുന്നതിന് മുമ്പ് എന്നോട് സ്ഥിരീകരിക്കുക" എന്നിങ്ങനെയുള്ള ഉപയോക്താവ് നൽകുന്ന താൽക്കാലിക നിയമങ്ങളാണിവ. ഈ നിർദ്ദേശങ്ങൾ പ്രധാന ടാസ്കിന്റെയോ സ്ഥിരമായ സിസ്റ്റം പ്രോംപ്റ്റിന്റെയോ (system prompt) ഭാഗമല്ലാത്തതിനാൽ, കംപ്രഷൻ അൽഗോരിതങ്ങൾ ഇവയെ രണ്ടാം നിര വിവരങ്ങളായി കണ്ട് കൂടുതൽ പ്രസക്തമായ ഡാറ്റയ്ക്കായി ഇവ നീക്കം ചെയ്യുന്നു.
COMPINT കണ്ടെത്തലുകൾ: 17% അതിജീവന നിരക്ക്
ഈ തകർച്ച അളക്കുന്നതിനായി ഗവേഷകർ COMPINT എന്ന മൂല്യനിർണ്ണയ സംവിധാനം (evaluation suite) വികസിപ്പിച്ചെടുത്തു. ഇതിന്റെ ഫലങ്ങൾ ഞെട്ടിക്കുന്നതാണ്: ശരാശരി, ഉൾപ്പെടുത്തിയ സെഷൻ കൺസ്ട്രയിന്റുകളിൽ 17 ശതമാനം മാത്രമാണ് കംപ്രഷൻ പ്രക്രിയയിൽ അവശേഷിക്കുന്നത്.
നിയമങ്ങൾ പാലിക്കുന്നതിൽ (rule compliance) വലിയ കുറവുണ്ടെന്ന് പഠനം ചൂണ്ടിക്കാട്ടുന്നു. ഒരു ഏജന്റിന് കംപ്രഷൻ ചെയ്യാത്ത പൂർണ്ണമായ കോൺടെക്സ്റ്റ് ലഭ്യമാകുമ്പോൾ, നിയമങ്ങൾ പാലിക്കാനുള്ള നിരക്ക് സാധാരണയായി 59% നും 71% നും ഇടയിലായിരിക്കും. എന്നാൽ കോംപാക്ഷൻ നടക്കുമ്പോൾ, ഈ നിരക്ക് കുത്തനെ താഴുന്നു; പലപ്പോഴും ഒരു കൺസ്ട്രയിന്റ് നൽകിയിട്ടില്ലാത്ത അവസ്ഥയോട് സമാനമായ നിലവാരത്തിലേക്ക് ഇത് വീഴുന്നു.
ഇത് വെറുമൊരു സംഭാഷണ ശൈലിയുടെ പ്രശ്നമല്ല; ഇതൊരു വലിയ സുരക്ഷാപരവും വിശ്വാസ്യതയുമായ റിസ്ക് ആണ്. ഏജന്റിക് വർക്ക്ഫ്ലോകളിൽ (agentic workflows), "അനുമതിയില്ലാതെ കോഡ് പ്രവർത്തിപ്പിക്കരുത്" എന്നതുപോലെയുള്ള ഒരു കൺസ്ട്രയിന്റ് നഷ്ടപ്പെടുന്നത് അനധികൃതമായ ടൂൾ കോളുകൾക്കും (tool calls), ഡാറ്റാ ചോർച്ചയ്ക്കും, അല്ലെങ്കിൽ കലണ്ടർ അല്ലെങ്കിൽ ഇമെയിൽ പോലുള്ള ബാഹ്യ സംവിധാനങ്ങളിൽ പരിശോധിക്കപ്പെടാത്ത മാറ്റങ്ങൾ വരുത്തുന്നതിനും കാരണമായേക്കാം.
Qwen3.5-9B വഴിയുള്ള ലളിതമായ ഒരു പരിഹാരം
പ്രമുഖ AI ലാബുകൾ ഉപയോഗിക്കുന്ന സങ്കീർണ്ണമായ കംപ്രഷൻ ലോജിക് മാറ്റുന്നതിന് പകരം, ഗവേഷകർ ഒരു 'പ്ലഗ്-ആൻഡ്-പ്ലേ' (plug-and-play) ആർക്കിടെക്ചറൽ പരിഹാരം നിർദ്ദേശിക്കുന്നു. ഒരു പ്രത്യേക എക്സ്ട്രാക്ടറായി (extractor) പ്രവർത്തിക്കാൻ രൂപകൽപ്പന ചെയ്ത Qwen3.5-9B മോഡലിനെ അടിസ്ഥാനമാക്കിയുള്ള ഒരു ചെറിയ അഡൗൺ മോഡ്യൂൾ അവർ വികസിപ്പിച്ചെടുത്തു.
ഈ മോഡ്യൂൾ പ്രവർത്തിക്കുന്നത് ഇപ്രകാരമാണ്:
- സെഷൻ കൺസ്ട്രയിന്റുകൾ കണ്ടെത്താനും വേർതിരിക്കാനും ഓരോ ഉപയോക്താവിന്റെയും ഇൻപുട്ടുകൾ തത്സമയം (real-time) സ്കാൻ ചെയ്യുന്നു.
- ഈ നിയമങ്ങളുടെ ഒരു പ്രത്യേക, സ്വതന്ത്രമായ പട്ടിക സൂക്ഷിക്കുന്നു.
- പ്രധാന സിസ്റ്റം കംപ്രഷൻ നടത്തുമ്പോഴെല്ലാം ഈ സംഗ്രഹിച്ച പട്ടിക സമ്മറിയോടൊപ്പം ചേർക്കുന്നു.
ഈ സമീപനത്തിന്റെ ഫലങ്ങൾ വളരെ ഫലപ്രദമാണ്. ഏജന്റ് ട്രാജക്റ്ററികൾക്ക് (agent trajectories) 95.6% വിജയ നിരക്കും മൾട്ടി-ടേൺ ചാറ്റുകൾക്ക് (multi-turn chats) 90.3% വിജയ നിരക്കും ഉൾപ്പെടെ വിവിധ പരിശോധനകളിൽ ഈ എക്സ്ട്രാക്ടർ 90 ശതമാനത്തിലധികം വിവരങ്ങൾ നിലനിർത്താൻ (retention) വിജയിച്ചു. ഈ രീതിക്ക് പ്രൈമറി മോഡലിനെ വീണ്ടും പരിശീലിപ്പിക്കേണ്ടതില്ലാത്തതിനാലും നിലവിലുള്ള കംപ്രഷൻ ഇൻഫ്രാസ്ട്രക്ചറിൽ മാറ്റങ്ങൾ വരുത്തേണ്ടതില്ലാത്തതിനാലും, കൂടുതൽ വിശ്വസനീയമായ ലോംഗ്-കോൺടെക്സ്റ്റ് AI സംഭാഷണങ്ങളിലേക്ക് ഇത് ഒരു സുഗമമായ പാത തുറക്കുന്നു.
പ്രധാന കാര്യങ്ങൾ
- കൺസ്ട്രയിന്റുകളുടെ വിനാശം: കോൺടെക്സ്റ്റ് കംപ്രഷൻ പെരുമാറ്റ നിയമങ്ങളേക്കാൾ ടാസ്ക് ലക്ഷ്യങ്ങൾക്ക് മുൻഗണന നൽകുന്നു, ഇത് സംഗ്രഹിക്കപ്പെടുമ്പോൾ ഉപയോക്താവ് നൽകുന്ന മിക്ക "സെഷൻ കൺസ്ട്രയിന്റുകളും" നഷ്ടപ്പെടാൻ കാരണമാകുന്നു.
- സുരക്ഷാ ഭീഷണികൾ: നിർദ്ദേശങ്ങൾ നഷ്ടപ്പെടുന്നത്—ഉദാഹരണത്തിന് ഹ്യൂമൻ-ഇൻ-ദി-ലൂപ്പ് (human-in-the-loop) വെരിഫിക്കേഷൻ ആവശ്യങ്ങൾ—അനധികൃതമായ ഏജന്റ് പ്രവർത്തനങ്ങൾക്കും സുരക്ഷാ വീഴ്ചകൾക്കും കാരണമായേക്കാം.
- മോഡുലാർ പരിഹാരങ്ങൾ: കൺസ്ട്രയിന്റുകൾ പ്രത്യേകം ട്രാക്ക് ചെയ്യാൻ Qwen3.5-9B പോലുള്ള ചെറിയ, പ്രത്യേക മോഡലുകൾ ഉപയോഗിക്കുന്നത് നിർദ്ദേശങ്ങൾ നിലനിർത്താനുള്ള നിരക്ക് 90 ശതമാനത്തിലധികമായി ഉയർത്താൻ സഹായിക്കും.