AI కాంటెక్స్ట్ కంప్రెషన్ మీ సూచనలను ఎందుకు నిశ్శబ్దంగా విస్మరిస్తోంది?
Large Language Models (LLMs) తో సంభాషణలు పొడవుగా పెరుగుతున్న కొద్దీ, డెవలపర్లు టోకెన్ పరిమితులను (token limits) నిర్వహించడానికి మరియు పనితీరులో ఆటంకాలను (performance bottlenecks) నివారించడానికి "context compression" లేదా కంపాక్షన్ (compaction) పై ఎక్కువగా ఆధారపడుతున్నారు. అయితే, కొత్త పరిశోధన ఈ ఆప్టిమైజేషన్లో ఒక కీలకమైన లోపాన్ని వెల్లడించింది: AI వ్యవస్థలు స్థలాన్ని ఆదా చేయడానికి సంభాషణ చరిత్రను సారాంశం (summarize) చేసినప్పుడు, అవి తమ ప్రవర్తనను నియంత్రించడానికి ఉద్దేశించిన నియమాలను తరచుగా పక్కన పెడుతున్నాయి.
సెషన్ కన్స్ట్రైంట్స్ (Session Constraints) యొక్క బలహీనత
ఒక AI వ్యవస్థ కంపాక్షన్ ప్రక్రియకు గురైనప్పుడు, దాని ప్రాథమిక లక్ష్యం పని యొక్క కొనసాగింపును (task continuity) కాపాడటం—అంటే లక్ష్యం, ప్రస్తుత స్థితి మరియు అవసరమైన తదుపరి దశలను నిర్వహించడం. ఇది సంభాషణ యొక్క "ఏమిటి" (what) అనే అంశాన్ని కాపాడినప్పటికీ, తరచుగా "ఎలా" (how) అనే అంశాన్ని త్యాగం చేస్తుంది.
పెన్ స్టేట్ (Penn State) పరిశోధకులు "session constraints" ఈ ప్రక్రియలో మొదటిగా నష్టపోయే అంశాలని గుర్తించారు. ఇవి వినియోగదారుడు విధించే తాత్కాలిక నియమాలు, ఉదాహరణకు "మీ సమాధానాలలో నా పేరును ఎప్పుడూ ఉపయోగించవద్దు" లేదా "ఏవైనా మార్పులు చేసే ముందు నాతో నిర్ధారించుకోండి." ఈ సూచనలు ప్రధాన పనిలో లేదా శాశ్వత సిస్టమ్ ప్రాంప్ట్లో భాగం కానందున, కంప్రెషన్ అల్గారిథమ్లు వీటిని ద్వితీయ స్థాయి వివరాలుగా భావించి, మరింత సందర్భోచితమైన డేటా కోసం స్థలం చేయడానికి వీటిని తొలగిస్తాయి.
COMPINT పరిశోధన ఫలితాలు: 17% మనుగడ రేటు
ఈ క్షీణతను అంచనా వేయడానికి, పరిశోధకులు COMPINT ఎవాల్యుయేషన్ సూట్ను అభివృద్ధి చేశారు. ఫలితాలు చాలా స్పష్టంగా ఉన్నాయి: సగటున, జోడించిన సెషన్ కన్స్ట్రైంట్స్లో కేవలం 17 శాతం మాత్రమే కంప్రెషన్ ప్రక్రియలో మనుగడ సాగిస్తున్నాయి.
నియమాలను పాటించే రేటులో (rule compliance) గణనీయమైన తగ్గుదల ఉందని ఈ అధ్యయనం హైలైట్ చేసింది. ఒక ఏజెంట్కు పూర్తి స్థాయి, కంప్రెస్ చేయని కాంటెక్స్ట్ ఉన్నప్పుడు, నిబంధనల పాటింపు రేటు సాధారణంగా 59% నుండి 71% మధ్య ఉంటుంది. కంపాక్షన్ జరిగిన తర్వాత, ఈ నిబంధనల పాటింపు రేటు భారీగా పడిపోతుంది, ఇది అసలు ఎటువంటి కన్స్ట్రైంట్ ఇవ్వనట్లుగా ఉండే పరిస్థితికి సమానంగా ఉంటుంది.
ఇది కేవలం సంభాషణలోని సూక్ష్మ భేదాల విషయం మాత్రమే కాదు; ఇది ఒక ప్రధాన భద్రత మరియు విశ్వసనీయత పరమైన ప్రమాదం. ఏజెంటిక్ వర్క్ఫ్లోస్ (agentic workflows) లో, "అనుమతి లేకుండా కోడ్ను అమలు చేయవద్దు" వంటి కన్స్ట్రైంట్ను కోల్పోవడం వల్ల అనధికారిక టూల్ కాల్స్, డేటా లీకులు లేదా క్యాలెండర్లు లేదా ఈమెయిల్ వంటి బాహ్య వ్యవస్థలలో ధృవీకరించబడని మార్పులు జరిగే అవకాశం ఉంది.
Qwen3.5-9B ద్వారా ఒక తేలికపాటి పరిష్కారం
ప్రధాన AI ల్యాబ్లు ఉపయోగించే సంక్లిష్టమైన కంప్రెషన్ లాజిక్ను పూర్తిగా మార్చడానికి బదులుగా, పరిశోధకులు ఒక "plug-and-play" ఆర్కిటెక్చరల్ పరిష్కారాన్ని ప్రతిపాదించారు. వారు ఒక ప్రత్యేకమైన ఎక్స్ట్రాక్టర్గా (extractor) పనిచేయడానికి రూపొందించిన Qwen3.5-9B మోడల్ ఆధారిత చిన్న యాడ్-ఆన్ మాడ్యూల్ను అభివృద్ధి చేశారు.
ఈ మాడ్యూల్ ఈ క్రింది విధంగా పనిచేస్తుంది:
- సెషన్ కన్స్ట్రైంట్స్ను గుర్తించి వేరు చేయడానికి ప్రతి యూజర్ ఇన్పుట్ను రియల్ టైమ్లో స్కాన్ చేస్తుంది.
- ఈ నియమాల కోసం ఒక ప్రత్యేకమైన, స్వతంత్ర జాబితాను నిర్వహిస్తుంది.
- ప్రధాన సిస్టమ్ కంపాక్షన్ చేసిన ప్రతిసారీ, ఈ సారాంశం చేసిన జాబితాను సమ్మరీకి జోడిస్తుంది.
ఈ విధానం యొక్క ఫలితాలు అత్యంత ప్రభావవంతంగా ఉన్నాయి. ఈ ఎక్స్ట్రాక్టర్ వివిధ పరీక్షా సందర్భాలలో 90 శాతానికి పైగా నిలుపుదలను (retention) సాధించింది, ఇందులో ఏజెంట్ ట్రాజెక్టరీస్ (agent trajectories) కోసం 95.6% మరియు మల్టీ-టర్న్ చాట్స్ కోసం 90.3% విజయవంతమైన రేటు ఉంది. ఈ పద్ధతికి ప్రాథమిక మోడల్ను మళ్ళీ శిక్షణ ఇవ్వాల్సిన అవసరం లేదు మరియు ప్రస్తుత కంప్రెషన్ మౌలిక సదుపాయాలలో ఎటువంటి మార్పులు చేయనవసరం లేదు, కాబట్టి ఇది మరింత నమ్మదగిన లాంగ్-కాంటెక్స్ట్ AI ఇంటరాక్షన్ల వైపు ఒక విస్తరించదగిన మార్గాన్ని అందిస్తుంది.
ముఖ్య అంశాలు
- కన్స్ట్రైంట్స్ తుడిచిపెట్టుకుపోవడం: కాంటెక్స్ట్ కంప్రెషన్ ప్రవర్తనా నియమాల కంటే పని లక్ష్యాలకు ప్రాధాన్యత ఇస్తుంది, దీనివల్ల సారాంశం చేసే సమయంలో వినియోగదారుడు విధించిన చాలా వరకు "సెషన్ కన్స్ట్రైంట్స్" కోల్పోతాయి.
- భద్రతా ప్రమాదాలు: సూచనలను కోల్పోవడం—ఉదాహరణకు హ్యూమన్-ఇన్-ది-లూప్ (human-in-the-loop) వెరిఫికేషన్ వంటి అవసరాలు—అనధికారిక ఏజెంట్ చర్యలకు మరియు భద్రత దెబ్బతినడానికి దారితీయవచ్చు.
- మాడ్యులర్ పరిష్కారాలు: కన్స్ట్రైంట్స్ను విడిగా ట్రాక్ చేయడానికి Qwen3.5-9B వంటి చిన్న, ప్రత్యేకమైన మోడల్ను ఉపయోగించడం ద్వారా సూచనల నిలుపుదలను 90% కంటే ఎక్కువగా పునరుద్ధరించవచ్చు.