ಎಐ ಕಾಂಟೆಕ್ಸ್ಟ್ ಕಂಪ್ರೆಷನ್ (AI Context Compression) ನಿಮ್ಮ ಸೂಚನೆಗಳನ್ನು ಯಾಕೆ ಮೌನವಾಗಿ ನಿರ್ಲಕ್ಷಿಸುತ್ತಿದೆ
Large Language Models (LLMs) ಗಳೊಂದಿಗೆ ಸಂಭಾಷಣೆಗಳು ಉದ್ದವಾಗುತ್ತಿದ್ದಂತೆ, ಟೋಕನ್ ಮಿತಿಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆಯ ಅಡಚಣೆಗಳನ್ನು ತಡೆಯಲು ಡೆವಲಪರ್ಗಳು ಹೆಚ್ಚಾಗಿ "context compression" ಅಥವಾ ಸಂಕ್ಷಿಪ್ತೀಕರಣವನ್ನು (compaction) ಅವಲಂಬಿಸುತ್ತಿದ್ದಾರೆ. ಆದರೆ, ಹೊಸ ಸಂಶೋಧನೆಯು ಈ ಆಪ್ಟಿಮೈಸೇಶನ್ನಲ್ಲಿನ ಒಂದು ಗಂಭೀರ ದೋಷವನ್ನು ಬಹಿರಂಗಪಡಿಸಿದೆ: ಎಐ ವ್ಯವಸ್ಥೆಗಳು ಸ್ಥಳವನ್ನು ಉಳಿಸಲು ಸಂಭಾಷಣೆಯ ಇತಿಹಾಸವನ್ನು ಸಾರಾಂಶಗೊಳಿಸಿದಾಗ, ಅವು ತಮ್ಮ ನಡವಳಿಕೆಯನ್ನು ನಿಯಂತ್ರಿಸಲು ಉದ್ದೇಶಿಸಲಾದ ನಿಯಮಗಳನ್ನೇ ಆಗಾಗ್ಗೆ ಕೈಬಿಡುತ್ತವೆ.
ಸೆಷನ್ ನಿರ್ಬಂಧಗಳ (Session Constraints) ಅಸ್ಥಿರತೆ
ಎಐ ವ್ಯವಸ್ಥೆಯು ಸಂಕ್ಷಿಪ್ತೀಕರಣಕ್ಕೆ ಒಳಗಾದಾಗ, ಅದರ ಪ್ರಾಥಮಿಕ ಗುರಿಯು ಕಾರ್ಯದ ನಿರಂತರತೆಯನ್ನು ಕಾಪಾಡಿಕೊಳ್ಳುವುದಾಗಿದೆ—ಅಂದರೆ ಉದ್ದೇಶ, ಪ್ರಸ್ತುತ ಸ್ಥಿತಿ ಮತ್ತು ಅಗತ್ಯ ಮುಂದಿನ ಹಂತಗಳನ್ನು ಕಾಯ್ದುಕೊಳ್ಳುವುದು. ಇದು ಸಂಭಾಷಣೆಯ "ಏನು" (what) ಎಂಬುದನ್ನು ಉಳ保留ಿಸುತ್ತದೆ, ಆದರೆ ಅದು "ಹೇಗೆ" (how) ಎಂಬುದನ್ನು ಆಗಾಗ್ಗೆ ಬಲಿಪಡೆಯುತ್ತದೆ.
Penn State ನ ಸಂಶೋಧಕರು ಈ ಪ್ರಕ್ರಿಯೆಯಲ್ಲಿ "session constraints" ಅಥವಾ ಸೆಷನ್ ನಿರ್ಬಂಧಗಳು ಮೊದಲ ಬಲಿಯಾಗುತ್ತವೆ ಎಂದು ಗುರುತಿಸಿದ್ದಾರೆ. ಇವು ಬಳಕೆದಾರರು ವಿಧಿಸಿದ ಅಸ್ಥಾಯಿ ನಿಯಮಗಳಾಗಿದ್ದು, ಉದಾಹರಣೆಗೆ "ನಿಮ್ಮ ಪ್ರತಿಕ್ರಿಯೆಗಳಲ್ಲಿ ಎಂದಿಗೂ ನನ್ನ ಹೆಸರನ್ನು ಬಳಸಬೇಡಿ" ಅಥವಾ "ಯಾವುದೇ ಬದಲಾವಣೆಗಳನ್ನು ಮಾಡುವ ಮೊದಲು ನನ್ನೊಂದಿಗೆ ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಿ" ಇತ್ಯಾದಿ. ಈ ಸೂಚನೆಗಳು ಮೂಲ ಕಾರ್ಯ ಅಥವಾ ಕಾಯಂ ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ನ ಭಾಗವಾಗಿಲ್ಲದ ಕಾರಣ, ಕಂಪ್ರೆಷನ್ ಅಲ್ಗಾರಿದಮ್ಗಳು ಇವುಗಳನ್ನು ದ್ವಿತೀಯ ದರ್ಜೆಯ ವಿವರಗಳೆಂದು ಪರಿಗಣಿಸಿ, ಹೆಚ್ಚು ಪ್ರಸ್ತುತವಾದ ಡೇಟಾಗೆ ಸ್ಥಳ ಮಾಡಿಕೊಡಲು ಇವುಗಳನ್ನು ತೆಗೆದುಹಾಕುತ್ತವೆ.
COMPINT ಸಂಶೋಧನೆಗಳು: ಕೇವಲ 17% ಉಳಿವಿನ ದರ
ಈ ಕ್ಷೀಣತೆಯನ್ನು ಅಳೆಯಲು, ಸಂಶೋಧಕರು COMPINT ಎಂಬ ಮೌಲ್ಯಮಾಪನ ಸೂಟ್ ಅನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಿದರು. ಇದರ ಫಲಿತಾಂಶಗಳು ಕಠಿಣವಾಗಿವೆ: ಸರಾಸರಿಯಾಗಿ, ಸೇರಿಸಲಾದ ಸೆಷನ್ ನಿರ್ಬಂಧಗಳಲ್ಲಿ ಕೇವಲ 17 ಪ್ರತಿಶತ ಮಾತ್ರ ಕಂಪ್ರೆಷನ್ ಪ್ರಕ್ರಿಯೆಯಿಂದ ಉಳಿಯುತ್ತವೆ.
ನಿಯಮಗಳ ಪಾಲನೆಯಲ್ಲಿನ ಗಮನಾರ್ಹ ಕುಸಿತವನ್ನು ಈ ಅಧ್ಯಯನವು ಎತ್ತಿ ತೋರಿಸಿದೆ. ಏಜೆಂಟ್ಗೆ ಸಂಪೂರ್ಣ, ಸಂಕ್ಷಿಪ್ತಗೊಳಿಸದ ಕಾಂಟೆಕ್ಸ್ಟ್ ಲಭ್ಯವಿರುವಾಗ, ನಿಯಮ ಪಾಲನೆಯ ದರವು ಸಾಮಾನ್ಯವಾಗಿ 59% ಮತ್ತು 71% ನಡುವೆ ಇರುತ್ತದೆ. ಒಮ್ಮೆ ಸಂಕ್ಷಿಪ್ತೀಕರಣವು ಸಂಭವಿಸಿದ ನಂತರ, ನಿಯಮ ಪಾಲನೆಯು ತೀವ್ರವಾಗಿ ಕುಸಿಯುತ್ತದೆ, ಇದು ಯಾವುದೇ ನಿರ್ಬಂಧವನ್ನು ನೀಡದ ಸಂದರ್ಭಕ್ಕೆ ಸಮಾನವಾಗುವ ಮಟ್ಟಕ್ಕೆ ಇಳಿಯುತ್ತದೆ.
ಇದು ಕೇವಲ ಸಂಭಾಷಣೆಯ ಸೂಕ್ಷ್ಮತೆಯ ವಿಷಯವಲ್ಲ; ಇದು ದೊಡ್ಡ ಭದ್ರತೆ ಮತ್ತು ವಿಶ್ವಾಸಾರ್ಹತೆಯ ಅಪಾಯವಾಗಿದೆ. ಏಜೆಂಟಿಕ್ ವರ್ಕ್ಫ್ಲೋಗಳಲ್ಲಿ (agentic workflows), "ಅನುಮತಿಯಿಲ್ಲದೆ ಕೋಡ್ ಅನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಬೇಡಿ" ಎಂಬಂತಹ ನಿರ್ಬಂಧವನ್ನು ಕಳೆದುಕೊಳ್ಳುವುದು ಅನಧಿಕೃತ ಟೂಲ್ ಕರೆಗಳು (tool calls), ಡೇಟಾ ಸೋರಿಕೆ ಅಥವಾ ಕ್ಯಾಲೆಂಡರ್ ಅಥವಾ ಇಮೇಲ್ನಂತಹ ಬಾಹ್ಯ ವ್ಯವಸ್ಥೆಗಳಿಗೆ ಅವೈಜ್ಞಾನಿಕ ಬದಲಾವಣೆಗಳಿಗೆ ಕಾರಣವಾಗಬಹುದು.
Qwen3.5-9B ಮೂಲಕ ಲಘುವಾದ ಪರಿಹಾರ
ಪ್ರಮುಖ ಎಐ ಪ್ರಯೋಗಾಲಯಗಳು ಬಳಸುವ ಸಂಕೀರ್ಣ ಕಂಪ್ರೆಷನ್ ಲಾಜಿಕ್ ಅನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಬದಲಾಯಿಸುವ ಬದಲು, ಸಂಶೋಧಕರು "plug-and-play" ವಾಸ್ತುಶಿಲ್ಪದ ಪರಿಹಾರವನ್ನು ಪ್ರಸ್ತಾಪಿಸಿದ್ದಾರೆ. ಅವರು ವಿಶೇಷ ಎಕ್ಸ್ಟ್ರಾಕ್ಟರ್ (extractor) ಆಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾದ Qwen3.5-9B ಮಾಡೆಲ್ ಆಧಾರಿತ ಸಣ್ಣ ಅಡಾನ್ ಮಾಡ್ಯೂಲ್ ಅನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಿದ್ದಾರೆ.
ಈ ಮಾಡ್ಯೂಲ್ ಈ ಕೆಳಗಿನಂತೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ:
- ಸೆಷನ್ ನಿರ್ಬಂಧಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಲು ಮತ್ತು ಪ್ರತ್ಯೇಕಿಸಲು ಪ್ರತಿಯೊಂದು ಬಳಕೆದಾರರ ಇನ್ಪುಟ್ ಅನ್ನು ರಿಯಲ್-ಟೈಮ್ನಲ್ಲಿ ಸ್ಕ್ಯಾನ್ ಮಾಡುವುದು.
- ಈ ನಿಯಮಗಳ ಪ್ರತ್ಯೇಕ ಮತ್ತು ಸ್ವತಂತ್ರ ಪಟ್ಟಿಯನ್ನು ನಿರ್ವಹಿಸುವುದು.
- ಮುಖ್ಯ ವ್ಯವಸ್ಥೆಯು ಸಂಕ್ಷಿಪ್ತೀಕರಣವನ್ನು ಮಾಡುವಾಗಲೆಲ್ಲಾ ಈ ಸಾರಾಂಶಿತ ಪಟ್ಟಿಯನ್ನು ಸಾರಾಂಶಕ್ಕೆ (summary) ಸೇರಿಸುವುದು.
ಈ ವಿಧಾನದ ಫಲಿತಾಂಶಗಳು ಅತ್ಯಂತ ಪರಿಣಾಮಕಾರಿಯಾಗಿವೆ. ಏಜೆಂಟ್ ಟ್ರ್ಯಾಜೆಕ್ಟರಿಗಳಿಗೆ (agent trajectories) 95.6% ಮತ್ತು ಮಲ್ಟಿ-ಟರ್ನ್ ಚಾಟ್ಗಳಿಗೆ (multi-turn chats) 90.3% ಯಶಸ್ಸಿನ ದರ ಸೇರಿದಂತೆ ವಿವಿಧ ಪರೀಕ್ಷಾ ಸನ್ನಿವೇಶಗಳಲ್ಲಿ ಈ ಎಕ್ಸ್ಟ್ರಾಕ್ಟರ್ 90 ಪ್ರತಿಶತಕ್ಕೂ ಹೆಚ್ಚು ಉಳಿವಿನ ದರವನ್ನು ಸಾಧಿಸಿದೆ. ಈ ವಿಧಾನಕ್ಕೆ ಪ್ರಾಥಮಿಕ ಮಾಡೆಲ್ನ ಮರು ತರಬೇತಿ ಅಥವಾ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಕಂಪ್ರೆಷನ್ ಮೂಲಸೌಕರ್ಯದಲ್ಲಿ ಯಾವುದೇ ಬದಲಾವಣೆಗಳ ಅಗತ್ಯವಿಲ್ಲದ ಕಾರಣ, ಇದು ಹೆಚ್ಚು ವಿಶ್ವಾಸಾರ್ಹವಾದ ಲಾಂಗ್-ಕಾಂಟೆಕ್ಸ್ಟ್ ಎಐ ಸಂವಹನಗಳತ್ತ ವಿಸ್ತರಿಸಬಹುದಾದ ಹಾದಿಯನ್ನು ಒದಗಿಸುತ್ತದೆ.
ಪ್ರಮುಖ ಅಂಶಗಳು
- ನಿರ್ಬಂಧಗಳ ಅಳಿಸುವಿಕೆ (Constraint Erasure): ಕಾಂಟೆಕ್ಸ್ಟ್ ಕಂಪ್ರೆಷನ್ ನಡವಳಿಕೆಯ ನಿಯಮಗಳಿಗಿಂತ ಕಾರ್ಯದ ಗುರಿಗಳಿಗೆ ಆದ್ಯತೆ ನೀಡುತ್ತದೆ, ಇದರಿಂದಾಗಿ ಬಳಕೆದಾರರು ವಿಧಿಸಿದ ಹೆಚ್ಚಿನ "ಸೆಷನ್ ನಿರ್ಬಂಧಗಳು" ಸಾರಾಂಶದ ಸಮಯದಲ್ಲಿ ಕಳೆದುಹೋಗುತ್ತವೆ.
- ಭದ್ರತಾ ಅಪಾಯಗಳು (Security Risks): ಸೂಚನೆಗಳ ನಷ್ಟವು—ಉದಾಹರಣೆಗೆ 'ಹ್ಯೂಮನ್-ಇನ್-ದಿ-ಲೂಪ್' (human-in-the-loop) ಪರಿಶೀಲನೆಯ ಅಗತ್ಯತೆಗಳು—ಅನಧಿಕೃತ ಏಜೆಂಟ್ ಕ್ರಮಗಳು ಮತ್ತು ಭದ್ರತೆಯ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರಬಹುದು.
- ಮಾಡ್ಯುಲರ್ ಪರಿಹಾರಗಳು (Modular Fixes): ನಿರ್ಬಂಧಗಳನ್ನು ಪ್ರತ್ಯೇಕವಾಗಿ ಟ್ರ್ಯಾಕ್ ಮಾಡಲು Qwen3.5-9B ನಂತಹ ಸಣ್ಣ, ವಿಶೇಷ ಮಾಡೆಲ್ ಅನ್ನು ಬಳಸುವುದರಿಂದ ಸೂಚನೆಗಳ ಉಳಿವಿನ ದರವನ್ನು 90% ಕ್ಕಿಂತ ಹೆಚ್ಚು ಮಾಡಬಹುದು.