𝗔𝗜/𝗠𝗟 𝗥𝗲𝘀𝗲𝗮𝗿𝗰𝗵 𝗗𝗶𝗴𝗲𝘀𝘁 — 𝗝𝘂𝗻 𝟮𝟬, 𝟮𝟬𝟮𝟲
ಏಜೆಂಟ್ಗಳು ವಿಷಯಗಳನ್ನು ಹೇಗೆ ನೆನಪಿಟ್ಟುಕೊಳ್ಳುತ್ತವೆ ಮತ್ತು ಮಾಡೆಲ್ಗಳು ಕೋಡ್ ಅನ್ನು ಹೇಗೆ ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುತ್ತವೆ ಎಂಬುದನ್ನು ಹೊಸ ಸಂಶೋಧನೆಯು ತೋರಿಸುತ್ತದೆ.
ಏಜೆಂಟ್ಗಳಿಗಾಗಿ ಮೆಮೊರಿ ಮತ್ತು ಸ್ಟೇಟ್ (Memory and State for Agents)
ಏಜೆಂಟ್ಗಳು ತಮ್ಮ ಸುತ್ತಲಿನ ಪ್ರಪಂಚವನ್ನು ನೆನಪಿಟ್ಟುಕೊಳ್ಳುವ ಅಗತ್ಯವಿದೆ.
• ಲೀನಿಯರ್-ಟೆಂಪೊರಲ್ ಅಟೆನ್ಷನ್ (Linear-temporal attention) ಒಂದು ಚಾಲನೆಯಲ್ಲಿರುವ ವರ್ಲ್ಡ್ ಮಾಡೆಲ್ ಅನ್ನು ನಿರ್ಮಿಸುತ್ತದೆ. ಇದು ಏಜೆಂಟ್ಗಳು ಪ್ರತಿ ಬಾರಿಯೂ ಎಲ್ಲವನ್ನೂ ಮರು-ಲೆಕ್ಕಾಚಾರ ಮಾಡುವುದನ್ನು ತಡೆಯುತ್ತದೆ. • ಅಸೋಸಿಯೇಟಿವ್ ಗ್ರಾಫ್ ಮೆಮೊರಿಗಳು (Associative graph memories) ವೀಕ್ಷಣೆಗಳನ್ನು ಲಿಂಕ್ ಮಾಡಲಾದ ನೋಡ್ಗಳಾಗಿ ಸಂಗ್ರಹಿಸುತ್ತವೆ. ಇದು ದೀರ್ಘ ಅವಧಿಯ ನಂತರವೂ ಏಜೆಂಟ್ಗಳು ಮಾಹಿತಿಯನ್ನು ನೆನಪಿಸಿಕೊಳ್ಳಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ. • ಇನ್ಪುಟ್ ಸ್ಟ್ರೀಮ್ಗಳು ನಿಂತು ಮತ್ತು ಪ್ರಾರಂಭವಾಗುವಾಗ ವರ್ತನೆಯನ್ನು ಸ್ಥಿರವಾಗಿಡುವ ಸಮಸ್ಯೆಯನ್ನು ಈ ವಿಧಾನಗಳು ಪರಿಹರಿಸುತ್ತವೆ.
ಉತ್ತಮ ರಿಇನ್ಫೋರ್ಸ್ಮೆಂಟ್ ಲರ್ನಿಂಗ್ (Better Reinforcement Learning)
• ಸ್ಟೆಪ್-ಲೆವೆಲ್ ಕ್ರೆಡಿಟ್ ಅಸೈನ್ಮೆಂಟ್ ಏಜೆಂಟ್ಗಳಿಗೆ ಸ್ಪಷ್ಟ ಸಂಕೇತಗಳನ್ನು ನೀಡುತ್ತದೆ. ಯಾವ ನಿರ್ದಿಷ್ಟ ಕ್ರಮಗಳು ಬಹುಮಾನಕ್ಕೆ ಕಾರಣವಾದವು ಎಂಬುದನ್ನು ಇದು ತೋರಿಸುತ್ತದೆ. • ಕ್ವಾಲಿಟಿ-ಅವೇರ್ ಸೆಲ್ಫ್-ಡಿಸ್ಟಿಲೇಷನ್ (Quality-aware self-distillation) ಸಣ್ಣ ಮಾಡೆಲ್ಗಳು ಸೂಕ್ಷ್ಮ ವಿವರಗಳನ್ನು ಉಳಿಸಿಕೊಳ್ಳಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ. ಇದು ಹೆಚ್ಚಿನ ತರಬೇತಿ ಡೇಟಾದ ಅಗತ್ಯವಿಲ್ಲದೆ ತರ್ಕಬದ್ಧತೆಯನ್ನು ಸುಧಾರಿಸುತ್ತದೆ.
ಡಿಫ್ಯೂಷನ್ ಮತ್ತು ಟೋಕನ್ಗಳಲ್ಲಿನ ದಕ್ಷತೆ (Efficiency in Diffusion and Tokens)
• ಅಡಾಪ್ಟಿವ್ ಟೋಕನ್ ಕಂಪ್ರೆಷನ್ ಚಿತ್ರದ ಅನಗತ್ಯ ಭಾಗಗಳನ್ನು ತೆಗೆದುಹಾಕುತ್ತದೆ. ಇದು ಗುಣಮಟ್ಟವನ್ನು ಎತ್ತಿ ಹಿಡಿಯುತ್ತಲೇ ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. • ಫ್ರೀಕ್ವೆನ್ಸಿ-ಅವೇರ್ ಸ್ಪೆಕ್ಟ್ರಲ್ ಫೋರ್ಸಿಂಗ್ ಒಂದೇ ಮಟ್ಟದ ವಿವರವನ್ನು ತಲುಪಲು ಕಡಿಮೆ ಪ್ಯಾರಾಮೀಟರ್ಗಳನ್ನು ಬಳಸುತ್ತದೆ. • FastContext ಫೈಲ್ ಪಾತ್ಗಳನ್ನು ಹುಡುಕಲು ಸಣ್ಣ ಸಬ್-ಏಜೆಂಟ್ ಅನ್ನು ಬಳಸುತ್ತದೆ. ಇದು ಟೋಕನ್ ಬಳಕೆಯನ್ನು 60% ಕಡಿಮೆ ಮಾಡುತ್ತದೆ ಮತ್ತು ಕೋಡಿಂಗ್ ಕಾರ್ಯಗಳಲ್ಲಿ ಯಶಸ್ಸನ್ನು ಸುಧಾರಿಸುತ್ತದೆ. • ವಿಶುವಲ್ ರೆಪೊಸಿಟರಿ ಮ್ಯಾಪ್ಗಳು ಕೋಡ್ ಅನ್ನು ಚಿತ್ರಗಳಾಗಿ ಪರಿವರ್ತಿಸುತ್ತವೆ. ಇದು ದೀರ್ಘ ಕೋಡ್ ಕಾರ್ಯಗಳಿಗಾಗಿ ಟೋಕನ್ ಬಳಕೆಯನ್ನು 26% ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.
ಕೋಡ್ ಮತ್ತು ಮಾಡೆಲ್ ಸ್ಥಿರತೆ (Code and Model Stability)
• ಪ್ರಸ್ತುತ ಮಾಡೆಲ್ಗಳು ನಾನ್-ಪೈಥಾನ್ (non-Python) ಭಾಷೆಗಳೊಂದಿಗೆ ಹೆಣಗಾಡುತ್ತಿವೆ. ಕೆಲವು ಭಾಷೆಗಳಲ್ಲಿ ಕಾರ್ಯಕ್ಷಮತೆಯು 40% ರಷ್ಟು ಕುಸಿಯುತ್ತದೆ. • ಹೊಸ 4-ಬಿಟ್ ಪ್ರಿ-ಟ್ರೈನಿಂಗ್ ವಿಧಾನಗಳು ದೋಷಗಳನ್ನು ತಡೆಯಲು ಸಮಾನವಾದ ಗ್ರಿಡ್ ಅನ್ನು ಬಳಸುತ್ತವೆ. ಇದು ದೊಡ್ಡ ಮಾಡೆಲ್ಗಳನ್ನು ಹೆಚ್ಚು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿಸುತ್ತದೆ.
ಸುರಕ್ಷತೆ ಮತ್ತು ಅಪಾಯಗಳು (Safety and Risks)
• ಸ್ಪಾರ್ಸ್ ಆಟೋಎನ್ಕೋಡರ್ಗಳು (Sparse autoencoders) ಅಸ್ಥಿರವಾಗಿವೆ. ರ್ಯಾಂಡಮ್ ಸೀಡ್ಗಳ ಆಧಾರದ ಮೇಲೆ ಫೀಚರ್ಗಳು ಬದಲಾಗುತ್ತವೆ. • AI ನ್ಯೂರಾನ್ಗಳಿಗೆ ಉದ್ದೇಶಿತ ಸರಿಪಡಿಸುವಿಕೆಗಳು (Targeted fixes) ಹೆಚ್ಚಾಗಿ ವಿಫಲವಾಗುತ್ತವೆ ಏಕೆಂದರೆ ಹಾನಿಕಾರಕ ವರ್ತನೆಗಳು ಮತ್ತೆ ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತವೆ. • AI ವಿಮರ್ಶಕರನ್ನು (AI reviewers) ವಂಚಿಸುವುದು ಸುಲಭ. ವಿಷಯವು ಒಂದೇ ಆಗಿದ್ದರೂ, ಪೇಪರ್ನ ನೋಟವನ್ನು ಬದಲಾಯಿಸುವುದರಿಂದ ಸ್ವಯಂಚಾಲಿತ ವಿಮರ್ಶಕನನ್ನು ಮರುಳು ಮಾಡಬಹುದು.
Source: https://dev.to/olaughter/aiml-research-digest-jun-20-2026-4neg
Optional learning community: https://t.me/GyaanSetuAi