ಒಬ್ಬ ಡೆವಲಪರ್‌ನ “ಡ್ರೀಮಿಂಗ್” (dreaming) ಪೈಪ್‌ಲೈನ್ ದಿನಕ್ಕೆ ಎರಡು ಬಾರಿ ಚಲಿಸುತ್ತದೆ, ಇದು LLM-agent ನ ಕಚ್ಚಾ ಇವೆಂಟ್ ಲಾಗ್ ಅನ್ನು ಸಂಕ್ಷಿಪ್ತವಾದ, ಪರಿಶೀಲಿಸಲ್ಪಟ್ಟ ಮೆಮೊರಿ ಸ್ಟೋರ್ ಆಗಿ ಬದಲಾಯಿಸುತ್ತದೆ ಮತ್ತು ಟೋಕನ್ ವೆಚ್ಚವನ್ನು ಗಣನೀಯವಾಗಿ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ಈ ತಂತ್ರವು ಬಹಳ ಮುಖ್ಯವಾಗಿದೆ ಏಕೆಂದರೆ ಹೆಚ್ಚಿನ ಏಜೆಂಟ್ ಸಿಸ್ಟಮ್‌ಗಳು ತಮಗೆ ಕಾಣುವ ಪ್ರತಿಯೊಂದು ವಿವರವನ್ನು ತಮ್ಮ ವರ್ಕಿಂಗ್ ಮೆಮೊರಿಯಲ್ಲಿ (working memory) ತುಂಬಿಕೊಳ್ಳುತ್ತವೆ, ಇದು ಶೀಘ್ರದಲ್ಲೇ ವಿರೋಧಾಭಾಸಗಳು, ಮರೆತುಹೋದ ಸಂದರ್ಭಗಳು ಮತ್ತು ಅತಿಯಾದ API ವೆಚ್ಚಗಳಿಗೆ ಕಾರಣವಾಗುತ್ತದೆ.

LLM ಏಜೆಂಟ್‌ಗಳಿಗೆ ಮೆಮೊರಿ ಏಕೆ ಮುಖ್ಯ

LLM ಏಜೆಂಟ್‌ಗಳು ಪ್ರತಿಯೊಂದು ಬಳಕೆದಾರರ ವಿನಂತಿ, ಟೂಲ್ ಕಾಲ್ ಅಥವಾ ಆಂತರಿಕ ವೀಕ್ಷಣೆಯನ್ನು ಹೊಸ “ಇವೆಂಟ್” (event) ಎಂದು ಪರಿಗಣಿಸುತ್ತವೆ. ಸರಳ ವಿಧಾನವು ಪ್ರತಿಯೊಂದು ಇವೆಂಟ್ ಅನ್ನು ಮುಂದಿನ ನಿರ್ಧಾರವನ್ನು ತೆಗೆದುಕೊಳ್ಳುವ ಪ್ರಾಂಪ್ಟ್‌ಗೆ ಸೇರಿಸುತ್ತದೆ. ಪ್ರಾಯೋಗಿಕವಾಗಿ ಇದು ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಗದ್ದಲದಿಂದ (noise) ತುಂಬುತ್ತದೆ, ಹಳೆಯ ಸತ್ಯಗಳನ್ನು ಮರು-ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಮಾಡೆಲ್ ಅನ್ನು ಒತ್ತಾಯಿಸುತ್ತದೆ ಮತ್ತು ಟೋಕನ್ ಬಳಕೆಯನ್ನು ಅತಿ ಹೆಚ್ಚು ಬೆಲೆಯ ಟೈರ್‌ನವರೆಗೆ ತಳ್ಳುತ್ತದೆ. ಇದರ ಪರಿಣಾಮ: ಹೆಚ್ಚಿನ ತಪ್ಪುಗಳು ಮತ್ತು ಪ್ರತಿ ಸಂವಹನದೊಂದಿಗೆ ಏರುತ್ತಿರುವ ಗುಪ್ತ ಬಿಲ್.

ರಾತ್ರಿ ಮಾಡುವ ಈ ಡ್ರೀಮಿಂಗ್ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ

ಈ ಸಿಸ್ಟಮ್ ಬರವಣಿಗೆಯ ಹಾದಿಯನ್ನು (write path - ಏಜೆಂಟ್‌ನ ಲೈವ್ ಲಾಗ್) ಮತ್ತು ಕೆಲಸದ ಹಾದಿಯನ್ನು (work path - ಮಾಡೆಲ್‌ನ ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳುವಿಕೆ) ಪ್ರತ್ಯೇಕಿಸುತ್ತದೆ. ದಿನಕ್ಕೆ ಎರಡು ಬಾರಿ ಹಿನ್ನೆಲೆ ಕೆಲಸವೊಂದು—ಇದನ್ನು “ಡ್ರೀಮ್” (dream) ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ—ಸಂಗ್ರಹಿಸಿದ ಇವೆಂಟ್‌ಗಳನ್ನು ಮೂರು ಹಂತಗಳ ಮೂಲಕ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುತ್ತದೆ:

  • Reflect – ಒಂದು LLM ಸಂಬಂಧಿತ ಇವೆಂಟ್‌ಗಳ ಗುಂಪುಗಳನ್ನು ಸ್ಕ್ಯಾನ್ ಮಾಡುತ್ತದೆ, ಸಂಕ್ಷಿಪ್ತ ಸತ್ಯಗಳನ್ನು ಪ್ರಸ್ತಾಪಿಸುತ್ತದೆ ಮತ್ತು ಯಾವ ಇವೆಂಟ್‌ಗಳು ಆ ಪ್ರಸ್ತಾಪವನ್ನು ಬೆಂಬಲಿಸುತ್ತವೆ ಎಂಬುದನ್ನು ದಾಖಲಿಸುತ್ತದೆ.
  • Score – ಒಂದು ಸತ್ಯಕ್ಕೆ ಸಾಕಷ್ಟು ಬೆಂಬಲ ನೀಡುವ ಇವೆಂಟ್‌ಗಳಿವೆಯೇ ಮತ್ತು ಅವು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿರಲು ಸಮಯದ ಅಂತರವು ಸರಿಯಾಗಿದೆಯೇ ಎಂದು ಪೈಪ್‌ಲೈನ್ ಪರಿಶೀಲಿಸುತ್ತದೆ.
  • Judge – ಎರಡು ಸ್ಯಾನಿಟಿ ಚೆಕ್‌ಗಳು (sanity checks) ಹೊಸ ಸತ್ಯವು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಯಾವುದೇ ನೆನಪಿನೊಂದಿಗೆ ವಿರೋಧಾಭಾಸ ಹೊಂದಿಲ್ಲ ಮತ್ತು ಅದು ಡೂಪ್ಲಿಕೇಟ್ ಅಲ್ಲ ಎಂದು ಖಚಿತಪಡಿಸುತ್ತವೆ.

ಎಲ್ಲಾ ಪರಿசோதனೆಗಳಲ್ಲಿ ಉತ್ತೀರ್ಣವಾದ ಸತ್ಯಗಳನ್ನು ಶಾಶ್ವತ ನೆನಪಿಗೆ (permanent memory) ಏರಿಸಲಾಗುತ್ತದೆ. ಪೂರ್ಣಗೊಳಿಸದವುಗಳು ಪರಿಶೀಲನಾ ಕ್ಯೂ (review queue) ಗೆ ಹೋಗುತ್ತವೆ, ಅಲ್ಲಿ ಒಬ್ಬ ಮಾನವ ನಿರ್ವಾಹಕರು ಕೇವಲ ಒಂದು ಕೀ ಸ್ಟ್ರೋಕ್ ಮೂಲಕ ಅವುಗಳನ್ನು ಅನುಮೋದಿಸಬಹುದು ಅಥವಾ ತಿರಸ್ಕರಿಸಬಹುದು. ಪ್ರತಿ ಅನುಮೋದನೆಯು ಗಿಟ್-ಶೈಲಿಯ ಕಮಿಟ್ (git-style commit) ಅನ್ನು ರಚಿಸುತ್ತದೆ, ಇದು ಯಾವ ನೆನಪು ಬದಲಾಯಿತು ಮತ್ತು ಯಾವಾಗ ಬದಲಾಯಿತು ಎಂಬುದರ ಸಂಪೂರ್ಣ ಆಡಿಟ್ ಟ್ರೈಲ್ (audit trail) ನೀಡುತ್ತದೆ.

ಪ್ರಮುಖ ಎಂಜಿನಿಯರಿಂಗ್ ಅಂಶಗಳು

  • ಬರವಣಿಗೆಯನ್ನು ಕೆಲಸದಿಂದ ಪ್ರತ್ಯೇಕಿಸಿ. ಏಜೆಂಟ್‌ಗಳು ಪ್ರತಿಯೊಂದು ವೀಕ್ಷಣೆಯನ್ನು ಲಾಗ್‌ನಲ್ಲಿ ಹಾಕಲು ಬಿಡಿ; ಯಾವುದು ಉಳಿಯಬೇಕು ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸಲು ಒಂದು ಪ್ರತ್ಯೇಕ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಬಳಸಿ.
  • ಸೃಷ್ಟಿಸುವ ಬದಲು ನಿರಾಕರಿಸುವತ್ತ ಗಮನಹರಿಸಿ. ಐಡಿಯಾಗಳನ್ನು ಸೃಷ್ಟಿಸುವುದು ಅಗ್ಗ; ಮೆಮೊರಿ ಮಾಲಿನ್ಯವನ್ನು (memory pollution) ತಡೆಯುವುದು ಕಷ್ಟದ ಕೆಲಸ.
  • ಅತಿ ಕಡಿಮೆ ವೆಚ್ಚದ ಚೆಕ್‌ಪಾಯಿಂಟ್‌ನಲ್ಲಿ ಮಾನವ ನಿರ್ಧಾರ. ಆಟೋ-ಡ್ರಾಫ್ಟಿಂಗ್ ನಂತರ ತಕ್ಷಣದ ಮ್ಯಾನುಯಲ್ ಸೈನ್-ಆಫ್ ಪಡೆಯುವುದು, ಸಂಪೂರ್ಣ ಸ್ವಾಯತ್ತತೆಗಿಂತ ವೆಚ್ಚ ಮತ್ತು ಸುರಕ್ಷತೆಯ ದೃಷ್ಟಿಯಿಂದ ಉತ್ತಮವಾಗಿದೆ.
  • ಪ್ರತಿ ಸೈಕಲ್‌ಗೆ ಟೋಕನ್ ವೆಚ್ಚವನ್ನು ಮಿತಿಗೊಳಿಸಿ. ಪ್ರತಿ ಡ್ರೀಮಿಂಗ್ ರನ್‌ಗೆ ಟೋಕನ್‌ಗಳ ಮೇಲೆ ಕಟ್ಟುನಿಟ್ಟಾದ ಮಿತಿಯನ್ನು ವಿಧಿಸುವುದು ಅತಿಯಾದ ವೆಚ್ಚವನ್ನು ತಡೆಯುತ್ತದೆ.
  • ಮೌನ ವೈಫಲ್ಯಗಳಿಗಾಗಿ ಆಡಿಟ್ ಮಾಡಿ. ಒಂದು ಹಂತವು ಮುಂದಿನ ಹಂತಕ್ಕಿಂತ ವಿಭಿನ್ನ ನಿಯಮಗಳನ್ನು ಅನ್ವಯಿಸಿದರೆ, ಡೇಟಾ ಗಮನizationವಿಲ್ಲದೆ ಕಣ್ಮರೆಯಾಗಬಹುದು; ಸ್ಪಷ್ಟವಾದ ಪರಿசோதனೆಗಳು ಈ ವ್ಯತ್ಯಾಸವನ್ನು ಪತ್ತೆಹಚ್ಚುತ್ತವೆ.

ಸಂಭವನೀಯ ಅನಾನುಕೂಲಗಳು

ಈ ಸಂಯೋಜನೆಯನ್ನು ಆಫ್‌ಲೈನ್‌ನಲ್ಲಿ ಮಾಡುವುದರಿಂದ ವಿಳಂಬ (lag) ಉಂಟಾಗುತ್ತದೆ: ಮುಂದಿನ ಡ್ರೀಮ್ ಸೈಕಲ್ ಬರುವವರೆಗೆ ಏಜೆಂಟ್ ಹೊಸದಾಗಿ ಪರಿಶೀಲಿಸಲ್ಪಟ್ಟ ಸತ್ಯಗಳನ್ನು ನೋಡಲು ಸಾಧ್ಯವಾಗುವುದಿಲ್ಲ. ತಕ್ಷಣದ ಕಲಿಕೆ ಅಗತ್ಯವಿರುವ ವೇಗವಾಗಿ ಚಲಿಸುವ ಅಪ್ಲಿಕೇಶನ್‌ಗಳಲ್ಲಿ, ಈ ವಿಳಂಬವು ಒಂದು ಅನಾನುಕೂಲವಾಗಬಹುದು. ಈ ಸಿಸ್ಟಮ್ ಒಬ್ಬನೇ ಮಾನವ ವಿಮರ್ಶಕನ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದೆ; ಕಾರ್ಮಿಕ ವೆಚ್ಚವನ್ನು ಹೆಚ್ಚಿಸದೆ ಪರಿಶೀಲನಾ ಕ್ಯೂ ಅನ್ನು ವಿಸ್ತರಿಸುವುದು ಇನ್ನೂ ಒಂದು ಸವಾಲಾಗಿದೆ.

ಮುಂದೆ ಗಮನಿಸಬೇಕಾದ ಅಂಶಗಳು

LLM ಏಜೆಂಟ್‌ಗಳೊಂದಿಗೆ ಪ್ರಯೋಗ ಮಾಡುತ್ತಿರುವ ಡೆವಲಪರ್‌ಗಳು ಟೋಕನ್ ಬಿಲ್‌ಗಳು ಮತ್ತು ಎರರ್ ಲಾಗ್‌ಗಳನ್ನು ಗಮನಿಸಬೇಕು, ಇದರಿಂದ "ಮೆಮೊರಿ ಮಾಲಿನ್ಯ" (memory pollution) – ಅಂದರೆ ಕಚ್ಚಾ ಇವೆಂಟ್ ಸಂಗ್ರಹಣೆಯಿಂದ ಉಂಟಾಗುವ ಪುನರಾವರ್ತಿತ ಅಥವಾ ವಿರೋಧಾಭಾಸದ ಹೇಳಿಕೆಗಳ ಲಕ್ಷಣಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಬಹುದು. ಡ್ರೀಮಿಂಗ್ ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ಸೇರಿಸುವುದು ಆಡಿಟ್ ಮಾಡಬಹುದಾದ ಮೆಮೊರಿ ಇತಿಹಾಸವನ್ನು ಪಡೆಯುವ ಜೊತೆಗೆ ಆ ವೆಚ್ಚಗಳನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಒಂದು ನಿರ್ದಿಷ್ಟ ನಿಯಂತ್ರಣವನ್ನು ನೀಡುತ್ತದೆ. ಹೆಚ್ಚಿನ ತಂಡಗಳು ಸ್ಪ್ಲಿಟ್-ಲಾಗ್ ಮಾಡೆಲ್ ಅನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳುತ್ತಿದ್ದಂತೆ, ರಿಫ್ಲೆಕ್ಟ್-ಸ್ಕೋರ್-ಜಡ್ಜ್ ಹಂತಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸುವ ಮತ್ತು ವರ್ಷನ್-ಕಂಟ್ರೋಲ್ ಶೈಲಿಯ ಪರಿಶೀಲನೆಯೊಂದಿಗೆ ಸಂಯೋಜಿಸುವ ಪರಿಕರಗಳು ಕಾಣಿಸಿಕೊಳ್ಳುವ ಸಾಧ್ಯತೆಯಿದೆ, ಇದು ಈ ವಿಧಾನವನ್ನು ಕಸ್ಟಮ್-ಮೇಡ್ ಆಗಿರದೆ ಹೆಚ್ಚು ಪ್ಲಗ್-ಅಂಡ್-ಪ್ಲೇ (plug-and-play) ಆಗುವಂತೆ ಮಾಡುತ್ತದೆ. ತಕ್ಷಣದ ಪ್ರತಿಕ್ರಿಯೆ ಮತ್ತು ಸ್ವಚ್ಛತೆಯ ನಡುವಿನ ಸಮತೋಲನವು, ಈ ರಾತ್ರಿ ಡ್ರೀಮಿಂಗ್ ಎಷ್ಟು ವ್ಯಾಪಕವಾಗಿ LLM-agent ಆರ್ಕಿಟೆಕ್ಚರ್‌ನ ಪ್ರಮಾಣಿತ ಭಾಗವಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ.