ಏಜೆಂಟ್ ಹಾರ್ನೆಸ್ನ ರಚನೆ
ನೀವು ಒಂದು ಚಾಟ್ಬಾಟ್ ಅನ್ನು ನಿರ್ಮಿಸಿದ್ದೀರಿ. ನೀವು ಕೆಲವು ಪರಿಕರಗಳನ್ನು (tools) ಮತ್ತು ಒಂದು ಸರಳ ಲೂಪ್ ಅನ್ನು ಸೇರಿಸಿದ್ದೀರಿ. ಇದು ಡೆಮೊಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ. ನಂತರ ನೀವು ಅದನ್ನು ಪ್ರೊಡಕ್ಷನ್ಗೆ (production) ತರಲು ಪ್ರಯತ್ನಿಸಿದಾಗ ಎಲ್ಲವೂ ಹಾಳಾಗುತ್ತದೆ.
ಮಾಡೆಲ್ ಹಿಂದಿನ ಹಂತಗಳನ್ನು ಮರೆಯುತ್ತದೆ. ಪರಿಕರಗಳ ಕರೆಗಳು (Tool calls) ಎಚ್ಚರಿಕೆಯಿಲ್ಲದೆ ವಿಫಲವಾಗುತ್ತವೆ. ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋವು (context window) ಪ್ರಯೋಜನವಿಲ್ಲದ ಡೇಟಾದಿಂದ ತುಂಬಿಹೋಗುತ್ತದೆ.
ಸಮಸ್ಯೆ ನಿಮ್ಮ ಮಾಡೆಲ್ ಅಲ್ಲ. ಸಮಸ್ಯೆ ಅದರ ಸುತ್ತಲಿರುವ ಮೂಲಸೌಕರ್ಯದಲ್ಲಿದೆ (infrastructure).
ಈ ಮೂಲಸೌಕರ್ಯವನ್ನು ಏಜೆಂಟ್ ಹಾರ್ನೆಸ್ (agent harness) ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ.
ಏಜೆಂಟ್ ಎಂಬುದು ವರ್ತನೆ (behavior). ಹಾರ್ನೆಸ್ ಎಂಬುದು ಯಂತ್ರೋಪಕರಣ (machinery). ನೀವು ಮಾಡೆಲ್ ಆಗಿಲ್ಲದಿದ್ದರೆ, ನೀವು ಹಾರ್ನೆಸ್ ಆಗಿದ್ದೀರಿ.
ಒಂದು ಕಚ್ಚಾ (raw) LLM ಅನ್ನು CPU ಎಂದು ಭಾವಿಸಿ. ಅದಕ್ಕೆ RAM, ಡಿಸ್ಕ್ ಅಥವಾ I/O ಇರುವುದಿಲ್ಲ. ಹಾರ್ನೆಸ್ ಎಂಬುದು ಆಪರೇಟಿಂಗ್ ಸಿಸ್ಟಮ್ ಆಗಿದೆ. ಇದು ಮಾಡೆಲ್ ಅನ್ನು ಉಪಯುಕ್ತವಾಗಿಸಲು ಮೆಮೊರಿ, ಪರಿಕರಗಳು ಮತ್ತು ತರ್ಕವನ್ನು (logic) ಒದಗಿಸುತ್ತದೆ.
ಪ್ರೊಡಕ್ಷನ್-ಗ್ರೇಡ್ ಹಾರ್ನೆಸ್ ಹನ್ನೆರಡು ಪ್ರಮುಖ ಘಟಕಗಳನ್ನು ಹೊಂದಿದೆ:
• ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ ಲೂಪ್ (Orchestration Loop): ಇದು ಹೃದಯಬಡಿತದಂತಿದೆ. ಇದು Thought-Action-Observation ಚಕ್ರವನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ. • ಟೂಲ್ ಲೇಯರ್ (Tool Layer): ಇವು ಕೈಗಳಿದ್ದಂತೆ. ಹಾರ್ನೆಸ್ ಟೂಲ್ ನೋಂದಣಿ, ವ್ಯಾಲಿಡೇಶನ್ ಮತ್ತು ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆಯನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ. • ಮೆಮೊರಿ (Memory): ಇದು ಅಲ್ಪಾವಧಿಯ ಇತಿಹಾಸ ಮತ್ತು ವಿವಿಧ ಸೆಷನ್ಗಳ ನಡುವಿನ ದೀರ್ಘಾವಧಿಯ ದತ್ತಾಂಶವನ್ನು ಒಳಗೊಂಡಿದೆ. • ಕಾಂಟೆಕ್ಸ್ಟ್ ಮ್ಯಾನೇಜ್ಮೆಂಟ್ (Context Management): ಇದು ಡೇಟಾವನ್ನು ಸಂಕ್ಷಿಪ್ತಗೊಳಿಸುವ ಮೂಲಕ ಅಥವಾ ಸಾರಾಂಶ ಮಾಡುವ ಮೂಲಕ ಕಾಂಟೆಕ್ಸ್ಟ್ ಹಾಳಾಗುವುದನ್ನು ತಡೆಯುತ್ತದೆ. • ಪ್ರಾಂಪ್ಟ್ ಅಸೆಂಬ್ಲಿ (Prompt Assembly): ಇದು ಪ್ರತಿ ಹಂತದಲ್ಲೂ ಮಾಡೆಲ್ ನೋಡುವ ನಿಖರವಾದ ಇನ್ಪುಟ್ ಅನ್ನು ನಿರ್ಮಿಸುತ್ತದೆ. • ಔಟ್ಪುಟ್ ಕ್ಲಾಸಿಫಿಕೇಶನ್ (Output Classification): ಮಾಡೆಲ್ ಮಾತನಾಡಬೇಕೆ ಅಥವಾ ಪರಿಕರವನ್ನು ಬಳಸಬೇಕೆ ಎಂಬುದನ್ನು ಇದು ನಿರ್ಧರಿಸುತ್ತದೆ. • ಸ್ಟೇಟ್ ಮ್ಯಾನೇಜ್ಮೆಂಟ್ (State Management): ಇದು ದೋಷ ಅಥವಾ ಅಡಚಣೆಯ ನಂತರ ಏಜೆಂಟ್ ಕೆಲಸವನ್ನು ಪುನರಾರಂಭಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. • ಎರರ್ ಹ್ಯಾಂಡ್ಲಿಂಗ್ (Error Handling): ಇದು ವೈಫಲ್ಯಗಳನ್ನು ಪತ್ತೆಹಚ್ಚುತ್ತದೆ ಇದರಿಂದ ದೋಷಗಳು ಹೆಚ್ಚಾಗುವುದಿಲ್ಲ. • ಗಾರ್ಡ್ರೈಲ್ಸ್ (Guardrails): ಇವು ಅಸುರಕ್ಷಿತ ಅಥವಾ ತಪ್ಪಾದ ಕ್ರಮಗಳನ್ನು ತಡೆಯಲು ಟ್ರಿಪ್ವೈರ್ಗಳಂತೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ. • ಪರ್ಮಿಷನ್ ಎನ್ಫೋರ್ಸ್ಮೆಂಟ್ (Permission Enforcement): ಮಾಡೆಲ್ ಏನು ಮಾಡಲು ಬಯಸುತ್ತದೆ ಮತ್ತು ಅದಕ್ಕೆ ಏನು ಮಾಡಲು ಅನುಮತಿ ಇದೆ ಎಂಬುದನ್ನು ಇದು ಪ್ರತ್ಯೇಕಿಸುತ್ತದೆ. • ವೆರಿಫಿಕೇಶನ್ ಲೂಪ್ಸ್ (Verification Loops): ಇದು ಗುಣಮಟ್ಟವನ್ನು ಸುಧಾರಿಸಲು ಮಾಡೆಲ್ ತನ್ನ ಕೆಲಸವನ್ನು ತಾನೇ ಪರಿಶೀಲಿಸಲು ಅನುಮತಿಸುತ್ತದೆ. • ಏಜೆಂಟ್ ಹ್ಯಾಂಡ್ಆಫ್ಸ್ (Agent Handoffs): ಒಂದು ಏಜೆಂಟ್ ಮತ್ತೊಂದಕ್ಕೆ ಕೆಲಸವನ್ನು ಹೇಗೆ ವರ್ಗಾಯಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಇದು ನಿರ್ವಹಿಸುತ್ತದೆ.
ಉತ್ತಮ ಎಂಜಿನಿಯರಿಂಗ್ನ ಗುರಿಯೆಂದರೆ ಹಾರ್ನೆಸ್ ಅನ್ನು ಸಾಧ್ಯವಾದಷ್ಟು ಕನಿಷ್ಠವಾಗಿ (thin) ಇಟ್ಟುಕೊಳ್ಳುವುದು. ಮಾಡೆಲ್ಗಳು ಹೆಚ್ಚು ಬುದ್ಧಿವಂತವಾಗುತ್ತಿದ್ದಂತೆ, ನಿಮಗೆ ಕಡಿಮೆ ಸ್ಕ್ಯಾಫೋಲ್ಡಿಂಗ್ (scaffolding) ಅಗತ್ಯವಿರುತ್ತದೆ.
ನಿಮ್ಮ ಏಜೆಂಟ್ ವಿಫಲವಾದಾಗ, ಮಾಡೆಲ್ ಅನ್ನು ದೂಷಿಸಬೇಡಿ. ನಿಮ್ಮ ಹಾರ್ನೆಸ್ ಅನ್ನು ಗಮನಿಸಿ.
ಮೂಲ: https://dev.to/aniruddhaadak/the-anatomy-of-an-agent-harness-1n1j
ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ: https://t.me/GyaanSetuAi