ಪ್ರೊಡಕ್ಷನ್ನಲ್ಲಿ AI ಏಜೆಂಟ್ಗಳನ್ನು ನಡೆಸುವಾಗ ನಾನು ಕಲಿತದ್ದು
ನಾನು AI ವ್ಯವಸ್ಥೆಗಳನ್ನು ನಿರ್ಮಿಸುತ್ತೇನೆ. ಕೋಡ್ ಅನ್ನು ಬಿಡುಗಡೆ ಮಾಡುವ ಎಂಜಿನಿಯರ್ಗಳೊಂದಿಗೆ ನಾನು ಮಾತನಾಡುತ್ತೇನೆ. ಆಕರ್ಷಕ ಡೆಮೋಗಳು ಮತ್ತು ನೈಜ ಪ್ರೊಡಕ್ಷನ್ ವ್ಯವಸ್ಥೆಗಳ ನಡುವೆ ಒಂದು ಅಂತರವಿದೆ.
ಈಗ ಜನರು ಎಲ್ಲವನ್ನೂ ಏಜೆಂಟ್ ಎಂದು ಕರೆಯುತ್ತಿದ್ದಾರೆ. ಲೂಪ್ ಇರುವ ಸ್ಕ್ರಿಪ್ಟ್ ಒಂದು ಏಜೆಂಟ್. ಮೆಮೊರಿ ಇರುವ ಚಾಟ್ಬಾಟ್ ಒಂದು ಏಜೆಂಟ್. ಈ ತಪ್ಪಿನಿಂದಾಗಿ ಕೆಟ್ಟ ಎಂಜಿನಿಯರಿಂಗ್ ಉಂಟಾಗುತ್ತದೆ.
ತಂಡಗಳು ಸರಳ ಕೆಲಸಗಳನ್ನು ಅತಿಯಾಗಿ ಎಂಜಿನಿಯರ್ ಮಾಡುತ್ತವೆ. ಕೇವಲ ಒಂದು ಉತ್ತಮ ಪ್ರಾಂಪ್ಟ್ (prompt) ಅಗತ್ಯವಿರುವ ವರ್ಕ್ಫ್ಲೋಗಳಿಗೆ ಅವರು ಸಂಕೀರ್ಣವಾದ ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ ಅನ್ನು ಸೇರಿಸುತ್ತಾರೆ.
ಏಜೆಂಟ್ಗೆ ಕೇವಲ ಸೂಚನೆಯಲ್ಲದೆ, ಒಂದು ಉದ್ದೇಶವೂ ಇರಬೇಕು. ಅದು ಮುಂದೆ ಏನು ಮಾಡಬೇಕೆಂದು ನಿರ್ಧರಿಸಬೇಕು. ಅದು ವೈಫಲ್ಯಗಳನ್ನು ನಿಭಾಯಿಸಬೇಕು. ಅದು ಯಾವಾಗ ಕೆಲಸ ಮುಗಿಯಿತು ಎಂದು ತಿಳಿಯಬೇಕು.
ಉಳಿದಿದ್ದೆಲ್ಲವೂ ಕೇವಲ ಫಂಕ್ಷನ್ ಕಾಲ್ (function call) ಮಾತ್ರ.
• ಮನುಷ್ಯನು ಪ್ರತಿಯೊಂದು ಹಂತವನ್ನೂ ಮಾರ್ಗದರ್ಶನ ಮಾಡಬೇಕಾದರೆ, ಅದು ಚಾಟ್ ಇಂಟರ್ಫೇಸ್ ಆಗಿದೆ. • ಒಂದು ವ್ಯವಸ್ಥೆಯು ವಿಫಲವಾದ ಟೂಲ್ ಕಾಲ್ನಿಂದ ಚೇತರಿಸಿಕೊಂಡರೆ, ಅದು ಏಜೆಂಟ್ ಆಗಿದೆ. • ಒಂದು ವ್ಯವಸ್ಥೆಯು ಗುರಿಯನ್ನು ಉಪ-ಕಾರ್ಯಗಳಾಗಿ (subtasks) ವಿಂಗಡಿಸಿದರೆ, ಅದು ನಿಜವಾದ ಏಜೆಂಟ್ ಆಗಿದೆ.
ನೈಜ ಏಜೆಂಟ್ ನಿಯೋಜನೆಗಳು (deployments) ನಿರ್ದಿಷ್ಟ ವ್ಯಾಪ್ತಿಯನ್ನು ಹೊಂದಿರುತ್ತವೆ. ಅವು ಡಾಕ್ಯುಮೆಂಟ್ ಎಕ್ಸ್ಟ್ರಾಕ್ಷನ್ ಅಥವಾ ಕೋಡ್ ರಿವ್ಯೂನಂತಹ ಒಂದು ಕೆಲಸವನ್ನು ಉತ್ತಮವಾಗಿ ಮಾಡುತ್ತವೆ. ಅವು ಸಾಮಾನ್ಯ ತರ್ಕದ ಇಂಜಿನ್ಗಳಲ್ಲ (general reasoning engines).
ಯಶಸ್ವಿ ತಂಡಗಳು ಮೂರು ವಿಷಯಗಳ ಮೇಲೆ ಗಮನ ಹರಿಸುತ್ತವೆ:
- ಟೂಲ್ ಡಿಸೈನ್: ಏಜೆಂಟ್ ಕರೆಯುವ ವಿಷಯಗಳಿಗಾಗಿ ಸ್ವಚ್ಛವಾದ ಇಂಟರ್ಫೇಸ್ಗಳು.
- ವೈಫಲ್ಯ ನಿರ್ವಹಣೆ: ಒಂದು ಟೂಲ್ ಏನನ್ನೂ ನೀಡದಿದ್ದಾಗ ಏನಾಗುತ್ತದೆ ಎಂಬುದು.
- ಅಬ್ಸರ್ವೇಬಿಲಿಟಿ (Observability): ಏಜೆಂಟ್ ಏಕೆ ನಿರ್ದಿಷ್ಟ ನಿರ್ಧಾರವನ್ನು ತೆಗೆದುಕೊಂಡಿತು ಎಂಬುದನ್ನು ಪತ್ತೆಹಚ್ಚುವುದು.
LangChain ಅಥವಾ CrewAI ನಂತಹ ಫ್ರೇಮ್ವರ್ಕ್ಗಳು ಪ್ರತಿ ತಿಂಗಳು ಬದಲಾಗುತ್ತವೆ. ಫ್ರೇಮ್ವರ್ಕ್ಗಿಂತ ಪ್ಯಾಟರ್ನ್ಗಳು (patterns) ಹೆಚ್ಚು ಮುಖ್ಯವಾಗಿವೆ.
ಯಶಸ್ವಿಯಾಗಲು ಈ ಪ್ಯಾಟರ್ನ್ಗಳನ್ನು ಬಳಸಿ:
- ಯೋಜಿಸಿ ನಂತರ ಕಾರ್ಯಗತಗೊಳಿಸಿ: ಯೋಜನೆಗಾಗಿ ಒಂದು ಹಂತ ಮತ್ತು ಕಾರ್ಯಗತಗೊಳಿಸಲು ಪ್ರತ್ಯೇಕ ಹಂತವನ್ನು ಬಳಸಿ.
- ರಿಟ್ರಿವಲ್ (retrieval) ಅನ್ನು ರೀಸನಿಂಗ್ನಿಂದ (reasoning) ಪ್ರತ್ಯೇಕಿಸಿ: ಸಂದರ್ಭವನ್ನು (context) ಪಡೆಯುವುದು ಮತ್ತು ಸಂದರ್ಭವನ್ನು ಬಳಸುವುದು ಎಂಬುದು ಬೇರೆ ಬೇರೆ ಕೆಲಸಗಳು.
- ಸ್ಪಷ್ಟವಾದ ಹ್ಯಾಂಡ್ಆಫ್ಗಳು (handoffs): ಒಂದು ಏಜೆಂಟ್ ಮತ್ತೊಂದಕ್ಕೆ ಕೆಲಸವನ್ನು ವರ್ಗಾಯಿಸಿದಾಗ ಸ್ಟ್ರಕ್ಚರ್ಡ್ ಲಾಗ್ಗಳನ್ನು ಬಳಸಿ.
RAG ಒಂದು ಪ್ರಮಾಣಿತ ವಿಧಾನವಾಗಿದೆ, ಆದರೆ ಹೆಚ್ಚಿನ ಜನರು ಚಂಕಿಂಗ್ನಲ್ಲಿ (chunking) ವಿಫಲರಾಗುತ್ತಾರೆ. ನೀವು ಪಠ್ಯವನ್ನು ಸರಿಯಾಗಿ ವಿಂಗಡಿಸದಿದ್ದರೆ, ಮಾಡೆಲ್ ತನ್ನ ಸಂದರ್ಭವನ್ನು (context) ಕಳೆದುಕೊಳ್ಳುತ್ತದೆ. ನಿಮ್ಮ RAG ಫಲಿತಾಂಶಗಳು ಪ್ರಯೋಜನಕಾರಿಯಲ್ಲದಿದ್ದರೆ, ಮಾಡೆಲ್ ಅನ್ನು ದೂಷಿಸುವ ಮೊದಲು ನಿಮ್ಮ ಮೆಟಾಡೇಟಾ ಮತ್ತು ಚಂಕಿಂಗ್ ತಂತ್ರವನ್ನು ಪರಿಶೀಲಿಸಿ.
ಮಾಡೆಲ್ಗಳು ಉತ್ತಮಗೊಳ್ಳುತ್ತವೆ ಮತ್ತು ಅಗ್ಗವಾಗುತ್ತವೆ. ಇದು ಮೂಲ ಎಂಜಿನಿಯರಿಂಗ್ ಸವಾಲನ್ನು ಬದಲಿಸುವುದಿಲ್ಲ. ನೀವು ಗಮನಿಸುತ್ತಿಲ್ಲದಿದ್ದಾಗಲೂ ಸರಿಯಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ವ್ಯವಸ್ಥೆಗಳನ್ನು ನೀವು ನಿರ್ಮಿಸಬೇಕು.
ಗವರ್ನೆನ್ಸ್ ಮತ್ತು ಅಬ್ಸರ್ವೇಬಿಲಿಟಿ ಮೇಲೆ ಗಮನ ಹರಿಸಿ. ಇತರರು ನಂಬಬಹುದಾದ ವ್ಯವಸ್ಥೆಗಳನ್ನು ನಿರ್ಮಿಸುವ ಎಂಜಿನಿಯರ್ಗಳೇ ಮುಖ್ಯವಾಗುತ್ತಾರೆ. ಇದು ಸಿಸ್ಟಮ್ಸ್ ಡಿಸೈನ್ ಆಗಿದೆ, ಮಾಡೆಲ್ ರಿಸರ್ಚ್ ಅಲ್ಲ.
ಮೂಲ: https://dev.to/aibughunter/what-i-learned-after-running-ai-agents-in-production-for-a-year-49n