ಅತ್ಯಂತ ಜನಪ್ರಿಯ AI ಫ್ರೇಮ್ವರ್ಕ್ನಲ್ಲಿ ಒಂದು ಗಂಭೀರವಾದ ದೋಷವಿದೆ
ಜನರು ಪ್ರತಿಯೊಂದನ್ನೂ ಏಜೆಂಟ್ ಎಂದು ಕರೆಯುತ್ತಾರೆ.
ಲೂಪ್ ಇರುವ ಸ್ಕ್ರಿಪ್ಟ್ ಒಂದು ಏಜೆಂಟ್. ಮೆಮೊರಿ ಇರುವ ಚಾಟ್ಬಾಟ್ ಒಂದು ಏಜೆಂಟ್. ಈ ತಪ್ಪಿನಿಂದಾಗಿ ಕೆಟ್ಟ ಇಂಜಿನಿಯರಿಂಗ್ ಉಂಟಾಗುತ್ತದೆ.
ಸರಳ ಕೆಲಸಗಳಿಗಾಗಿ ಸಂಕೀರ್ಣವಾದ ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ (orchestration) ನಿರ್ಮಿಸಲು ತಂಡಗಳು ವಾರಗಟ್ಟಲೆ ವ್ಯರ್ಥ ಮಾಡುತ್ತವೆ. ಕೇವಲ ಒಂದು ಪ್ರಾಂಪ್ಟ್ಗಾಗಿ ನಿಮಗೆ ಏಜೆಂಟ್ ಅಗತ್ಯವಿಲ್ಲ.
ಏಜೆಂಟ್ಗೆ ಒಂದು ಉದ್ದೇಶವಿರಬೇಕು. ಅದು ತನ್ನ ಮುಂದಿನ ಹಂತಗಳನ್ನು ತಾನೇ ನಿರ್ಧರಿಸಬೇಕು. ಅದು ವೈಫಲ್ಯಗಳನ್ನು ನಿಭಾಯಿಸಬೇಕು ಮತ್ತು ಕೆಲಸ ಯಾವಾಗ ಮುಗಿಯಿತು ಎಂಬುದು ತಿಳಿಯುವಂತಿರಬೇಕು.
ನಿಮ್ಮ ಸಿಸ್ಟಮ್ ಅನ್ನು ಪರೀಕ್ಷಿಸಲು ಈ ನಿಯಮಗಳನ್ನು ಬಳಸಿ:
- ಮನುಷ್ಯ ಪ್ರತಿಯೊಂದು ಹಂತವನ್ನೂ ಮಾರ್ಗದರ್ಶನ ಮಾಡಬೇಕಿದ್ದರೆ, ಅದು ಚಾಟ್ ಇಂಟರ್ಫೇಸ್ ಆಗಿದೆ.
- ನಿಮ್ಮ ಸಿಸ್ಟಮ್ ವಿಫಲವಾದ ಟೂಲ್ ಕಾಲ್ನಿಂದ (tool call) ಚೇತರಿಸಿಕೊಂಡರೆ, ನಿಮ್ಮ ಬಳಿ ಏಜೆಂಟ್ ಇದೆ ಎಂದರ್ಥ.
- ನಿಮ್ಮ ಸಿಸ್ಟಮ್ ಒಂದು ಗುರಿಯನ್ನು ಉಪ-ಕೆಲಸಗಳಾಗಿ (subtasks) ವಿಂಗಡಿಸಿದರೆ, ನಿಮ್ಮ ಬಳಿ ನಿಜವಾದ ಏಜೆಂಟ್ ಇದೆ ಎಂದರ್ಥ.
ಹೆಚ್ಚಿನ ಯಶಸ್ವಿ ಏಜೆಂಟ್ಗಳು ನಿರ್ದಿಷ್ಟ ಕಾರ್ಯಗಳಿಗೆ ಸೀಮಿತವಾಗಿರುತ್ತವೆ. ಅವು ಡಾಕ್ಯುಮೆಂಟ್ ಎಕ್ಸ್ಟ್ರಾಕ್ಷನ್ ಅಥವಾ ಕೋಡ್ ರಿವ್ಯೂನಂತಹ ಒಂದು ಕೆಲಸವನ್ನು ಮಾತ್ರ ಮಾಡುತ್ತವೆ. ಅವು ಸಾಮಾನ್ಯ ತರ್ಕದ ಇಂಜಿನ್ಗಳಲ್ಲ (general reasoning engines).
ಅತ್ಯುತ್ತಮ ತಂಡಗಳು ಮೂರು ವಿಷಯಗಳ ಮೇಲೆ ಗಮನ ಹರಿಸುತ್ತವೆ:
- ಟೂಲ್ ಡಿಸೈನ್: ಏಜೆಂಟ್ಗಾಗಿ ಇಂಟರ್ಫೇಸ್ಗಳನ್ನು ಸ್ವಚ್ಛವಾಗಿ ಮಾಡುವುದು.
- ಫೇಲ್ಯೂರ್ ಹ್ಯಾಂಡ್ಲಿಂಗ್: ಒಂದು ಟೂಲ್ ವಿಫಲವಾದಾಗ ಏನಾಗಬೇಕು ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುವುದು.
- ಅಬ್ಸರ್ವೇಬಿಲಿಟಿ (Observability): ಏಜೆಂಟ್ ಏಕೆ ನಿರ್ಧಾರ ಕೈಗೊಂಡಿತು ಎಂಬುದನ್ನು ಪತ್ತೆಹಚ್ಚುವುದು.
LangChain ಅಥವಾ CrewAI ನಂತಹ ಫ್ರೇಮ್ವರ್ಕ್ಗಳಿಗಿಂತ ಪ್ಯಾಟರ್ನ್ಗಳು (patterns) ಹೆಚ್ಚು ಮುಖ್ಯವಾಗಿವೆ. ನಾನು ಮೂರು ವಿಭಿನ್ನ ಫ್ರೇಮ್ವರ್ಕ್ಗಳಲ್ಲಿ ಒಂದೇ ಆರ್ಕಿಟೆಕ್ಚರ್ ಅನ್ನು ಮರುನಿರ್ಮಿಸಿದ್ದೇನೆ. ಫಲಿತಾಂಶಗಳು ಒಂದೇ ಆಗಿದ್ದವು.
ಈ ಪ್ಯಾಟರ್ನ್ಗಳನ್ನು ಅನುಸರಿಸಿ:
- ಪ್ಲಾನ್ ನಂತರ ಎಕ್ಸಿಕ್ಯೂಟ್ ಮಾಡಿ: ಯೋಜನೆಗಾಗಿ ಒಂದು ಹಂತ ಮತ್ತು ಕೆಲಸಕ್ಕಾಗಿ ಪ್ರತ್ಯೇಕ ಹಂತವನ್ನು ಬಳಸಿ.
- ರಿಟ್ರಿವಲ್ ಅನ್ನು ರೀಸನಿಂಗ್ನಿಂದ ಪ್ರತ್ಯೇಕಿಸಿ: ಡೇಟಾವನ್ನು ಪಡೆಯುವುದು ಮತ್ತು ಅದನ್ನು ಬಳಸುವುದು ಒಂದೇ ಅಲ್ಲ.
- ಎಕ್ಸ್ಪ್ಲಿಸಿಟ್ ಹ್ಯಾಂಡ್ಆಫ್ಸ್ (Explicit handoffs): ಒಂದು ಏಜೆಂಟ್ ಮತ್ತೊಂದಕ್ಕೆ ಕೆಲಸವನ್ನು ವರ್ಗಾಯಿಸುವಾಗ ಸ್ಟ್ರಕ್ಚರ್ಡ್ ಲಾಗ್ಗಳನ್ನು ಬಳಸಿ.
ಕೆಟ್ಟ ಚಂಕಿಂಗ್ನಿಂದಾಗಿ (chunking) RAG ಸಿಸ್ಟಮ್ಗಳು ಹೆಚ್ಚಾಗಿ ವಿಫಲವಾಗುತ್ತವೆ. ನಿಮ್ಮ ಮಾಡೆಲ್ ತಾಂತ್ರಿಕ ಸತ್ಯಗಳನ್ನು ಸರಿಯಾಗಿ ಹೇಳಿದರೂ ಸಂದರ್ಭವನ್ನು (context) ತಪ್ಪಿಸಿಕೊಂಡರೆ, ನಿಮ್ಮ ಚಂಕ್ಗಳೇ ಸಮಸ್ಯೆಯಾಗಿದೆ ಎಂದರ್ಥ. ಸೆಮ್ಯಾಂಟಿಕ್ ಚಂಕಿಂಗ್ (semantic chunking) ಅಥವಾ ಪೇರೆಂಟ್-ಡಾಕ್ಯುಮೆಂಟ್ ರಿಟ್ರಿವಲ್ (parent-document retrieval) ಅನ್ನು ಪ್ರಯತ್ನಿಸಿ.
ಬೆಂಚ್ಮಾರ್ಕ್ಗಳ ಹಿಂದೆ ಬೀಳುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ನೀವು ಗಮನಿಸುತ್ತಿಲ್ಲದಿದ್ದಾಗಲೂ ನೀವು ನಂಬಬಹುದಾದ ಸಿಸ್ಟಮ್ಗಳನ್ನು ನಿರ್ಮಿಸುವುದು ನಿಜವಾದ ಸವಾಲಾಗಿದೆ.
ಗವರ್ನೆನ್ಸ್, ಅಬ್ಸರ್ವೇಬಿಲಿಟಿ ಮತ್ತು ವಿಶ್ವಾಸಾರ್ಹ ಟೂಲ್ ಬಳಕೆಯ ಮೇಲೆ ಗಮನ ಹರಿಸಿ. ಅತ್ಯುತ್ತಮ ಇಂಜಿನಿಯರ್ಗಳು ಕೇವಲ ಪ್ರಾಂಪ್ಟ್ ಇಂಜಿನಿಯರಿಂಗ್ ಮೇಲೆ ಮಾತ್ರವಲ್ಲದೆ ಸಿಸ್ಟಮ್ ಡಿಸೈನ್ ಮೇಲೆ ಗಮನ ಹರಿಸುತ್ತಾರೆ.
Source: https://dev.to/aibughunter/the-hottest-ai-framework-right-now-has-a-fatal-flaw-nobody-mentions-2ing
Optional learning community: https://t.me/GyaanSetuAi