ನಿಮ್ಮ ಏಜೆಂಟ್ ಎಲ್ಲವನ್ನೂ ಪರಿಶೀಲಿಸಿತು. ಆದರೂ ಅದು ತಪ್ಪಾಗಿತ್ತು.
ನಾನು ಮಲ್ಟಿ-ಏಜೆಂಟ್ ವರ್ಕ್ಫ್ಲೋವನ್ನು (multi-agent workflow) ನಡೆಸುತ್ತೇನೆ. ಒಂದು ಮಾಡೆಲ್ ವಿನ್ಯಾಸಗೊಳಿಸುತ್ತದೆ. ಇನ್ನೊಂದು ಕೋಡ್ ಬರೆಯುತ್ತದೆ. ಮತ್ತೊಂದು ಅದನ್ನು ಪರಿಶೀಲಿಸುತ್ತದೆ. ಅಂತಿಮ ಫಲಿತಾಂಶವನ್ನು ನಾನು ಅನುಮೋದಿಸುತ್ತೇನೆ.
ಇತ್ತೀಚೆಗೆ, ಮೂರು ವೈಫಲ್ಯಗಳು ಈ ಪೈಪ್ಲೈನ್ ಮೂಲಕ ಹಾದುಹೋದವು. ಪ್ರತಿಯೊಂದು ಏಜೆಂಟ್ ತನ್ನ ಕೆಲಸವನ್ನು ಪರಿಪೂರ್ಣವಾಗಿ ಮಾಡಿತು. ವ್ಯವಸ್ಥೆಯು ಸ್ಥಿರವಾಗಿತ್ತು, ಆದರೂ ಅದು ನಿರಂತರವಾಗಿ ತಪ್ಪಾಗಿತ್ತು.
ಇದು ಬುದ್ಧಿವಂತಿಕೆಯ ಸಮಸ್ಯೆಯಲ್ಲ. ಇದು ಮಿತಿಗಳ (boundary) ಸಮಸ್ಯೆ. ನೀವು ಒದಗಿಸಿದ ಸಂದರ್ಭದ (context) ಒಳಗೆ ನೀವು ಕೇಳಿದ್ದನ್ನು ಏಜೆಂಟ್ ನಿಖರವಾಗಿ ಮಾಡುತ್ತದೆ. ಅದು ಸ್ವತಃ ಪರಿಶೀಲಿಸಲು ಹೊಸ ವಿಷಯಗಳನ್ನು ಹುಡುಕುವುದಿಲ್ಲ.
ಇಲ್ಲಿ ಮೂರು ನೈಜ-ಪ್ರಪಂಚದ ವೈಫಲ್ಯಗಳು ಮತ್ತು ಅವುಗಳನ್ನು ಸರಿಪಡಿಸುವ ವಿಧಾನಗಳಿವೆ:
- ವೈಫಲ್ಯವನ್ನು ಮರೆಮಾಚುವ ಯಶಸ್ಸು ಒಂದು ETL ಪೈಪ್ಲೈನ್ API ಯಿಂದ ಡೇಟಾವನ್ನು ಪಡೆದುಕೊಂಡಿತು. API ಸೆಷನ್ ಅವಧಿ ಮುಗಿದುಹೋಗಿತ್ತು. ಎರರ್ ಕೋಡ್ ಬದಲಿಗೆ, API ಎಂಬುದು JSON ಒಳಗಡೆ ಎರರ್ ಮೆಸೇಜ್ನೊಂದಿಗೆ HTTP 200 ಅನ್ನು ನೀಡಿತು. ಏಜೆಂಟ್ ಎರರ್ ಕೋಡ್ಗಾಗಿ ಪರಿಶೀಲಿಸಿತು, ಯಾವುದೂ ಕಂಡುಬರಲಿಲ್ಲ, ಮತ್ತು ಡೇಟಾ ಸರಿಯಾಗಿದೆ ಎಂದು ಭಾವಿಸಿತು.
- ಪರಿಹಾರ: ಸೆಮ್ಯಾಂಟಿಕ್ ವ್ಯಾಲಿಡೇಶನ್ (semantic validation) ಬಳಸಿ. ಕೇವಲ ಕರೆಯು ಯಶಸ್ವಿಯಾಯಿತೇ ಎಂದು ಪರಿಶೀಲಿಸಬೇಡಿ. ಮರಳಿ ಬಂದ ಡೇಟಾ ನಿರೀಕ್ಷಿತ ರಚನೆ (structure) ಮತ್ತು ರೋ ಕೌಂಟ್ (row count) ಗೆ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ.
- ಕಾಣೆಯಾದ ಆರ್ಟಿಫ್ಯಾಕ್ಟ್ಗಳು ಒಂದು ಕೋಡ್ ಜನರೇಟರ್ ಚಿಪ್ಗಾಗಿ C ಫೈಲ್ಗಳನ್ನು ತಯಾರಿಸಿತು. ರಿವ್ಯೂವರ್ ಕೋಡ್ ಸರಿಯಾಗಿದೆ ಎಂದು ಖಚಿತಪಡಿಸಿದರು. ಆದಾಗ್ಯೂ, ಜನರೇಟರ್ ಅಗತ್ಯವಿರುವ ವಿಜೆಟ್ ಟೇಬಲ್ (widget table) ಫೈಲ್ ಅನ್ನು ಎಂದಿಗೂ ರಚಿಸಲಿಲ್ಲ. ರಿವ್ಯೂವರ್ ಲಭ್ಯವಿರುವ ಫೈಲ್ಗಳನ್ನು ಪರಿಶೀಲಿಸಿದರು ಆದರೆ ಕಾಣೆಯಾಗಿರುವ ಫೈಲ್ಗಳಿಗಾಗಿ ಪರಿಶೀಲಿಸಲಿಲ್ಲ.
- ಪರಿಹಾರ: ಔಟ್ಪುಟ್ನ ಸಂಪೂರ್ಣತೆಯನ್ನು (completeness) ಪರಿಶೀಲಿಸಿ. ಯಾವಾಗಲೂ ಅಗತ್ಯವಿರುವ ಫೈಲ್ಗಳ ಪಟ್ಟಿಯನ್ನು ಮೊದಲು ತಯಾರಿಸಿ. ಮುಂದಿನ ಹಂತಕ್ಕೆ ಹೋಗುವ ಮೊದಲು ಪ್ರತಿಯೊಂದು ಫೈಲ್ ಅಸ್ತಿತ್ವದಲ್ಲಿದೆಯೇ ಮತ್ತು ಅದು ಖಾಲಿ ಇಲ್ಲದಿರುವುದನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಿ.
- ಸುಳ್ಳು ತಾಂತ್ರಿಕ ಪ್ರತಿಪಾದನೆಗಳು ಒಂದು SDK ಫೋಲ್ಡರ್ RISC-V ಚಿಪ್ಗೆ ಸೇರಿದ್ದೆಂದು ಪ್ರತಿಪಾದಿಸಿತು, ಆದರೆ ಹೆಡರ್ ಕಾಮೆಂಟ್ಗಳು (header comments) ಅದು CSKY ಪ್ರೊಸೆಸರ್ಗೆ ಸೇರಿದ್ದೆಂದು ಹೇಳಿದ್ದವು. ಏಜೆಂಟ್ ಫೋಲ್ಡರ್ ಹೆಸರು ಮತ್ತು ಕಾಮೆಂಟ್ಗಳನ್ನು ನಂಬಿತು. ಪ್ರತಿಪಾದನೆಯು ತಪ್ಪೆಂದು ಸಾಬೀತುಪಡಿಸುವ ನೈಜ ಮಷಿನ್ ಇನ್ಸ್ಟ್ರಕ್ಷನ್ಗಳನ್ನು (machine instructions) ಅದು ನಿರ್ಲಕ್ಷಿಸಿತು.
- ಪರಿಹಾರ: ಗ್ರೌಂಡ್-ಟ್ರೂತ್ ವ್ಯಾಲಿಡೇಶನ್ (ground-truth verification) ಬಳಸಿ. ಒಂದು ಫೈಲ್ ಯಾವುದಾದರೂ ಪ್ರತಿಪಾದನೆ ಮಾಡಿದರೆ, ಆ ಪ್ರತಿಪಾದನೆಯನ್ನು ಕಮಾಂಡ್ ಮೂಲಕ ಪರೀಕ್ಷಿಸಿ. ಕಾಮೆಂಟ್ಗಳು ಅಥವಾ ಡೈರೆಕ್ಟರಿ ಹೆಸರುಗಳನ್ನು ನಂಬಬೇಡಿ. ಕಚ್ಚಾ ಡೇಟಾವನ್ನು (raw data) ನಂಬಿ.
ಏಜೆಂಟ್ಗಳು ನೀವು ಏನನ್ನು ಪರಿಶೀಲಿಸಲು ಹೇಳುತ್ತೀರೋ ಅದನ್ನೇ ಪರಿಶೀಲಿಸುತ್ತವೆ. ಅವು "ಇನ್ನೇನು ತಪ್ಪಾಗಿರಬಹುದು?" ಎಂದು ಕೇಳುವುದಿಲ್ಲ.
ನೀವು ಮಿತಿಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಬೇಕು. ನಿಮ್ಮ ವರ್ಕ್ಫ್ಲೋನ ಅಂಚಿನಲ್ಲಿ ಪರಿಶೀಲನಾ ಚೆಕ್ಪಾಯಿಂಟ್ಗಳನ್ನು (verification checkpoints) ನಿರ್ಮಿಸಬೇಕು.
Source: https://dev.to/antonio_zhu_e726fd856cd86/your-agent-checked-everything-it-was-still-wrong-18kd
Optional learning community: https://t.me/GyaanSetuAi