ಕೇವಲ ಲೈವ್ ಮಾಡೆಲ್ ಮಾತ್ರ ನಮಗೆ ಕಲಿಸಬಹುದಾದ 6 ದೋಷಗಳು (Bugs)

ಆಫ್‌ಲೈನ್ ಪರೀಕ್ಷೆಗಳು ಅಗತ್ಯವಾಗಿವೆ. ಆದರೆ ಅವು ಮಾತ್ರ ಸಾಕಾಗುವುದಿಲ್ಲ.

ನಾನು ಪೆರುವಿನಲ್ಲಿ ಪರಿಸರ ಅನುಸರಣೆಯನ್ನು (environmental compliance) ಪತ್ತೆಹಚ್ಚಲು AgentOps Debugger ಅನ್ನು ನಿರ್ಮಿಸಿದೆ. ಇದು ದಾಖಲೆಗಳನ್ನು ಹುಡುಕಲು ಮತ್ತು ವರದಿಗಳನ್ನು ಬರೆಯಲು Qwen Cloud ನಲ್ಲಿರುವ Qwen-plus ಅನ್ನು ಬಳಸುತ್ತದೆ.

ನಾನು ಈ ವ್ಯವಸ್ಥೆಯನ್ನು 'ಆಫ್‌ಲೈನ್-ಫಸ್ಟ್' ಆಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಿದೆ. ನನ್ನ 315 ಪರೀಕ್ಷೆಗಳು ಯಾವುದೇ ನೆಟ್‌ವರ್ಕ್ ಕರೆಗಳಿಲ್ಲದೆ ಯಶಸ್ವಿಯಾಗಿ ನಡೆದವು. ಎಲ್ಲಾ ಪರೀಕ್ಷೆಗಳು ಪಾಸಾದವು. ಆದರೆ ನಾನು Alibaba Cloud ನಲ್ಲಿರುವ ಲೈವ್ ಮಾಡೆಲ್‌ಗೆ ಬದಲಾಯಿಸಿದಾಗ, ವ್ಯವಸ್ಥೆಯು ವಿಫಲವಾಯಿತು.

ಕೋಡ್ ಸರಿಯಾಗಿತ್ತು. ಸಮಸ್ಯೆ ಮಾಡೆಲ್ ನೀಡುತ್ತಿದ್ದ ಔಟ್‌ಪುಟ್‌ನಲ್ಲಿತ್ತು.

ನೈಜ ಪ್ರಪಂಚದ ಮಾಡೆಲ್ ವೈಫಲ್ಯಗಳಿಂದ ಕಲಿತ ಆ ಆರು ಪಾಠಗಳು ಇಲ್ಲಿವೆ:

• ಲೇಬಲ್ ಮಿಸ್‌ಮ್ಯಾಚ್ (Label Mismatch) ಸ್ಕೀಮಾ (Schema) "completed" ಅಥವಾ "failed" ಅನ್ನು ನಿರೀಕ್ಷಿಸಿತ್ತು. ಆದರೆ ಮಾಡೆಲ್ "success" ಅಥವಾ "done" ಎಂದು ಕಳುಹಿಸಿತು. ಕೇವಲ ಒಂದು ಪದದ ಕಾರಣದಿಂದಾಗಿ ಪಾರ್ಸರ್ (parser) ಉಪಯುಕ್ತ ಉತ್ತರಗಳನ್ನು ತಿರಸ್ಕರಿಸಿತು. ಪರಿಹಾರ: ಸಮಾನಾರ್ಥಕ ಪದಗಳನ್ನು ಸಾಮಾನ್ಯೀಕರಿಸಲು (normalize) ಸಹನಶೀಲ ಪ್ರಿ-ಪ್ರೊಸೆಸರ್ಸ್‌ಗಳನ್ನು (tolerant preprocessors) ಬಳಸಿ.

• ಡಿಜನರೇಟ್ ಪ್ಲಾನ್ಸ್ (Degenerate Plans) ಪ್ಲಾನರ್ (planner) ಕೆಲವೊಮ್ಮೆ ಏನನ್ನೂ ನೀಡುತ್ತಿರಲಿಲ್ಲ. ಅಪ್ಲಿಕೇಶನ್ ಈ ಮೌನವನ್ನು ಸಾಮಾನ್ಯ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನಾಗಿ ಮಾಡಲು ಪ್ರಯತ್ನಿಸಿತು. ಇದು ಸುಳ್ಳು ಉತ್ತರಗಳನ್ನು ಸೃಷ್ಟಿಸಿತು. ಪರಿಹಾರ: ಪ್ಲಾನ್ ಇಂಟರ್ಪ್ರೆಟರ್ ಅನ್ನು ಸೇರಿಸಿ. ಪ್ಲಾನ್ ಖಾಲಿ ಇದ್ದರೆ, ಸುಳ್ಳು ಹೇಳುವ ಬದಲು ವ್ಯವಸ್ಥೆಯು ಯೋಜಿಸಲು ವಿಫಲವಾಯಿತು ಎಂದು ಬಳಕೆದಾರರಿಗೆ ತಿಳಿಸಿ.

• ಸ್ಕೀಮಾ ಡ್ರಿಫ್ಟ್ (Schema Drift) ಮಾಡೆಲ್ "documentTitle" ನಂತಹ ಫೀಲ್ಡ್ ಹೆಸರುಗಳನ್ನು "title" ಎಂದು ಬದಲಾಯಿಸಿತು. ಅಲ್ಲದೆ ಇಂಗ್ಲಿಷ್ ಮತ್ತು ಸ್ಪ್ಯಾನಿಷ್ ಲೇಬಲ್‌ಗಳನ್ನು ಬೆರೆಸಿತು. ಪರಿಹಾರ: ಏಲಿಯಾಸ್ ಮ್ಯಾಪಿಂಗ್ (alias mapping) ಬಳಸಿ ಮತ್ತು ಮಾನ್ಯವಾದ ಭಾಗಗಳನ್ನು ಉಳಿಸಿಕೊಳ್ಳಿ. ಒಂದು ಉಲ್ಲೇಖ (citation) ತಪ್ಪಾಗಿದ್ದರೆ, ಉಳಿದ ನಾಲ್ಕನ್ನು ಉಳಿಸಿಕೊಳ್ಳಿ.

• ಅನ್‌ಪೇರ್ಡ್ ಟಾಸ್ಕ್‌ಗಳು (Unpaired Tasks) ಮಾಡೆಲ್ ವರದಿಯನ್ನು ಸಿದ್ಧಪಡಿಸುವ ಮೊದಲೇ ಅದನ್ನು ಉಳಿಸಲು (save) ಕೇಳಿತು. ಲಾಜಿಕ್ ಸುರಕ್ಷಿತವಾಗಿತ್ತು, ಆದರೆ ಬಳಕೆದಾರರ ಅನುಭವ (user experience) ಹಾಳಾಯಿತು. ಪರಿಹಾರ: ಕೋಡ್ ಬಿಟ್ಟುಹೋದ ಹಂತಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಬೇಕು ಮತ್ತು ಅವುಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಸೇರಿಸಬೇಕು.

• ಲೂಪ್ ದೋಷಗಳು (Loop Errors) ಬಳಕೆದಾರರು ಉತ್ತರಿಸಿದ ನಂತರವೂ ಮಾಡೆಲ್ ಅದೇ ಸ್ಪಷ್ಟೀಕರಣ ಪ್ರಶ್ನೆಗಳನ್ನು ಕೇಳುತ್ತಲೇ ಇತ್ತು. ಪರಿಹಾರ: ಎಂಟಿಟಿ ರೆಸಲ್ಯೂಶನ್ (entity resolution) ಅನ್ನು ಮಾಡೆಲ್‌ನಿಂದ ಕೋಡ್‌ಗೆ ವರ್ಗಾಯಿಸಿ. ಬಳಕೆದಾರರು ಒಮ್ಮೆ ಡೇಟಾವನ್ನು ಒದಗಿಸಿದ ನಂತರ, ವ್ಯವಸ್ಥೆಯು ಉಳಿದದ್ದನ್ನು ನಿರ್ಣಾಯಕವಾಗಿ (deterministically) ನಿರ್ವಹಿಸುತ್ತದೆ.

• ಸುಳ್ಳು ಅಂಬಿಗ್ಯುಟಿ (False Ambiguity) ಕಂಪನಿಯ ಹೆಸರು ಸ್ಪಷ್ಟವಾಗಿರುವಾಗಲೂ, ಅದು ಅಸ್ಪಷ್ಟವಾಗಿದೆ (ambiguous) ಎಂದು ಮಾಡೆಲ್ ಹೇಳಿತು. ಇದು ಕೆಲಸದ ಹರಿವನ್ನು (workflow) ತಡೆಹಿಡಿಯಿತು. ಪರಿಹಾರ: ಮಾಡೆಲ್ ಅಸ್ಪಷ್ಟತೆಯನ್ನು ಸೂಚಿಸಲು ಬಿಡಿ, ಆದರೆ ಅದು ನಿಜವಾಗಿದೆಯೇ ಎಂದು ಡೇಟಾ ನಿರ್ಧರಿಸಲಿ.

ಮುಖ್ಯ ತತ್ವ: LLM ಅನ್ನು ಕಥೆ ಹೇಳಲು ಬಿಡಿ, ಆದರೆ ರಚನಾತ್ಮಕ ಫಲಿತಾಂಶಗಳ (structured outcomes) ಮೇಲೆ ಅದರ ಹಕ್ಕನ್ನು ನೀಡಬೇಡಿ.

ಮಾಡೆಲ್ ಉದ್ದೇಶ (intent), ಯೋಜನೆ (planning) ಮತ್ತು ಭಾಷೆಯನ್ನು ನಿರ್ವಹಿಸಬೇಕು. ಕೋಡ್ ಎಂಟಿಟಿ ರೆಸಲ್ಯೂಶನ್, ಚಾರ್ಟ್ ಡೇಟಾ ಮತ್ತು ವರದಿ ಜೋಡಣೆಯನ್ನು (report assembly) ನಿರ್ವಹಿಸಬೇಕು.

ಪ್ರತಿಯೊಂದು ತೀರ್ಮಾನವನ್ನೂ ಒಂದು ದಾಖಲೆಗೆ ಹಿಂತಿರುಗಿ ಪತ್ತೆಹಚ್ಚಿದಾಗ ಮಾತ್ರ ವ್ಯವಸ್ಥೆಯು ವಿಶ್ವಾಸಾರ್ಹವಾಗುತ್ತದೆ. ಕಥೆಗಾಗಿ ಮಾಡೆಲ್ ಬಳಸಿ, ಆದರೆ ಸತ್ಯಕ್ಕಾಗಿ ನಿಮ್ಮ ಕೋಡ್ ಬಳಸಿ.

ಮೂಲ: https://dev.to/ginollerena/six-bugs-only-a-live-model-could-teach-us-57k5

ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ: https://t.me/GyaanSetuAi