𝗔𝗜 𝗠𝗼𝗱𝗲𝗹 𝗙𝗮𝗶𝗹𝗼𝘃𝗲𝗿 𝗗𝗿𝗶𝗹𝗹𝘀: ಪ್ರೊವೈಡರ್ಗಳು ವಿಫಲವಾದಾಗ ಏಜೆಂಟ್ಗಳನ್ನು ಉಪಯುಕ್ತವಾಗಿರಿಸಿಕೊಳ್ಳಿ
ಕೇವಲ ರೇಖಾಚಿತ್ರದಲ್ಲಿ (diagram) ಮಾತ್ರ ಕೆಲಸ ಮಾಡುವ ಮಾಡೆಲ್ ಫಾಲ್ಬ್ಯಾಕ್ (fallback) ಎಂಬುದು ಸ್ಥಿತಿಸ್ಥಾಪಕತ್ವವಲ್ಲ (resilience). ಅದು ಕೇವಲ ಉತ್ತಮ ಬ್ರ್ಯಾಂಡಿಂಗ್ ಹೊಂದಿರುವ ಯೋಜನೆಯಷ್ಟೇ.
ನಿಮ್ಮ ಉತ್ಪನ್ನವು AI ಏಜೆಂಟ್ಗಳನ್ನು ಬಳಸುತ್ತಿದ್ದರೆ, ಒಂದು ನಿಧಾನಗತಿಯ ಪ್ರೊವೈಡರ್ ಅಥವಾ ರೇಟ್-ಲಿಮಿಟ್ ಏರಿಕೆ (rate-limit spike) ಬಳಕೆದಾರರ ಅನುಭವವನ್ನು ಹಾಳುಮಾಡಬಹುದು. ನಿಜವಾದ ಅಪಾಯವು ಸಂಪೂರ್ಣ ಸೇವೆಯ ಸ್ಥಗಿತವಲ್ಲ (outage). ಅಪಾಯವು ಅರ್ಧಂಬರ್ಧ ಕೆಲಸ ಮಾಡುವ ಫಾಲ್ಬ್ಯಾಕ್ನಲ್ಲಿ ಅಡಗಿದೆ. ಬ್ಯಾಕಪ್ ಮಾಡೆಲ್ ಬಳಕೆದಾರರಿಗೆ ತಿಳಿಸದೆಯೇ ಡೇಟಾ ಫಾರ್ಮ್ಯಾಟ್ಗಳನ್ನು ಬದಲಾಯಿಸಿದಾಗ, ಟೂಲ್ ಸ್ಟೇಟ್ ಅನ್ನು ಕೈಬಿಟ್ಟಾಗ ಅಥವಾ ಉಲ್ಲೇಖಗಳನ್ನು (citations) ಬಿಟ್ಟುಬಿಟ್ಟಾಗ ಇದು ಸಂಭವಿಸುತ್ತದೆ.
ಪ್ರೊಡಕ್ಷನ್ ಟ್ರಾಫಿಕ್ನಿಂದ ಕಠಿಣ ಪಾಠ ಕಲಿಯುವ ಪರಿಸ್ಥಿತಿ ಬರುವ ಮೊದಲೇ ನೀವು ಪ್ರಾಯೋಗಿಕ ಫೈಲೋವರ್ ಡ್ರಿಲ್ಗಳನ್ನು ನಡೆಸಬೇಕು.
ಗುರಿಯು ಪ್ರತಿಯೊಂದು ಮಾಡೆಲ್ ಅನ್ನು ಪರಸ್ಪರ ಬದಲಾಯಿಸಬಹುದಾದಂತೆ ಮಾಡುವುದಲ್ಲ. ಪ್ರೈಮರಿ ಮಾಡೆಲ್ ವಿಫಲವಾದಾಗ ವರ್ಕ್ಫ್ಲೋ ಅನ್ನು ಸುರಕ್ಷಿತವಾಗಿ ಮತ್ತು ನಿಖರವಾಗಿರಿಸಿಕೊಳ್ಳುವುದು ಗುರಿಯಾಗಿದೆ.
ಹೆಚ್ಚಿನ ತಂಡಗಳು ಸರಳವಾದ ಕ್ರಮವನ್ನು ಬಳಸುತ್ತವೆ: ಮೊದಲು ಪ್ರೈಮರಿ ಮಾಡೆಲ್ ಅನ್ನು ಪ್ರಯತ್ನಿಸಿ, ನಂತರ ಬ್ಯಾಕಪ್, ನಂತರ ದೋಷವನ್ನು (error) ತೋರಿಸಿ. ಇದು AI ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿನ ನೈಜ ಸಮಸ್ಯೆಗಳನ್ನು ಗಮನಿಸುವುದಿಲ್ಲ. AI ಸೂಕ್ಷ್ಮ ರೀತಿಯಲ್ಲಿ ವಿಫಲವಾಗುತ್ತದೆ:
• ಬ್ಯಾಕಪ್ ಮಾಡೆಲ್ ವಿಭಿನ್ನ ಫೀಲ್ಡ್ ಅರ್ಥಗಳೊಂದಿಗೆ JSON ಅನ್ನು ನೀಡುತ್ತದೆ. • ಅಗ್ಗದ ಮಾಡೆಲ್ ನಿಮ್ಮ ಟೂಲ್ ಪಾಲಿಸಿಗಳನ್ನು ನಿರ್ಲಕ್ಷಿಸುತ್ತದೆ. • ಪ್ರೊವೈಡರ್ ಟೋಕನ್ಗಳನ್ನು ತುಂಬಾ ನಿಧಾನವಾಗಿ ಸ್ಟ್ರೀಮ್ ಮಾಡುತ್ತದೆ. • ಫಾಲ್ಬ್ಯಾಕ್ ಮಾಡೆಲ್ನಲ್ಲಿ ಅದೇ ಫಂಕ್ಷನ್-ಕಲಿಂಗ್ (function-calling) ಫಾರ್ಮ್ಯಾಟ್ ಇರುವುದಿಲ್ಲ. • ಏಜೆಂಟ್ ಪದೇ ಪದೇ ಪ್ರಯತ್ನಿಸಿ ಬಳಕೆದಾರರ ಬಜೆಟ್ ಅನ್ನು ಖಾಲಿ ಮಾಡುತ್ತದೆ.
AI ಮಾಡೆಲ್ ಫೈಲೋವರ್ ಡ್ರಿಲ್ ಎಂಬುದು ಒಂದು ಯೋಜಿತ ಪರೀಕ್ಷೆ. ಉತ್ಪನ್ನವು ಸುರಕ್ಷಿತವಾಗಿದೆಯೇ ಎಂದು ನೋಡಲು ನೀವು ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ಮಾಡೆಲ್ ಪಾತ್ ಅನ್ನು ಸ್ಥಗಿತಗೊಳಿಸುತ್ತೀರಿ.
ಒಂದು ಉತ್ತಮ ಡ್ರಿಲ್ ಇವುಗಳನ್ನು ಪರಿಶೀಲಿಸುತ್ತದೆ:
- ವರ್ಕ್ಫ್ಲೋ ಮುಂದುವರಿಯುತ್ತಿದೆಯೇ?
- ಇದು ಸ್ಕೀಮಾ (schema) ಮತ್ತು ಟೂಲ್ ಸ್ಟೇಟ್ ಅನ್ನು ಉಳಿಸಿಕೊಳ್ಳುತ್ತದೆಯೇ?
- ಇದು ವೆಚ್ಚ ಮತ್ತು ವಿಳಂಬದ (latency) ಬಜೆಟ್ನಲ್ಲೇ ಇರುತ್ತದೆಯೇ?
- ಇದು ಮುಂದಿನ ಸಮಯಕ್ಕಾಗಿ ರಿಗ್ರೆಷನ್ ಟೆಸ್ಟ್ (regression test) ಅನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆಯೇ?
ಪ್ರತಿಯೊಂದು ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಬಹು ಪ್ರೊವೈಡರ್ಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುವಂತೆ ಮಾಡುವುದರಿಂದ ಪ್ರಾರಂಭಿಸಬೇಡಿ. ವಿಫಲತೆಯು ನಂಬಿಕೆಯನ್ನು ಕುಸಿಯುವಂತೆ ಮಾಡುವ ವರ್ಕ್ಫ್ಲೋಗಳಿಂದ ಪ್ರಾರಂಭಿಸಿ.
ಅಧಿಕ ಆದ್ಯತೆಯ ವರ್ಕ್ಫ್ಲೋಗಳು:
- ಗ್ರಾಹಕರಿಗೆ ನೇರವಾದ ಚಾಟ್ (Customer-facing chat)
- ವರದಿ ತಯಾರಿಕೆ (Report generation)
- ಟೂಲ್ಗಳನ್ನು ಕರೆಯುವ ಏಜೆಂಟ್ ವರ್ಕ್ಫ್ಲೋಗಳು
- ಉಲ್ಲೇಖಗಳೊಂದಿಗೆ (citations) RAG ಉತ್ತರಗಳು
- ಸ್ಟ್ರಕ್ಚರ್ಡ್ ಫೀಲ್ಡ್ಗಳಿಗೆ ಡೇಟಾ ಎಕ್ಸ್ಟ್ರಾಕ್ಷನ್
ಅತ್ಯುತ್ತಮ ವಿನ್ಯಾಸವು ಮಾಡೆಲ್ ಹೆಸರುಗಳ ಪಟ್ಟಿಯಿಂದಲ್ಲ, ಬದಲಾಗಿ ಒಂದು ಒಪ್ಪಂದದಿಂದ (contract) ಪ್ರಾರಂಭವಾಗುತ್ತದೆ. ಫಾಲ್ಬ್ಯಾಕ್ ಕಾಂಟ್ರಾಕ್ಟ್ ಎಂಬುದು ಎಲ್ಲಾ ಪ್ರೊವೈಡರ್ಗಳಲ್ಲೂ ಏನೆಲ್ಲಾ ಅಂಶಗಳು ಬದಲಾಗಬಾರದು ಎಂಬುದನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುತ್ತದೆ. ಸಪೋರ್ಟ್ ಏಜೆಂಟ್ಗೆ, ಇದು ಇವುಗಳನ್ನು ಒಳಗೊಂಡಿರಬಹುದು:
- ಇನ್ಪುಟ್ ಮತ್ತು ಔಟ್ಪುಟ್ ರೂಪಗಳು (shapes)
- ಕಾನ್ಫಿಡೆನ್ಸ್ ಮಟ್ಟಗಳು ಮತ್ತು ಉಲ್ಲೇಖಗಳು (citations)
- ಟೂಲ್ ಅನುಮತಿಗಳು ಮತ್ತು ಉಳಿದ ಬಜೆಟ್
- ಕ್ವಾಲಿಟಿ ಗೇಟ್ಗಳು ಮತ್ತು ವ್ಯಾಲಿಡೇಶನ್ ನಿಯಮಗಳು
ಕೆಲವೊಮ್ಮೆ ಸರಿಯಾದ ಫಾಲ್ಬ್ಯಾಕ್ ಎಂಬುದು ಮತ್ತೊಂದು ಮಾಡೆಲ್ ಆಗಿರುವುದಿಲ್ಲ. ಅದು ಇರಬಹುದು:
- ಬಳಕೆದಾರರಿಂದ ದೃಢೀಕರಣವನ್ನು ಕೇಳುವುದು
- ಭಾಗಶಃ ಫಲಿತಾಂಶವನ್ನು ನೀಡುವುದು
- ಕೆಲಸವನ್ನು ನಂತರದ ಸಮಯಕ್ಕಾಗಿ ಕ್ಯೂನಲ್ಲಿ ಇಡುವುದು
- ವರ್ಕ್ಫ್ಲೋ ಅನ್ನು ಮಾನವ ವಿಮರ್ಶೆಗೆ (human review) ಕಳುಹಿಸುವುದು
ಪ್ರತಿ ವೈಫಲ್ಯವನ್ನೂ ಮತ್ತೊಂದು ಮಾಡೆಲ್ ಅನ್ನು ಪ್ರಯತ್ನಿಸಲು ಕಾರಣವೆಂದು ಪರಿಗಣಿಸುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ದೋಷಗಳು ಮತ್ತು ಫಾರ್ಮ್ಯಾಟ್ಗಳನ್ನು ನಾರ್ಮಲೈಸ್ ಮಾಡಲು ಮಾಡೆಲ್ ಅಡಾಪ್ಟರ್ ಬಳಸಿ. ಇದು ನಿಮ್ಮ ಡ್ರಿಲ್ಗಳನ್ನು ಸುಲಭಗೊಳಿಸುತ್ತದೆ ಏಕೆಂದರೆ ನಿಮ್ಮ ಮುಖ್ಯ ಲಾಜಿಕ್ ಅನ್ನು ಬದಲಾಯಿಸದೆ ನೀವು ವೈಫಲ್ಯಗಳನ್ನು ಸಿಮ್ಯುಲೇಟ್ ಮಾಡಬಹುದು.
ಪ್ರಾರಂಭಿಸಲು ಈ ಮೂರು ಡ್ರಿಲ್ಗಳನ್ನು ಚಲಾಯಿಸಿ:
- ದಿ ಟೈಮೌಟ್ ಡ್ರಿಲ್ (The Timeout Drill): ಪ್ರೈಮರಿ ಮಾಡೆಲ್ ಅನ್ನು ಸ್ಲೀಪ್ ಆಗುವಂತೆ ಮಾಡಿ. ಫಾಲ್ಬ್ಯಾಕ್ ನಿಮ್ಮ ಲೇಟೆನ್ಸಿ ಬಜೆಟ್ನೊಳಗೆ ನಡೆಯುತ್ತಿದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ.
- ದಿ ರೇಟ್ ಲಿಮಿಟ್ ಡ್ರಿಲ್ (The Rate Limit Drill): 429 ಎರರ್ ಅನ್ನು ಉಂಟುಮಾಡಿ. ನಿಮ್ಮ ಸಿಸ್ಟಮ್ ಬ್ಯಾಕೌಫ್ ಅನ್ನು ಬಳಸುತ್ತಿದೆಯೇ ಮತ್ತು ಟೆನೆಂಟ್ ಬಜೆಟ್ ಅನ್ನು ರಕ್ಷಿಸುತ್ತಿದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ.
- ದಿ ಸ್ಕೀಮಾ ಡ್ರಿಲ್ (The Schema Drill): ಮಾಡೆಲ್ ಅಮಾನ್ಯ JSON ಅನ್ನು ರಿಟರ್ನ್ ಮಾಡುವಂತೆ ಮಾಡಿ. ನಿಮ್ಮ ಸಿಸ್ಟಮ್ ಔಟ್ಪುಟ್ ಅನ್ನು ವ್ಯಾಲಿಡೇಟ್ ಮಾಡುತ್ತಿದೆಯೇ ಅಥವಾ ವರ್ಕ್ಫ್ಲೋ ಅನ್ನು ಸುರಕ್ಷಿತವಾಗಿ ನಿಲ್ಲಿಸುತ್ತಿದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ.
ಬಳಕೆದಾರರಿಗೆ ನಿಮ್ಮ ಪ್ರೊವೈಡರ್ ವಿವರಗಳ ಅಗತ್ಯವಿಲ್ಲ. ಅವರಿಗೆ ಪ್ರಾಮಾಣಿಕ ವರ್ತನೆಯ ಅಗತ್ಯವಿದೆ.
ಕೆಟ್ಟ ಸಂದೇಶ: ಏನೋ ತಪ್ಪಾಗಿದೆ. ಉತ್ತಮ ಸಂದೇಶ: ನಾನು ಇನ್ನೂ ಸಹಾಯ ಮಾಡಬಲ್ಲೆ, ಆದರೆ ಲೈವ್ ಆಕ್ಷನ್ಗಳು ತಾತ್ಕಾಲಿಕವಾಗಿ ಸೀಮಿತವಾಗಿವೆ. ನಿಮ್ಮ ಪರಿಶೀಲನೆಗಾಗಿ ನಾನು ಮುಂದಿನ ಹಂತವನ್ನು ಸಿದ್ಧಪಡಿಸಬಲ್ಲೆ.
ಎಲ್ಲವೂ ಸರಿಯಾಗಿದೆ ಎಂದು ನಟಿಸುವುದರಿಂದಲ್ಲ, ಬದಲಾಗಿ ಸ್ಪಷ್ಟವಾದ ಮಿತಿಗಳ ಮೂಲಕ ನಂಬಿಕೆಯನ್ನು ಬೆಳೆಸಿಕೊಳ್ಳಿ.
ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ: https://t.me/GyaanSetuAi