ಈ ವಾರ ನಿಮ್ಮ ತಂಡಕ್ಕೆ ಉತ್ತಮವಾದ AI ಮಾಡೆಲ್ ಅಗತ್ಯವಿಲ್ಲ
ಹೊಸ AI ಮಾಡೆಲ್ಗಳಿಗಾಗಿ ಹುಡುಕಾಟ ನಡೆಸುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ನಿಮಗೆ ನಿಜವಾಗಿ ಬೇಕಾಗಿರುವುದು ನಿಮ್ಮ ವರ್ಕ್ಫ್ಲೋ (workflow) ಮೇಲಿನ ಸುಧಾರಣೆ.
ಹೆಚ್ಚಿನ ತಂಡಗಳು ಯಾವ ಮಾಡೆಲ್ ಹೆಚ್ಚು ಬುದ್ಧಿವಂತವಾಗಿದೆ ಎಂಬುದರ ಮೇಲೆ ಗಮನ ಹರಿಸುತ್ತವೆ. ಅವರು ಹೊಸ ಬಿಡುಗಡೆಗಳ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು (benchmark) ಪರೀಕ್ಷಿಸುತ್ತಾರೆ ಮತ್ತು ಬುದ್ಧಿವಂತಿಕೆಯ ಬಗ್ಗೆ ವಾದಿಸುತ್ತಾರೆ. ಆದರೆ ನೀವು LLMಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುತ್ತಿದ್ದರೆ, ನಿಮಗೆ ನಿಜವಾದ ಕಷ್ಟ ತಿಳಿದಿರುತ್ತದೆ. ಸಮಸ್ಯೆ ಕೆಟ್ಟ ಕೋಡ್ ಅಲ್ಲ. ಸಮಸ್ಯೆ ಕೆಟ್ಟ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆ (execution).
ನೀವು ಈ ಸಮಸ್ಯೆಗಳನ್ನು ಕಾಣಬಹುದು:
- ಕೆಲಸದ ಮಧ್ಯದಲ್ಲೇ ನಿಂತುಹೋಗುವ ಏಜೆಂಟ್ ಲೂಪ್ಗಳು (Agent loops).
- ಜನರನ್ನು ಗೊಂದಲಕ್ಕೀಡುಮಾಡುವ ಅಪ್ರೂವಲ್ ಪ್ರಾಂಪ್ಟ್ಗಳು (Approval prompts).
- ಮರುಪ್ರಯತ್ನಗಳ (retries) ಸಮಯದಲ್ಲಿ ಮುರಿದುಹೋಗುವ ಕಾಂಟೆಕ್ಸ್ಟ್ ಚೇನ್ಗಳು (Context chains).
- ಆಟೊಮೇಷನ್ ತನ್ನ ಸ್ಥಿತಿಯನ್ನು (state) ಕಳೆದುಕೊಂಡ ಕಾರಣ ಮನುಷ್ಯರು ಅದನ್ನು ಸರಿಪಡಿಸಬೇಕಾದ ಪರಿಸ್ಥಿತಿ.
ಬುದ್ಧಿವಂತಿಕೆ ಹೆಚ್ಚುತ್ತಿದೆ, ಆದರೆ ಕಾರ್ಯಾಚರಣೆಯ ನಿಯಂತ್ರಣ (operational control) ಹಿಂದುಳಿದಿದೆ. ನಾವು 'ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ ಟ್ಯಾಕ್ಸ್' (orchestration tax) ಯುಗಕ್ಕೆ ಪ್ರವೇಶಿಸುತ್ತಿದ್ದೇವೆ. ನೀವು ಇದಕ್ಕೆ ಯೋಜಿಸದಿದ್ದರೆ, ಸೇವೆಯಲ್ಲಿನ ವ್ಯತ್ಯಯಗಳು (outages) ಮತ್ತು ಮೌನ ವೈಫಲ್ಯಗಳ (silent failures) ರೂಪದಲ್ಲಿ ನೀವು ಬೆಲೆ ತೆರಬೇಕಾಗುತ್ತದೆ.
AI ಔಟ್ಪುಟ್ (output) ಬಹಳ ಕಡಿಮೆ ಸಂದರ್ಭಗಳಲ್ಲಿ ಅಂತಿಮ ಉತ್ಪನ್ನವಾಗಿರುತ್ತದೆ. ಇದು ದೊಡ್ಡ ವ್ಯವಸ್ಥೆಯಲ್ಲಿನ ಒಂದು ಮಧ್ಯಂತರ ಹಂತವಾಗಿದೆ. ನೀವು ಈ ಪ್ರಶ್ನೆಗಳಿಗೆ ಪರಿಹಾರ ಕಂಡುಕೊಳ್ಳಬೇಕು:
- ಟೈಮೌಟ್ ಆದ ನಂತರ ಕೆಲಸವನ್ನು ಪುನರಾರಂಭಿಸಲು ಸಾಧ್ಯವೇ?
- ನಾವು ಪ್ರತಿಯೊಂದು ಅನುಮೋದನೆಯನ್ನು (approval) ಪರಿಶೀಲಿಸಲು (audit) ಸಾಧ್ಯವೇ?
- ಪುನರಾವರ್ತಿತ ಕ್ರಮಗಳಿಲ್ಲದೆ ಹಂತಗಳನ್ನು ಮರುಪ್ರಯತ್ನಿಸಲು ಸಾಧ್ಯವೇ?
- ಕೆಲಸ ನಡೆಯುತ್ತಿರುವಾಗಲೇ ಮನುಷ್ಯನು ಅದನ್ನು ನಿಯಂತ್ರಿಸಲು ಸಾಧ್ಯವೇ?
ಹಿರಿಯ ಎಂಜಿನಿಯರ್ಗಳು ವರ್ಷಗಳ ಹಿಂದೆಯೇ ಪೇಮೆಂಟ್ಸ್ ಮತ್ತು ಬ್ಯಾಕ್ಗ್ರೌಂಡ್ ಜಾಬ್ಗಳಲ್ಲಿ ಈ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸಿದ್ದರು. ನಾವು ಐಡೆಂಪೊಟೆನ್ಸಿ ಕೀಗಳು (idempotency keys), ಚೆಕ್ಪಾಯಿಂಟ್ಗಳು ಮತ್ತು ಟ್ರಾನ್ಸಾಕ್ಷನ್ ಲಾಗ್ಗಳನ್ನು ಬಳಸುತ್ತಿದ್ದೆವು. AI ಈ ಸಮಸ್ಯೆಗಳನ್ನು ಸೃಷ್ಟಿಸಿಲ್ಲ. ಅದು ಕೇವಲ ಇವುಗಳನ್ನು ವೇಗವಾಗಿ ಸಂಭವಿಸುವಂತೆ ಮಾಡಿದೆ.
ನಿಮ್ಮ ಎಕ್ಸಿಕ್ಯೂಷನ್ ಕಾಂಟ್ರಾಕ್ಟ್ (execution contract) ನಿರ್ಧರಿಸುವ ಮೊದಲು ಮಾಡೆಲ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡಬೇಡಿ. ಇದು ಬ್ರೇಕ್ಗಳಿಲ್ಲದ ಕಾರಿಗೆ ರೇಸಿಂಗ್ ಇಂಜಿನ್ ಆಯ್ಕೆ ಮಾಡಿದಂತೆ.
ಈ ಹಂತಗಳನ್ನು ಬಳಸಿ ವಿಶ್ವಾಸಾರ್ಹ ವರ್ಕ್ಫ್ಲೋವನ್ನು ನಿರ್ಮಿಸಿ:
AI ಕೆಲಸವನ್ನು ಸಣ್ಣ ಹಂತಗಳಾಗಿ ವಿಂಗಡಿಸಿ ಒಂದೇ ದೊಡ್ಡ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಬಳಸಬೇಡಿ. ಅದನ್ನು ಹೀಗೆ ವಿಂಗಡಿಸಿ: ಕಾಂಟೆಕ್ಸ್ಟ್ ಸಂಗ್ರಹಿಸಿ, ಬದಲಾವಣೆಯನ್ನು ಪ್ರಸ್ತಾಪಿಸಿ, ಪರಿಶೀಲನೆಗಳನ್ನು ನಡೆಸಿ, ಅನುಮೋದನೆ ಕೇಳಿ ಮತ್ತು ಬದಲಾವಣೆಯನ್ನು ಅನ್ವಯಿಸಿ.
ಬಾಳಿಕೆ ಬರುವ ಸ್ಟೋರೇಜ್ ಬಳಸಿ ಸ್ಥಿತಿ (status), ಹಂತಗಳು ಮತ್ತು ಪ್ರಯತ್ನಗಳ ಸಂಖ್ಯೆಯನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಲು ಡೇಟಾಬೇಸ್ ಬಳಸಿ. ಒಂದು ವೇಳೆ ವರ್ಕರ್ ಕ್ರ್ಯಾಶ್ ಆಗಿದ್ದರೆ, ನೀವು ಮೆಮೊರಿಯಿಂದಲ್ಲದೆ ಸ್ಟೇಟ್ನಿಂದ (state) ಅದನ್ನು ಮರುಪಡೆಯಬಹುದು.
ಐಡೆಂಪೊಟೆನ್ಸಿಯನ್ನು (Idempotency) ಕಡ್ಡಾಯಗೊಳಿಸಿ ಡೇಟಾವನ್ನು ಬದಲಾಯಿಸುವ ಪ್ರತಿಯೊಂದು ಕ್ರಮಕ್ಕೂ ಒಂದು ಸ್ಥಿರ ಕೀ (stable key) ಬೇಕು. ಒಂದು ಹಂತವು ಎರಡು ಬಾರಿ ನಡೆದರೂ, ಫಲಿತಾಂಶವು ಒಂದೇ ಆಗಿರಬೇಕು.
ಹಂತಗಳ ಮೂಲಕ ಅನುಮತಿಗಳನ್ನು ನಿರ್ವಹಿಸಿ ನಿರಂತರವಾಗಿ ಅನುಮೋದನೆಗಳನ್ನು ಕೇಳುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ಈ ಕೆಳಗಿನ ಹಂತಗಳನ್ನು ರಚಿಸಿ:
- Tier 0: ಕೇವಲ ಓದುವ ಹಂತದ ಕೆಲಸಗಳು (ಸ್ವಯಂಚಾಲಿತ ಅನುಮೋದನೆ).
- Tier 1: ಕಡಿಮೆ ಅಪಾಯದ ಬರವಣಿಗೆಗಳು (ಬ್ಯಾಚ್ ಅನುಮೋದನೆ).
- Tier 2: ಹೆಚ್ಚಿನ ಪರಿಣಾಮ ಬೀರುವ ಕೆಲಸಗಳು (ಮನುಷ್ಯನ ಪರಿಶೀಲನೆ).
- ಕಾರ್ಯಾಚರಣೆಯ ಮೆಟ್ರಿಕ್ಸ್ಗಳನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಿ ಕೇವಲ ಲೇಟೆನ್ಸಿ (latency) ಮತ್ತು ವೆಚ್ಚವನ್ನು ಮಾತ್ರ ನೋಡಬೇಡಿ. ಟೈಮೌಟ್ ದರಗಳು, ಮರುಪ್ರಯತ್ನದ ಯಶಸ್ಸು ಮತ್ತು ರೋಲ್ಬ್ಯಾಕ್ (rollback) tầnಿಕೆಯನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಿ.
ಅತ್ಯುತ್ತಮ AI ತಂಡಗಳು ಮ್ಯಾಜಿಕ್ ಪ್ರಾಂಪ್ಟ್ಗಳ ಬಗ್ಗೆ ಬಡಾಯಿ ಕೊಚ್ಚಿಕೊಳ್ಳುವುದಿಲ್ಲ. ಅವು ಬೋರಿಂಗ್, ಬಾಳಿಕೆ ಬರುವ ಮತ್ತು ವೀಕ್ಷಿಸಬಹುದಾದ (observable) ಪೈಪ್ಲೈನ್ಗಳನ್ನು ನಡೆಸುತ್ತವೆ. ಅವರ ಶಕ್ತಿ ಮಾಡೆಲ್ ಅಲ್ಲ. ಅವರ ಶಕ್ತಿ ಶಿಸ್ತುಬದ್ಧ ಸಿಸ್ಟಮ್ಸ್ ಎಂಜಿನಿಯರಿಂಗ್ (systems engineering).
Source: https://dev.to/chrisbuildsonline/your-team-doesnt-need-a-better-ai-model-this-week-29l4
Optional learning community: https://t.me/GyaanSetuAi