ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋಗಳು (Context Windows) ಯಾವಾಗ ಮುಖ್ಯವಾಗುವುದಿಲ್ಲವೋ ಅಂದು
ದೊಡ್ಡ ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋಗಳ ಬೆನ್ನಟ್ಟುವುದನ್ನು ನಿಲ್ಲಿಸಿ.
ಹೆಚ್ಚು ಟೋಕನ್ಗಳು ಪ್ರತಿಯೊಂದು ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸುತ್ತವೆ ಎಂದು ಭಾವಿಸುವ ಯುಗ ಮುಗಿದಿದೆ. ದೊಡ್ಡ ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋಗಳು ಈಗ ಸಾಮಾನ್ಯವಾಗಿದೆ. ಅವು ಕನಿಷ್ಠ ಅಗತ್ಯಗಳಾಗಿವೆ.
ನಿಜವಾದ ಸವಾಲು ಅದರ ಕಾರ್ಯಾಚರಣೆ (operationalization).
ನೀವು ಪ್ರೊಡಕ್ಷನ್ನಲ್ಲಿ (production) ಕೆಲಸ ಮಾಡುವ AI ಅನ್ನು ನಿರ್ಮಿಸಲು ಬಯಸಿದರೆ, ನೀವು ಮಾಡೆಲ್ ಮತ್ತು ಬಳಕೆದಾರರ ನಡುವಿನ ಸ್ಟ್ಯಾಕ್ (stack) ಮೇಲೆ ಗಮನ ಹರಿಸಬೇಕು. ಕಾರ್ಯನಿರ್ವಹಿಸುವ AI ಏಜೆಂಟ್ಗೆ ಈ ಕೆಳಗಿನ ಪದರಗಳು ಅಗತ್ಯವಿವೆ:
- ಟೂಲ್ ಡಿಸೈನ್ (Tool design): ಏಜೆಂಟ್ಗೆ ಯಾವ APIಗಳು ಬೇಕು ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುವುದು.
- ಅಬ್ಸರ್ವೇಬಿಲಿಟಿ (Observability): ಏಜೆಂಟ್ ಏನು ಮಾಡುತ್ತದೆ ಮತ್ತು ಅದು ಎಲ್ಲಿ ವಿಫಲವಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ನೋಡುವುದು.
- ಫಾಲ್ಬ್ಯಾಕ್ ಪ್ಯಾಟರ್ನ್ಗಳು (Fallback patterns): ಏಜೆಂಟ್ ತಪ್ಪು ಹಾದಿಯನ್ನು ಆರಿಸಿಕೊಂಡಾಗ ಏನು ಮಾಡಬೇಕೆಂದು ಯೋಜಿಸುವುದು.
- ಸ್ಟೇಟ್ ಮ್ಯಾನೇಜ್ಮೆಂಟ್ (State management): ಹಲವಾರು ಹಂತಗಳಲ್ಲಿ ಕಾಂಟೆಕ್ಸ್ಟ್ ಅನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡುವುದು.
- ವೆಚ್ಚದ ಆಪ್ಟಿಮೈಸೇಶನ್ (Cost optimization): ಸರಳ ಕೆಲಸಗಳಿಗಾಗಿ ಸಣ್ಣ ಮಾಡೆಲ್ಗಳನ್ನು ಬಳಸುವುದು.
- ಹ್ಯೂಮನ್-ಇನ್-ದಿ-ಲೂಪ್ (Human-in-the-loop): ಒಬ್ಬ ವ್ಯಕ್ತಿಯು ಯಾವಾಗ ಮಧ್ಯಪ್ರವೇಶಿಸಬೇಕು ಎಂಬುದನ್ನು ತಿಳಿಯುವುದು.
ನೀವು ಈ ಪದರಗಳನ್ನು ನಿರ್ಲಕ್ಷಿಸಿದರೆ, ನಿಮ್ಮ AI ಒಂದು ಹೊರೆಯಾಗುತ್ತದೆ.
AI ಮೂಲಕ ಯಶಸ್ವಿಯಾಗುತ್ತಿರುವ ಕಂಪನಿಗಳು ದೊಡ್ಡ ಮಾಡೆಲ್ಗಳ ಬೆನ್ನಟ್ಟುತ್ತಿಲ್ಲ. ಅವು ಉತ್ತಮ ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ (orchestration) ಅನ್ನು ನಿರ್ಮಿಸುತ್ತಿವೆ.
ಯಶಸ್ವಿ ನಿಯೋಜನೆಗಳಿಂದ (deployments) ಕಲಿತ ಮೂರು ಪಾಠಗಳು:
- ನಿರ್ದಿಷ್ಟತೆಯು ಸಾಮಾನ್ಯಕ್ಕಿಂತ ಉತ್ತಮವಾದುದು. ಎಲ್ಲವನ್ನೂ ಕಳಪೆಯಾಗಿ ಮಾಡುವ ಸಾಮಾನ್ಯ ಏಜೆಂಟ್ಗಿಂತ, ಒಂದು ನಿರ್ದಿಷ್ಟ ಕೆಲಸಕ್ಕಾಗಿ ಇರುವ ವಿಶೇಷ ಏಜೆಂಟ್ ಹೆಚ್ಚು ಮೌಲ್ಯಯುತವಾದುದು.
- ಅಬ್ಸರ್ವೇಬಿಲಿಟಿ (Observability) ಪ್ರಮುಖ ವೈಶಿಷ್ಟ್ಯವಾಗಿದೆ. ಏಜೆಂಟ್ನ ತರ್ಕವನ್ನು (logic) ನೀವು ನೋಡಲು ಸಾಧ್ಯವಾಗದಿದ್ದರೆ, ನೀವು ಅದನ್ನು ನಂಬಲು ಸಾಧ್ಯವಿಲ್ಲ. ಬಿಲ್ಡಿಂಗ್ ಮಾಡುವುದಕ್ಕಿಂತ ಡಿಬಗ್ ಮಾಡುವುದಕ್ಕೇ ಹೆಚ್ಚು ಸಮಯ ಬೇಕಾಗುತ್ತದೆ.
- ರೆಡಂಡನ್ಸಿ (Redundancy) ಪರಿಪೂರ್ಣತೆಗಿಂತ ಉತ್ತಮವಾದುದು. ವಿವಿಧ ಕೆಲಸಗಳಿಗಾಗಿ ಹಲವಾರು ಏಜೆಂಟ್ಗಳನ್ನು ನಿರ್ಮಿಸಿ. ಅವುಗಳ ನಡುವೆ ಭಿನ್ನಾಭಿಪ್ರಾಯ ಉಂಟಾದಾಗ ಮಾನವ ಹಸ್ತಕ್ಷೇಪದ (human fallback) ವ್ಯವಸ್ಥೆಯನ್ನು ಬಳಸಿ.
ಫ್ರಾಂಟಿಯರ್ ಲ್ಯಾಬ್ಗಳು (Frontier labs) ಮಾಡೆಲ್ ಸಾಮರ್ಥ್ಯವನ್ನು ಸುಧಾರಿಸುತ್ತಲೇ ಇರುತ್ತವೆ. ಅದು ಅವರ ಕೆಲಸ.
ನಿಜವಾದ ನಾವೀನ್ಯತೆಯು ಮೂಲಸೌಕರ್ಯದಲ್ಲಿ (infrastructure) ನಡೆಯುತ್ತದೆ. ಇದರರ್ಥ ಉತ್ತಮ ರೂಟಿಂಗ್ (routing), ವೆಚ್ಚ ನಿಯಂತ್ರಣ ಮತ್ತು ಮಲ್ಟಿ-ಮಾಡಲ್ ಸಿಸ್ಟಮ್ಗಳು.
ಪರಿಪೂರ್ಣ ಮಾಡೆಲ್ಗಾಗಿ ಕಾಯುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ಅಡಚಣೆಯು (bottleneck) ಸಾಮರ್ಥ್ಯದಲ್ಲಿಲ್ಲ, ಅದು ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆಯಲ್ಲಿ (execution) ಇದೆ.
ನಿಮ್ಮ AI ಯೋಜನೆಯನ್ನು ಯಾವುದು ನಿಧಾನಗೊಳಿಸುತ್ತಿದೆ? ಅದು ಮಾಡೆಲ್ ಅಥವಾ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆಯೇ?
ಮೂಲ: https://dev.to/aibughunter/when-context-windows-stop-mattering-the-ai-stack-that-actually-works-26kk
ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ: https://t.me/GyaanSetuAi