ಪಾಂಡೊರಾಸ್ AI ಮಾಡೆಲ್ ರೂಟಿಂಗ್ ಬಾಕ್ಸ್ (Pandora's AI Model Routing Box)
DeepMind ನ ಹೊಸ ಸಂಶೋಧನಾ ಪ್ರಬಂಧವು "Pandora’s Box" ಎಂಬ ಚೌಕಟ್ಟನ್ನು (framework) ಪ್ರಸ್ತಾಪಿಸುತ್ತದೆ, ಇದು ಕಾರ್ಯದ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು (task performance) ಬದಲಾಯಿಸದೆ ರೂಟಿಂಗ್ ಓವರ್ಹೆಡ್ ಅನ್ನು 70% ವರೆಗೆ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.
ರೂಟಿಂಗ್ ವೆಚ್ಚಗಳು ಏಕೆ ಮುಖ್ಯ
ಒಂದು ಸೇವೆಯು ವಿನಂತಿಯನ್ನು (request) ಸ್ವೀಕರಿಸಿದಾಗ, ಅದರ ಬಳಿ ಸಾಮಾನ್ಯವಾಗಿ ವಿವಿಧ ಮಾಡೆಲ್ಗಳ ಆಯ್ಕೆಗಳಿರುತ್ತವೆ—ಕೆಲವು ವೇಗವಾಗಿರುತ್ತವೆ ಆದರೆ ಅಸ್ಪಷ್ಟವಾಗಿರುತ್ತವೆ, ಇನ್ನು ಕೆಲವು ನಿಧಾನವಾಗಿರುತ್ತವೆ ಆದರೆ ನಿಖರವಾಗಿರುತ್ತವೆ. ಅತ್ಯುತ್ತಮ ಮಾಡೆಲ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡುವುದು ಕಂಪ್ಯೂಟಿಂಗ್ ಮತ್ತು ಹಣದ ವೆಚ್ಚವನ್ನು ಉಂಟುಮಾಡುತ್ತದೆ. ಯಾವ ಮಾಡೆಲ್ ಸೂಕ್ತ ಎಂದು ತಿಳಿಯುವ ಮೊದಲು ನೀವು ಒಂದು速 ಪರೀಕ್ಷೆಯನ್ನು ನಡೆಸಬೇಕು, ಬಾಹ್ಯ ಡೇಟಾವನ್ನು ಪಡೆಯಬೇಕು ಅಥವಾ ಸಹಾಯಕಾರಿ ಸಾಧನವನ್ನು (helper tool) ಬಳಸಬೇಕಾಗುತ್ತದೆ.
ಪಾಂಡೊರಾಸ್ ಬಾಕ್ಸ್सादೃಶ್ಯ (The Pandora’s Box analogy)
DeepMind ರೂಟಿಂಗ್ ಸಮಸ್ಯೆಯನ್ನು ಸಾಂಪ್ರದಾಯಿಕ ಪಾಂಡೊರಾಸ್ ಬಾಕ್ಸ್ ಒಗಟಿನೊಂದಿಗೆ ಹೋಲಿಸುತ್ತದೆ: ಪ್ರತಿ ಮಾಡೆಲ್ ಕೂಡ ಪ್ರಸ್ತುತ ಪ್ರಶ್ನೆಯ ಮೇಲೆ ತನ್ನ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಮರೆಮಾಚಿರುವ ಒಂದು ಮುಚ್ಚಿದ ಪೆಟ್ಟಿಗೆಯಾಗಿದೆ. ಪೆಟ್ಟಿಗೆಯನ್ನು ತೆರೆಯುವುದು ಸಂಪನ್ಮೂಲಗಳನ್ನು ಬಳಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಸಂಭಾವ್ಯ ಲಾಭವು ವೆಚ್ಚವನ್ನು ಸಮರ್ಥಿಸುತ್ತದೆಯೇ ಎಂದು ನೀವು ನಿರ್ಧರಿಸಬೇಕು. ಈ ಚೌಕಟ್ಟು ಈ ಹೊಂದಾಣಿಕೆಯನ್ನು (trade-off) ಔಪಚಾರಿಕಗೊಳಿಸುತ್ತದೆ ಮತ್ತು ಎರಡು ನಿರ್ದಿಷ್ಟ ಕಾರ್ಯವಿಧಾನಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ.
ಪಾಂಡೊರಾಸ್ ರೂಟರ್ (Pandora’s Router) – ಒಂದು ಕೇಂದ್ರೀಕೃತ ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳುವವನು
ರೂಟರ್ ಮೊದಲು ಮಾಡೆಲ್ನ ಸಾಮರ್ಥ್ಯವನ್ನು ಅಳೆಯಲು ಒಂದು ಅಗ್ಗದ, ಅಸ್ಪಷ್ಟ ಅಂದಾಜನ್ನು (noisy estimator) ನಡೆಸುತ್ತದೆ. ಪ್ರಸ್ತುತ ಅತ್ಯುತ್ತಮ ಮಾಡೆಲ್ಗಿಂತ ನಿರೀಕ್ಷಿತ ಸುಧಾರಣೆಯು ಮೊದಲೇ ನಿಗದಿಪಡಿಸಿದ "reservation price" ಗಿಂತ ಹೆಚ್ಚಿದ್ದರೆ ಮಾತ್ರ ಅದು ಹೆಚ್ಚು ನಿಖರವಾದ ಮೌಲ್ಯಮಾಪನಕ್ಕಾಗಿ ವೆಚ್ಚ ಮಾಡುತ್ತದೆ. ಪ್ರತಿಯೊಂದು ಮಾಡೆಲ್ ಅನ್ನು ಪರೀಕ್ಷಿಸಲು ನಿರಾಕರಿಸುವ ಮೂಲಕ, ರೂಟರ್ ಅತ್ಯುತ್ತಮ ಕಾರ್ಯಕ್ಷಮತೆಯ ಆಯ್ಕೆಯನ್ನು ಹೊರತರುವ ಜೊತೆಗೆ ಪರೀಕ್ಷಾ ಬಜೆಟ್ ಅನ್ನು ಗಣನೀಯವಾಗಿ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.
ಪಾಂಡೊರಾಸ್ ಬಿಡರ್ (Pandora’s Bidder) – ಒಂದು ವಿಕೇಂದ್ರೀಕೃತ ಮಾರುಕಟ್ಟೆ
ಬಿಡರ್ ರೂಪಾಂತರದಲ್ಲಿ (bidder variant), ಪ್ರತಿ ಮಾಡೆಲ್ ಪೂರೈಕೆದಾರರು ಒಪ್ಪಂದವನ್ನು ಗೆಲ್ಲಲು ಸಹಾಯ ಮಾಡುವ ಸ್ವಯಂ-ಮೌಲ್ಯಮಾಪನಕ್ಕಾಗಿ ಹಣವನ್ನು ಖರ್ಚು ಮಾಡಬೇಕೇ ಅಥವಾ არა ಎಂದು ನಿರ್ಧರಿಸುತ್ತಾರೆ. ಮೌಲ್ಯಮಾಪನ ವೆಚ್ಚಕ್ಕಿಂತ ಗೆಲ್ಲುವ ಅವಕಾಶದ ಲಾಭ ಹೆಚ್ಚಿರುತ್ತದೆ ಎಂದು ನಿರೀಕ್ಷಿಸಿದಾಗ ಮಾತ್ರ ಪೂರೈಕೆದಾರರು ಬಿಡ್ಗಳನ್ನು ಸಲ್ಲಿಸುತ್ತಾರೆ. ಇದು ಹೆಚ್ಚಿನ ಲಾಭವಿರುವಾಗ ಮಾತ್ರ ದುಬಾರಿ ಮೌಲ್ಯಮಾಪನಗಳು ನಡೆಯುವ ಮಾರುಕಟ್ಟೆಯನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ.
ಮೂರು ಕ್ಷೇತ್ರಗಳಲ್ಲಿನ ಫಲಿತಾಂಶಗಳು
ಲೇಖಕರು ಎರಡೂ ಕಾರ್ಯವಿಧಾನಗಳನ್ನು ಈ ಕೆಳಗಿನವುಗಳ ಮೇಲೆ ಪರೀಕ್ಷಿಸಿದ್ದಾರೆ:
- ಗಣಿತದ ತರ್ಕ (Math reasoning) – ಸಮಸ್ಯೆಯನ್ನು ಅತ್ಯಂತ ನಿಖರವಾಗಿ ಪರಿಹರಿಸುವ ಮಾಡೆಲ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡುವುದು.
- ರಿಟ್ರಿೀವಲ್-ಆಗ್ಮೆಂಟೆಡ್ ಜನರೇಷನ್ (RAG) – ಭಾಷಾ ಮಾಡೆಲ್ ಉತ್ತರವನ್ನು ನೀಡುವ ಮೊದಲು ಅತ್ಯಂತ ಪ್ರಸ್ತುತವಾದ ಸಂದರ್ಭವನ್ನು (context) ಒದಗಿಸುವ ರಿಟ್ರಿೀವಲ್ ವ್ಯವಸ್ಥೆಯನ್ನು ಆಯ್ಕೆ ಮಾಡುವುದು.
- ಬೃಹತ್ ಪ್ರಮಾಣದ ಎಂಬೆಡ್ಡಿಂಗ್ ಆಯ್ಕೆ (Large-scale embedding selection) – ಸಾಮ್ಯತಾ ಹುಡುಕಾಟಕ್ಕಾಗಿ (similarity search) ಅತ್ಯುತ್ತಮ ವೆಕ್ಟರ್ ಪ್ರಾತಿನಿಧ್ಯವನ್ನು ನೀಡುವ ಎನ್ಕೋಡರ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡುವುದು.
ಪ್ರತಿ ಸಂದರ್ಭದಲ್ಲೂ, ಪಾಂಡೊರಾಸ್ ರೂಟರ್ ಅತ್ಯಂತ ಕಡಿಮೆ 'ವೆಚ್ಚ-ಮತ್ತು-ದೋಷ' (cost-plus-error) ಮೆಟ್ರಿಕ್ ಅನ್ನು ದಾಖಲಿಸಿತು, ಇದು ಪ್ರತಿಯೊಂದು ಮಾಡೆಲ್ ಅನ್ನು ಯಾವಾಗಲೂ ಪರೀಕ್ಷಿಸುವ ಅಥವಾ ಎಂದಿಗೂ ಪರೀಕ್ಷಿಸದ ಬೇಸ್ಲೈನ್ಗಳನ್ನು ಮೀರಿಸಿದೆ. ಈ ವ್ಯವಸ್ಥೆಯು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಹೊಂದಿಕೊಳ್ಳುತ್ತದೆ: ಪರೀಕ್ಷಾ ವೆಚ್ಚಗಳು ಹೆಚ್ಚಾದಾಗ, ಇದು ಕಡಿಮೆ ಮಾಡೆಲ್ಗಳನ್ನು ಪರೀಕ್ಷಿಸುತ್ತದೆ; ಅವು ಕಡಿಮೆಯಾದಾಗ, ಇದು ಹೆಚ್ಚಿನ ಪರಿಶೀಲನೆಯನ್ನು ಮಾಡುತ್ತದೆ. ರೂಟಿಂಗ್ ವೆಚ್ಚದಲ್ಲಿ 30% ರಿಂದ 70% ರಷ್ಟು ಉಳಿತಾಯ ವರದಿಯಾಗಿದೆ ಮತ್ತು ಕಾರ್ಯದ ಗುಣಮಟ್ಟದಲ್ಲಿ ಯಾವುದೇ ಗಮನಾರ್ಹ ಕುಸಿತ ಕಂಡುಬಂದಿಲ್ಲ.
ಸಾರಾಂಶ (Takeaway): ಇನ್ಫರೆನ್ಸ್ ಬಜೆಟ್ಗಳು ಹೆಚ್ಚಾದಂತೆ, ಉತ್ತಮ ಮಾಡೆಲ್ ಹುಡುಕಾಟವನ್ನು ಯಾವಾಗ ನಿಲ್ಲಿಸಬೇಕು ಎಂದು ನಿರ್ಧರಿಸುವುದು ಮಾಡೆಲ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡುವುದಷ್ಟೇ ನಿರ್ಣಾಯಕವಾಗುತ್ತದೆ. ಪಾಂಡೊರಾಸ್ ಬಾಕ್ಸ್ ಗುಪ್ತ ವೆಚ್ಚವನ್ನು ನಿಯಂತ್ರಿಸಬಹುದಾದ ಸಾಧನವನ್ನಾಗಿ ಪರಿವರ್ತಿಸುತ್ತದೆ.