AI ರೂಟಿಂಗ್‌ನ ಪಾಂಡೊರಾ ಬಾಕ್ಸ್

DeepMind “Pandora’s Router” ಅನ್ನು ಅನಾವರಣಗೊಳಿಸಿದೆ, ಇದು ಮಾಡೆಲ್-ಆಯ್ಕೆಯನ್ನು (model-selection) ವೆಚ್ಚ-ಅರಿವಿರುವ (cost-aware) ಪಾಂಡೊರಾ ಬಾಕ್ಸ್ ಸಮಸ್ಯೆಯಾಗಿ ಪರಿಗಣಿಸುವ ಒಂದು ಚೌಕಟ್ಟಾಗಿದೆ. ಫಲಿತಾಂಶಗಳನ್ನು ನಿಜವಾಗಿಯೂ ಸುಧಾರಿಸುವ ಮಾಹಿತಿಗೆ ಮಾತ್ರ ಶುಲ್ಕ ವಿಧಿಸುವ ಮೂಲಕ, ಈ ವ್ಯವಸ್ಥೆಯು ಸಮಗ್ರ ಹುಡುಕಾಟಗಳ (exhaustive searches)ಷ್ಟೇ ಗುಣಮಟ್ಟದ ಫಲಿತಾಂಶಗಳನ್ನು ನೀಡುತ್ತಲೇ, ಇನ್ಫರೆನ್ಸ್ ವೆಚ್ಚವನ್ನು (inference spend) ಗಣನೀಯವಾಗಿ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.

ಮಾಡೆಲ್-ಆಯ್ಕೆ ಉಚಿತವಾಗಿರಲು ಸಾಧ್ಯವಿಲ್ಲದೇಕೆ?

ಪ್ರೊಡಕ್ಷನ್ ಪೈಪ್‌ಲೈನ್‌ಗಳು (Production pipelines) ಮಾಡೆಲ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡುವ ಹಂತಕ್ಕೆ ಯಾವುದೇ ವೆಚ್ಚವಾಗುವುದಿಲ್ಲ ಎಂದು ಭಾವಿಸುತ್ತವೆ. ಆದರೆ ವಾಸ್ತವದಲ್ಲಿ, ಮಾಡೆಲ್‌ನ ಸೂಕ್ತತೆಯನ್ನು ಅಂದಾಜಿಸುವುದು ಕಂಪ್ಯೂಟ್ (compute), ಮೆಮೊರಿ ಮತ್ತು ಕೆಲವೊಮ್ಮೆ ಬಾಹ್ಯ ಡೇಟಾ ಕರೆಗಳನ್ನು (external data calls) ಬಳಸಿಕೊಳ್ಳುತ್ತದೆ. ಒಂದು ವೇಗದ ಮತ್ತು ಅಸ್ಪಷ್ಟ ಅಂದಾಜು ಅಗ್ಗವಾಗಬಹುದು ಆದರೆ ಅದು ತಪ್ಪು ದಾರಿಗೆ ಎಳೆಯಬಹುದು; ನಿಖರವಾದ ಅಂದಾಜು ಎಂದರೆ ಸಾಮಾನ್ಯವಾಗಿ ಒಂದು ಸಣ್ಣ ಮಾಡೆಲ್ ಅನ್ನು ಚಲಾಯಿಸುವುದು ಅಥವಾ ಹೆಚ್ಚಿನ ಸಂದರ್ಭವನ್ನು (extra context) ಪಡೆಯುವುದು ಎಂದರ್ಥ, ಇದು ವೆಚ್ಚವನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ.

DeepMind ನ ಸಂಶೋಧನಾ ಪ್ರಬಂಧವು ಈ ಸಂದಿಗ್ಧತೆಯನ್ನು ಮರುರೂಪಿಸುತ್ತದೆ. ಪ್ರತಿಯೊಂದು ಅಭ್ಯರ್ಥಿ ಮಾಡೆಲ್ ಒಂದು "ಮೌಲ್ಯವನ್ನು" (value) ಅಡಗಿಸಿಟ್ಟುಕೊಂಡಿದೆ - ಅಂದರೆ ಬರುವ ಪ್ರಶ್ನೆಯ ಮೇಲೆ ಅದರ ನಿರೀಕ್ಷಿತ ಕಾರ್ಯಕ್ಷಮತೆ. ಈ ಚೌಕಟ್ಟು ನಿಯಂತ್ರಕನಿಗೆ (controller) ಆ ಮೌಲ್ಯವನ್ನು ನೋಡಲು ಶುಲ್ಕ ಪಾವತಿಸಲು ಅನುಮತಿಸುತ್ತದೆ ಮತ್ತು ಹೆಚ್ಚಿನ ಮಾಹಿತಿ ಪಡೆಯುವುದು ಅದರ ವೆಚ್ಚವನ್ನು ಸಮರ್ಥಿಸದಿದ್ದಾಗ ಪಾವತಿಯನ್ನು ನಿಲ್ಲಿಸಲು ಅವಕಾಶ ನೀಡುತ್ತದೆ.

ಪರಿಹಾರದ ಎರಡು ಭಾಗಗಳು

  • Pandora’s Router – ಇದು ಒಂದು ಕೇಂದ್ರೀಕೃತ ಇಂಜಿನ್ ಆಗಿದ್ದು, ಪ್ರತಿ ವಿನಂತಿಗೂ (request) ಮಾಡೆಲ್‌ನ ಮೌಲ್ಯದ ಹೆಚ್ಚು ನಿಖರವಾದ ಅಂದಾಜಿಗಾಗಿ ಪಾವತಿಸಬೇಕೇ ಅಥವಾ არა ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ. ಇದು ಒಂದು "ರಿಸರ್ವ್ ಬೆಲೆ"ಯನ್ನು (reserve price) ನಿಗದಿಪಡಿಸುತ್ತದೆ: ಅಂದರೆ ಉತ್ತಮ ಅಂದಾಜಿನಿಂದ ಸಿಗುವ ನಿರೀಕ್ಷಿತ ಲಾಭವು ಅದರ ಶುಲ್ಕಕ್ಕಿಂತ ಕಡಿಮೆ ಇದ್ದರೆ, ಆ ಅಂದಾಜನ್ನು ಪಡೆಯುವುದಿಲ್ಲ. ಅಂದಾಜಿಸಿದ ಸುಧಾರಣೆಯು ರಿಸರ್ವ್ ಬೆಲೆಯನ್ನು ಮೀರಿದಾಗ, ಇಂಜಿನ್ ಆ ಮಾಹಿತಿಯನ್ನು ಖರೀದಿಸುತ್ತದೆ; ಇಲ್ಲದಿದ್ದರೆ ಅದು ಈಗಾಗಲೇ ಹೊಂದಿರುವ ಅತ್ಯುತ್ತಮ ಅಂದಾಜಿನೊಂದಿಗೆ ಮುಂದುವರಿಯುತ್ತದೆ.

  • Pandora’s Bidder – ಇದು ಮಾಡೆಲ್ ಮಾರುಕಟ್ಟೆಗಳಿಗಾಗಿ ಇರುವ ಒಂದು ವಿಕೇಂದ್ರೀಕೃತ (decentralized) ವ್ಯವಸ್ಥೆ. ಸ್ವತಂತ್ರ ಪೂರೈಕೆದಾರರು ಬಿಡ್ ಸಲ್ಲಿಸುವ ಮೊದಲು ತಮ್ಮ ಸ್ವಂತ ಮೌಲ್ಯದ ಅಂದಾಜನ್ನು ಹೆಚ್ಚು ನಿಖರಗೊಳಿಸಲು ಕಂಪ್ಯೂಟ್ ಬಳಸಬೇಕೇ ಅಥವಾ ಬೇಡವೇ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುತ್ತಾರೆ. ಅವರ ಸ್ವಂತ ರಿಸರ್ವ್ ಬೆಲೆಯು, ಪರಿಷ್ಕೃತ ಅಂದಾಜು ಗೆಲ್ಲುವ ಸಾಧ್ಯತೆ ಇದ್ದಾಗ ಮಾತ್ರ ವೆಚ್ಚ ಮಾಡಲು ಪ್ರೇರೇಪಿಸುತ್ತದೆ.

ಎರಡೂ ಭಾಗಗಳು ಒಂದೇ ತತ್ವವನ್ನು ಹಂಚಿಕೊಳ್ಳುತ್ತವೆ: ನಿರೀಕ್ಷಿತ ಲಾಭವು ಅದರ ವೆಚ್ಚಕ್ಕಿಂತ ಹೆಚ್ಚಿದ್ದಾಗ ಮಾತ್ರ ಮಾಹಿತಿಗಾಗಿ ಖರ್ಚು ಮಾಡುವುದು.

ಮೂರು ಕ್ಷೇತ್ರಗಳಲ್ಲಿನ ಫಲಿತಾಂಶಗಳು

ಲೇಖಕರು ಈ ವಿಧಾನವನ್ನು ಮೂರು ಕೆಲಸದ ವಿಧಗಳಲ್ಲಿ (workloads) ಪರೀಕ್ಷಿಸಿದ್ದಾರೆ:

  1. ಗಣಿತದ ತರ್ಕ (Mathematical reasoning) – ವಿವಿಧ ನಿಖರತೆ ಹೊಂದಿರುವ ಪರಿಹಾರಕಗಳ (solvers) ನಡುವೆ ಆಯ್ಕೆ ಮಾಡುವುದು.
  2. ರಿಟ್ರಿವಲ್-ಆಗ್ಮೆಂಟೆಡ್ ಜನರೇಷನ್ (RAG) – ವಿವಿಧ ಜ್ಞಾನ-ಪೀಠಿಕೆ ಹುಡುಕಾಟ ತಂತ್ರಗಳ (knowledge-base lookup strategies) ನಡುವೆ ಆಯ್ಕೆ ಮಾಡುವುದು.
  3. ಬೃಹತ್ ಪ್ರಮಾಣದ ಎಂಬೆಡ್ಡಿಂಗ್ ಮಾಡೆಲ್‌ಗಳು (Large-scale embedding models) – ಸಾಮ್ಯತಾ ಹುಡುಕಾಟಕ್ಕಾಗಿ (similarity search) ಅತ್ಯುತ್ತಮ ಎನ್‌ಕೋಡರ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡುವುದು.

Pandora’s Router ಪ್ರತಿ ಸಂದರ್ಭದಲ್ಲೂ ಸ್ಥಿರ ರೂಟಿಂಗ್ ನಿಯಮಗಳು (static routing rules) ಮತ್ತು ಗ್ರೀಡಿ ಹ್ಯೂರಿಸ್ಟಿಕ್ಸ್ (greedy heuristics) ಅನ್ನು ಸೋಲಿಸಿತು. ಅತ್ಯಂತ ಕಠಿಣ ಸನ್ನಿವೇಶಗಳಲ್ಲಿ, ಇದು ಹೆಚ್ಚಿನ ಪರಿಶೀಲನಾ ವೆಚ್ಚಗಳನ್ನು ತಪ್ಪಿಸುತ್ತಲೇ ಎಲ್ಲಾ ಮಾಡೆಲ್‌ಗಳ ಬ್ರೂಟ್-ಫೋರ್ಸ್ ಸ್ಕ್ಯಾನ್ (brute-force scan) ನೀಡುವ ಗುಣಮಟ್ಟವನ್ನು ಹೊಂದಿತ್ತು. "ಹೆಚ್ಚಿನ ಪರಿಶೀಲನಾ ವೆಚ್ಚಗಳನ್ನು" ಉಳಿಸಲಾಗಿದೆ ಎಂದು ಲೇಖಕರು ವರದಿ ಮಾಡಿದ್ದಾರೆ, ಇದು ಕಂಪ್ಯೂಟ್ ವೆಚ್ಚದಲ್ಲಿ ಭಾರಿ ಕಡಿತವನ್ನು ಸೂಚಿಸುತ್ತದೆ.

AI ಎಂಜಿನಿಯರಿಂಗ್‌ಗೆ ಇದರ ಅರ್ಥವೇನು?

  • ರೂಟಿಂಗ್ ಓವರ್‌ಹೆಡ್ ಅನ್ನು ನಿರ್ಲಕ್ಷಿಸಬೇಡಿ. ಯಾವ ಮಾಡೆಲ್ ಅನ್ನು ಬಳಸಬೇಕೆಂದು ನಿರ್ಧರಿಸುವುದು ಒಂದು ನಿರ್ದಿಷ್ಟ ವೆಚ್ಚವನ್ನು ಹೊಂದಿರುತ್ತದೆ.
  • ರಿಸರ್ವ್ ಬೆಲೆಯನ್ನು ಪರಿಚಯಿಸಿ. ಹೆಚ್ಚಿನ ಮಾಹಿತಿ ಪಡೆಯುವುದು ಅದರ ಶುಲ್ಕಕ್ಕೆ ಯೋಗ್ಯವಾಗಿದೆಯೇ ಎಂಬುದಕ್ಕೆ ಒಂದು ಸ್ಪಷ್ಟ ಮಿತಿಯನ್ನು ನಿಗದಿಪಡಿಸಿ.
  • ವೆಚ್ಚ-ಅರಿವಿರುವ ರೂಟಿಂಗ್ ಅನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳಿ. ಮಾಡೆಲ್ ಪಟ್ಟಿಯು ಬೆಳೆದಂತೆ, ನಿರೀಕ್ಷಿತ ಲಾಭ ಮತ್ತು ವೆಚ್ಚದ ನಡುವೆ ಸಮತೋಲನ ಕಾಯ್ದುಕೊಳ್ಳುವ ನಿರ್ಧಾರದ ಪದರವು (decision layer) ಬಜೆಟ್ ಅನ್ನು ನಿಯಂತ್ರಣದಲ್ಲಿಡುತ್ತದೆ.

ವಿರೋಧಾತ್ಮಕ ಅಂಶ: ಹೆಚ್ಚುವರಿ ಸಂಕೀರ್ಣತೆ

ಬಿಡ್ಡಿಂಗ್ ಅಥವಾ ರೂಟಿಂಗ್ ಪದರವನ್ನು ಸೇರಿಸುವುದು ಕೆಲವು ಹೊಂದಾಣಿಕೆಗಳನ್ನು (trade-offs) ತರುತ್ತದೆ. ರಿಸರ್ವ್ ಬೆಲೆಗಳನ್ನು ಲೆಕ್ಕಹಾಕುವ ತರ್ಕವನ್ನು ನಿರ್ವಹಿಸುವುದು, ಶುಲ್ಕದ ರಚನೆಗಳನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುವುದು ಮತ್ತು ಹೆಚ್ಚುವರಿ ಕೋಡ್ ಪಾತ್ (code path) ಬಾಟಲ್ನೆಕ್ (bottleneck) ಆಗದಂತೆ ನೋಡಿಕೊಳ್ಳುವುದು ತಂಡಗಳ ಜವಾಬ್ದಾರಿಯಾಗಿದೆ. ಕೇವಲ ಕೆಲವು ಮಾಡೆಲ್‌ಗಳನ್ನು ಹೊಂದಿರುವ ಸಣ್ಣ ನಿಯೋಜನೆಗಳಿಗೆ (deployments), Pandora’s Router ಉಳಿಸುವ ಮೊದಲು ಹೆಚ್ಚು ವೆಚ್ಚ ಮಾಡಬಹುದು. ಅಲ್ಲದೆ, ಉತ್ತಮ ಅಂದಾಜಿನ ವೆಚ್ಚವು ತಿಳಿದಿದೆ ಮತ್ತು ಸ್ಥಿರವಾಗಿದೆ ಎಂದು ಈ ಚೌಕಟ್ಟು ಭಾವಿಸುತ್ತದೆ—ಬದಲಾಗುವ ಕ್ಲೌಡ್ ಬೆಲೆಗಳು ಅಥವಾ ಸ್ಪಾಟ್-ಇನ್‌ಸ್ಟೆನ್ಸ್ (spot-instance) ಅಡಚಣೆಗಳ ಸಂದರ್ಭದಲ್ಲಿ ಈ ಊಹೆಯು ತಪ್ಪಾಗಬಹುದು.

ಮುಖ್ಯಾಂಶಗಳು

ಮಾಡೆಲ್-ಆಯ್ಕೆಯನ್ನು ಉಚಿತ ರೂಟಿಂಗ್ ಹಂತವಾಗಿ ನೋಡದೆ, ಒಂದು ಆರ್ಥಿಕ ನಿರ್ಧಾರವಾಗಿ ಪರಿಗಣಿಸಿ. ಶಿಸ್ತುಬದ್ಧವಾದ ಮತ್ತು ವೆಚ್ಚ-ಅರಿವಿರುವ ವಿಧಾನವು ಔಟ್‌ಪುಟ್ ಗುಣಮಟ್ಟವನ್ನು ಬಲಿ ಕೊಡದೆ ಅನಗತ್ಯ ಕಂಪ್ಯೂಟ್ ಅನ್ನು ಕಡಿಮೆ ಮಾಡಬಲ್ಲದು ಎಂದು Pandora’s Router ತೋರಿಸುತ್ತದೆ, ಇದು AI ವ್ಯವಸ್ಥೆಗಳನ್ನು ಸ್ಕೇಲೆಬಲ್ (scalable) ಮತ್ತು ಆರ್ಥಿಕವಾಗಿ ಸುಸ್ಥಿರವಾಗಿರಿಸುತ್ತದೆ.