Vercel ತನ್ನ “AI Gateway Budgets” ಅನ್ನು ಪರಿಚಯಿಸಿದೆ. ಇದು ಪ್ರತಿ ಪ್ರಾಜೆಕ್ಟ್ ಮತ್ತು ಪ್ರತಿ API-key ಗೆ ನಿರ್ದಿಷ್ಟ ಖರ್ಚಿನ ಮಿತಿಯನ್ನು (spend cap) ನೀಡುತ್ತದೆ. ನಿಗದಿಪಡಿಸಿದ ಮಿತಿಯನ್ನು ತಲುಪಿದ ತಕ್ಷಣ ಇದು ದೊಡ್ಡ ಮಟ್ಟದ language-model (LLM) ಕರೆಗಳನ್ನು ತಾನಾಗಿಯೇ ತಡೆಯುತ್ತದೆ. ಒಂದು ತಪ್ಪಾದ ಲೂಪ್ ಅಥವಾ ರಿಟ್ರೈ ಬಗ್‌ನಿಂದಾಗಿ AI ವೆಚ್ಚಗಳು ಅತಿಯಾಗಿ ಹೆಚ್ಚಾಗುವುದನ್ನು ತಡೆಯಲು ಈ ವೈಶಿಷ್ಟ್ಯವನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ.

ಕೇವಲ AI ಗಾಗಿ ಮೀಸಲಾದ 'kill switch' ಏಕೆ ಮುಖ್ಯ?

Vercel ನ AI Gateway ಬಳಸುವ ಡೆವಲಪರ್‌ಗಳು LLM ವಿನಂತಿಗಳನ್ನು (requests) Vercel ನ ಮೂಲಸೌಕರ್ಯದ ಮೂಲಕ ಕಳುಹಿಸುತ್ತಾರೆ ಮತ್ತು ಆ ಮಾಡೆಲ್‌ಗಳು ಬಳಸುವ ಟೋಕನ್‌ಗಳಿಗಾಗಿ ಪಾವತಿಸುತ್ತಾರೆ. ಒಂದು ಸಣ್ಣ prompt-injection loop ಅಥವಾ ತಪ್ಪಾಗಿ ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ retry policy ನಿಮಿಷोंಗಳಲ್ಲಿ ಸಾವಿರಾರು ಟೋಕನ್ ವಿನಂತಿಗಳನ್ನು ಸೃಷ್ಟಿಸಬಹುದು, ಇದರಿಂದ ಸಣ್ಣ ಬಜೆಟ್ ಕೂಡ ದೊಡ್ಡ ಮೊತ್ತದ ಬಿಲ್ ಆಗಿ ಬದಲಾಗಬಹುದು. Vercel ನಲ್ಲಿರುವ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಖರ್ಚು ನಿರ್ವಹಣಾ ಪರಿಕರಗಳು (spend-management tools) ಅಕೌಂಟ್ ಮಟ್ಟದಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ ಮತ್ತು ಕೇವಲ AI ಕರೆಗಳನ್ನು ಮಾತ್ರವಲ್ಲದೆ ಎಲ್ಲಾ ಔಟ್‌ಬೌಂಡ್ ಟ್ರಾಫಿಕ್ ಅನ್ನು ನಿಯಂತ್ರಿಸುತ್ತವೆ. ಈ ವಿಧಾನವು AI ಬಳಕೆ ಮಾತ್ರ ಸಮಸ್ಯೆಯಾಗಿದ್ದರೂ ಸಹ ಸೈಟ್‌ನ ಫ್ರಂಟ್-ಎಂಡ್ ಅಥವಾ API ಅನ್ನು ಕುಂಠಿತಗೊಳಿಸಬಹುದು.

AI Gateway Budgets ಸಾಮಾನ್ಯ ಖರ್ಚು ನಿಯಂತ್ರಣಗಳಿಗಿಂತ ಹೇಗೆ ಭಿನ್ನವಾಗಿದೆ?

  • ವ್ಯಾಪ್ತಿ (Scope) – ಬಜೆಟ್‌ಗಳು ಕೇವಲ AI ಟೋಕನ್ ಖರ್ಚಿಗೆ ಮಾತ್ರ ಅನ್ವಯಿಸುತ್ತವೆ, ಉಳಿದ ಅಕೌಂಟ್ ಮೇಲೆ ಯಾವುದೇ ಪರಿಣಾಮ ಬೀರುವುದಿಲ್ಲ.
  • ಸೂಕ್ಷ್ಮತೆ (Granularity) – ಮಿತಿಗಳನ್ನು ತಂಡ (team), ಪ್ರಾಜೆಕ್ಟ್ ಅಥವಾ ವೈಯಕ್ತಿಕ API-key ಮಟ್ಟದಲ್ಲಿ ಹೊಂದ设置 ಮಾಡಬಹುದು.
  • ವರ್ತನೆ (Behavior) – ಮಿತಿಯನ್ನು ತಲುಪಿದಾಗ, ಬಜೆಟ್ ಮುಗಿದಿರುವುದರಿಂದ ವಿನಂತಿಯನ್ನು ತಡೆಹಿಡಿಯಲಾಗಿದೆ ಎಂದು ಸೂಚಿಸಲು ಗೇಟ್‌ವೇಯು HTTP 402 “Payment Required” ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ನೀಡುತ್ತದೆ.
  • ಪ್ರತ್ಯೇಕತೆ (Isolation) – ತನ್ನ ಮಿತಿಯನ್ನು ತಲುಪಿದ ಒಂದು ಪ್ರಾಜೆಕ್ಟ್ ತಂಡದ ಉಳಿದ ಅನುಮತಿಯನ್ನು ಬಳಸಿಕೊಳ್ಳಲು ಸಾಧ್ಯವಿಲ್ಲ, ಇದರಿಂದ ಇತರ ಪ್ರಾಜೆಕ್ಟ್‌ಗಳು ಹಾನಿಯಾಗದಂತೆ ರಕ್ಷಿಸಬಹುದು.

ಕೆಲವೇ ನಿಮಿಷಗಳಲ್ಲಿ ಬಜೆಟ್ ಅನ್ನು ಸೆಟ್ ಮಾಡುವುದು

Vercel ವೆಬ್ ಡ್ಯಾಶ್‌ಬೋರ್ಡ್ ಅಥವಾ ಕಮಾಂಡ್-ಲೈನ್ ಇಂಟರ್ಫೇಸ್ (CLI) ಮೂಲಕ ಬಜೆಟ್‌ಗಳನ್ನು ಕಾನ್ಫಿಗರ್ ಮಾಡಲು ಅನುಮತಿಸುತ್ತದೆ. ಅನೇಕ ಎನ್ವಿರಾನ್‌ಮೆಂಟ್‌ಗಳಲ್ಲಿ ಸ್ಕ್ರಿಪ್ಟಿಂಗ್ ಮಾಡಲು CLI ಉಪಯುಕ್ತವಾಗಿದೆ.

ತಂಡದ ಮಟ್ಟದ ಮಿತಿ (ಮಾಸಿಕ) 

vercel ai-gateway budgets set team --limit 500 --refresh-period monthly

ಪ್ರಾಜೆಕ್ಟ್‌ಗೆ ನಿರ್ದಿಷ್ಟವಾದ ಮಿತಿ (ಮಾಸಿಕ) 

vercel ai-gateway budgets set project my-project --limit 200 --refresh-period monthly

ಬಜೆಟ್‌ಗಳು ಒಂದರ ಮೇಲೊಂದು ಅನ್ವಯಿಸುತ್ತವೆ (stack), ಆದ್ದರಿಂದ ಎರಡರಲ್ಲಿ ಯಾವುದು ಕಟ್ಟುನಿಟ್ಟಾದ ಮಿತಿಯೋ ಅದು ಅನ್ವಯಿಸುತ್ತದೆ. ಒಂದು ವೇಳೆ ಪ್ರಾಜೆಕ್ಟ್ ತನ್ನ $200 ಮಿತಿಯನ್ನು ತಲುಪಿದರೆ, ತಂಡದ ಬಳಿ ಇನ್ನೂ $300 ಬಾಕಿ ಇದ್ದರೂ ವಿನಂತಿಗಳು ನಿಲ್ಲುತ್ತವೆ.

ಕಾಂಟ್ರಾಕ್ಟರ್‌ಗಳಿಗಾಗಿ ಮೀಸಲಾದ ಕೀ (key) 

vercel ai-gateway api-keys create --name contractor \
  --limit 50 --refresh-period none --expiration 30d

ಈ ಕೀ 30 ದಿನಗಳ ನಂತರ ಅವಧಿ ಮುಗಿಯುತ್ತದೆ ಮತ್ತು $50 AI ಖರ್ಚಿನ ನಂತರ ನಿಲ್ಲುತ್ತದೆ, ಇದು ಬಾಹ್ಯ ಕೊಡುಗೆದಾರರಿಗೆ (external contributors) ನಿರ್ದಿಷ್ಟ ಸಮಯದ ಪ್ರವೇಶವನ್ನು ನೀಡುತ್ತದೆ.

ಈ ಮಿತಿಗಳು ವಾಸ್ತವವಾಗಿ ಏನು ಮಾಡುತ್ತವೆ?

  • ಸಾಫ್ಟ್ ಕ್ಯಾಪ್ (Soft cap) – ಖರ್ಚನ್ನು ಮಿತಿಗಿಂತ ಹೆಚ್ಚಿಸುವ ವಿನಂತಿಯು ಪೂರ್ಣಗೊಳ್ಳುತ್ತದೆ, ಆದ್ದರಿಂದ ಸ್ವಲ್ಪ ಮಟ್ಟದ ಮಿತಿ ಮೀರಿಕೆ ಸಾಧ್ಯವಿದೆ.
  • ಜಾರಿ ವಿಳಂಬ (Enforcement lag) – ಬಜೆಟ್‌ಗಳನ್ನು ಪ್ರತಿ ಒಂದು ಅಥವಾ ಎರಡು ನಿಮಿಷಕ್ಕೊಮ್ಮೆ ಮೌಲ್ಯಮಾಪನ ಮಾಡಲಾಗುತ್ತದೆ; ಮಿತಿಯನ್ನು ತಲುಪಿದ ತಕ್ಷಣವೇ ಕರೆಗಳ ಸುರಿಮಳೆಯಾದರೆ, ಬ್ಲಾಕ್ ಸಕ್ರಿಯಗೊಳ್ಳುವ ಮೊದಲು ಅವು ಪೂರ್ಣಗೊಳ್ಳಬಹುದು.
  • BYOK ಗೆ ವ್ಯಾಪ್ತಿ ಇಲ್ಲ – ನೀವು ಬಾಹ್ಯ LLM ಪ್ರೊವೈಡರ್‌ನೊಂದಿಗೆ ನೇರವಾಗಿ ಬಿಲ್ ಮಾಡಲು ನಿಮ್ಮ ಸ್ವಂತ ಕ್ಲೌಡ್ ಪ್ರೊವೈಡರ್ ಕೀಗಳನ್ನು (BYOK) ಬಳಸುತ್ತಿದ್ದರೆ, Vercel ನ ಬಜೆಟ್ ವ್ಯವಸ್ಥೆಯು ಆ ಟ್ರಾಫಿಕ್ ಅನ್ನು ನೋಡಲು ಸಾಧ್ಯವಿಲ್ಲ, ಆದ್ದರಿಂದ ಈ ಮಿತಿ ಅನ್ವಯಿಸುವುದಿಲ್ಲ.

ಈ ವೈಶಿಷ್ಟ್ಯವು ಯಾವಾಗ ಉತ್ತಮವಾಗಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ ಮತ್ತು ಯಾವಾಗ ಹಿನ್ನಡೆ ಉಂಟುಮಾಡುತ್ತದೆ

ಈ 'kill switch' ಅನೇಕ SaaS ತಂಡಗಳನ್ನು ಕಾಡುತ್ತಿರುವ “AI-bill-shock” ಸಮಸ್ಯೆಗೆ ಒಂದು ಪ್ರಾಯೋಗಿಕ ಪರಿಹಾರವಾಗಿದೆ. ಇನ್-ಬಿಲ್ಟ್ AI Gateway ಅನ್ನು ಅವಲಂಬಿಸಿರುವ ಹೆಚ್ಚಿನ Vercel-ಹೋಸ್ಟ್ ಮಾಡಲಾದ ಪ್ರಾಜೆಕ್ಟ್‌ಗಳಿಗೆ, ಹತ್ತು ನಿಮಿಷಗಳಿಗಿಂತ ಕಡಿಮೆ ಸಮಯದಲ್ಲಿ ಬಜೆಟ್ ಅನ್ನು ಸೆಟ್ ಮಾಡಬಹುದು ಮತ್ತು ಇದು ಅಕಸ್ಮಾತ್ ಅತಿಯಾದ ಖರ್ಚಿನ ವಿರುದ್ಧ ಸುರಕ್ಷತಾ ಜಾಲವನ್ನು ಒದಗಿಸುತ್ತದೆ.

ಆದಾಗ್ಯೂ, ಸಾಫ್ಟ್-ಕ್ಯಾಪ್ ಸ್ವಭಾವದ ಕಾರಣದಿಂದಾಗಿ, ಅಲ್ಪಾವಧಿಯ ಏರಿಕೆ ಮಿತಿಗಿಂತ ಕೆಲವು ಡಾಲರ್‌ಗಳ ಹೆಚ್ಚಿನ ಖರ್ಚನ್ನು ಉಂಟುಮಾಡಬಹುದು. ಸಂಪೂರ್ಣವಾಗಿ ತಡೆಯುವ (hard stops) ಅಗತ್ಯವಿರುವ ತಂಡಗಳಿಗೆ ಈ ನಿಮಿಷದ ಮಟ್ಟದ ವಿಳಂಬವು ಸಾಕಾಗದಿರಬಹುದು. ಅಷ್ಟೇ ಅಲ್ಲದೆ, ತಮ್ಮದೇ ಆದ ಕ್ಲೌಡ್ ಕ್ರೆಡೆನ್ಶಿಯಲ್‌ಗಳ ಮೂಲಕ LLM ಟ್ರಾಫಿಕ್ ಅನ್ನು ರೌಟ್ ಮಾಡುವ ಎಂಟರ್‌ಪ್ರೈಸ್‌ಗಳು ಬಾಹ್ಯ ವೆಚ್ಚ-ನಿಯಂತ್ರಣ ಕಾರ್ಯವಿಧಾನಗಳನ್ನು ಅವಲಂಬಿಸಬೇಕಾಗುತ್ತದೆ, ಏಕೆಂದರೆ Vercel ನ ಬಜೆಟ್‌ಗಳು ಆ ಬಳಕೆಯನ್ನು ಗುರುತಿಸುವುದಿಲ್ಲ.

ಮುಂದೆ ಏನನ್ನು ಗಮನಿಸಬೇಕು?

  • ಅಳವಡಿಕೆಯ ಮಾಪನಗಳು (Adoption metrics) – ಡೆವಲಪರ್‌ಗಳಿಂದ ಬರುವ ಆರಂಭಿಕ ಪ್ರತಿಕ್ರಿಯೆಗಳು, ಬಜೆಟ್‌ನ ಸೂಕ್ಷ್ಮತೆಯು ಸಾಮಾನ್ಯ ವೆಚ್ಚ-ಹೆಚ್ಚಳದ ಸನ್ನಿವೇಶಗಳನ್ನು ಪರಿಹರಿಸುತ್ತದೆಯೇ ಎಂಬುದನ್ನು ಸೂಚಿಸುತ್ತದೆ.
  • ವೈಶಿಷ್ಟ್ಯಗಳ ವಿಸ್ತರಣೆ (Feature extensions) – ರಿಯಲ್-ಟೈಮ್ ಅಲರ್ಟ್‌ಗಳು, ಕಟ್ಟುನಿಟ್ಟಾದ ಜಾರಿ ಅವಧಿಗಳು ಅಥವಾ BYOK-ಅರಿವಿರುವ ಮಿತಿಗಳಿಗಾಗಿ ಬರುವ ವಿನಂತಿಗಳು ಭವಿಷ್ಯದ ಅಪ್‌ಡೇಟ್‌ಗಳನ್ನು ರೂಪಿಸಬಹುದು.
  • ಸ್ಪರ್ಧಾತ್ಮಕ ಪ್ರತಿಕ್ರಿಯೆ (Competitive response) – ಇತರ ಸರ್ವರ್‌ಲೆಸ್ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗಳು ಇದೇ ರೀತಿಯ AI-ನಿರ್ದಿಷ್ಟ ಖರ್ಚು ನಿಯಂತ್ರಣಗಳನ್ನು ಪರಿಚಯಿಸಬಹುದು, ಇದು Vercel ನ ಕ್ರಮವನ್ನು ಉದ್ಯಮದ ವಿಸ್ತೃತ ಮಾನದಂಡವನ್ನಾಗಿ ಮಾಡಬಹುದು.

ಅಂತಿಮವಾಗಿ (Bottom line)

Vercel ನ AI Gateway Budgets ಡೆವಲಪರ್‌ಗಳಿಗೆ AI ಟೋಕನ್ ಖರ್ಚು ಅನಿರೀಕ್ಷಿತ ಇನ್‌ವಾಯ್ಸ್ ಆಗಿ ಬದಲಾಗುವ ಮೊದಲು ಅದನ್ನು ತಡೆಯಲು ಪ್ರತಿ ಪ್ರಾಜೆಕ್ಟ್‌ಗೆ ಸುಲಭವಾದ ಮಾರ್ಗವನ್ನು ನೀಡುತ್ತದೆ. ಈ ಸಾಧನವನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುವುದು ಸುಲಭ, ಇದು ಹೆಚ್ಚಿನ ವೆಚ್ಚದ ಘಟನೆಗಳು ಸಂಭವಿಸುವ ಮಟ್ಟದಲ್ಲಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ ಮತ್ತು ಮಿತಿಗಳನ್ನು ಮೀರಿದಾಗ ಸ್ಪಷ್ಟವಾದ ಎರರ್ (error) ನೀಡುತ್ತದೆ. ಇದರ ಮುಖ್ಯ ನ್ಯೂನತೆಗಳು—ಸ್ವಲ್ಪ ಮಟ್ಟದ ಮಿತಿ ಮೀರಿಕೆ, ನಿಮಿಷದ ಮಟ್ಟದ ವಿಳಂಬ ಮತ್ತು BYOK ಟ್ರಾಫಿಕ್ ಬಗ್ಗೆ ದೃಶ್ಯೀಕರಣದ ಕೊರತೆ—ಸ್ಪಷ್ಟವಾಗಿವೆ, ಇದರಿಂದ ತಂಡಗಳು ತಮ್ಮ ರಿಸ್ಕ್ ಸಾಮರ್ಥ್ಯಕ್ಕೆ ಅನುಗುಣವಾಗಿ ನಿರ್ಧರಿಸಬಹುದು. Vercel ನಲ್ಲಿ LLM ಕರೆಗಳನ್ನು ನಡೆಸುವ ಯಾರಿಗಾದರೂ, ಈ ಹೊಸ 'kill switch' ಇಂದೇ ಕಾನ್ಫಿಗರ್ ಮಾಡಬೇಕಾದ ಒಂದು ಪ್ರಾಯೋಗಿಕ ಸುರಕ್ಷತಾ ಕ್ರಮವಾಗಿದೆ.