Vercel, “AI Gateway Budgets” என்ற புதிய வசதியைச் சேர்த்துள்ளது. இது ஒவ்வொரு புராஜெக்ட் (project) மற்றும் ஒவ்வொரு API-key க்கும் செலவு வரம்பை (spend cap) நிர்ணயிக்கிறது. நிர்ணயிக்கப்பட்ட வரம்பு எட்டப்பட்டவுடன், இது தானாகவே அடுத்தடுத்த large-language-model (LLM) அழைப்புகளைத் (calls) தடுக்கும். ஒரு தவறான லூப் (loop) அல்லது ரீட்ரை (retry) பிழை காரணமாகத் திடீரெனக் கட்டுக்கடங்காமல் பெருகும் AI செலவுகளைத் தடுப்பதே இந்த வசதியின் நோக்கமாகும்.

ஏன் ஒரு பிரத்யேக AI-மட்டும் சார்ந்த 'kill switch' முக்கியமானது

Vercel-ன் AI Gateway-ஐப் பயன்படுத்தும் டெவலப்பர்கள், LLM கோரிக்கைகளை (requests) Vercel-ன் உள்கட்டமைப்பு (infrastructure) வழியாக அனுப்புகிறார்கள், மேலும் அந்த மாடல்கள் பயன்படுத்தும் டோக்கன்களுக்கு (tokens) பணம் செலுத்துகிறார்கள். ஒரு சிறிய prompt-injection லூப் அல்லது தவறாக அமைக்கப்பட்ட retry policy, சில நிமிடங்களிலேயே ஆயிரக்கணக்கான டோக்கன் கோரிக்கைகளை உருவாக்கி, ஒரு சிறிய பட்ஜெட்டை ஐந்து இலக்கப் பெரிய பில்லாக (five-figure bill) மாற்றிவிடும். Vercel-ல் தற்போதுள்ள செலவு மேலாண்மை கருவிகள் (spend-management tools) கணக்கு (account) மட்டத்தில் செயல்படுகின்றன; அவை AI அழைப்புகளை மட்டும் அல்லாமல், அனைத்து வெளிச்செல்லும் டிராஃபிக்கையும் (outbound traffic) கட்டுப்படுத்துகின்றன. இந்த பொதுவான அணுகுமுறை, AI பயன்பாடு மட்டுமே பிரச்சனையாக இருக்கும்போது கூட, ஒரு இணையதளத்தின் front-end அல்லது API-ஐ முடக்கிவிடக்கூடும்.

AI Gateway Budgets வழக்கமான செலவுக் கட்டுப்பாடுகளில் இருந்து எவ்வாறு வேறுபடுகிறது

  • Scope – பட்ஜெட்டுகள் AI டோக்கன் செலவுக்கு மட்டுமே பொருந்தும், கணக்கின் மற்ற பகுதிகள் பாதிக்கப்படாது.
  • Granularity – வரம்புகளை team, project அல்லது தனிப்பட்ட API-key மட்டத்தில் அமைக்கலாம்.
  • Behavior – வரம்பு எட்டப்படும்போது, பட்ஜெட் தீர்ந்துவிட்டதால் கோரிக்கை தடுக்கப்பட்டதை உணர்த்த, gateway ஒரு HTTP 402 “Payment Required” பதிலை வழங்கும்.
  • Isolation – தனது வரம்பை எட்டும் ஒரு தனி புராஜெக்ட், டீமின் மீதமுள்ள ஒதுக்கீட்டைப் பயன்படுத்த முடியாது, இதனால் மற்ற புராஜெக்ட்கள் தேவையற்ற பாதிப்பிலிருந்து பாதுகாக்கப்படுகின்றன.

சில நிமிடங்களில் பட்ஜெட்டை அமைத்தல்

Vercel மூலம் வெப் டேஷ்போர்டு (web dashboard) அல்லது command-line interface (CLI) வழியாக பட்ஜெட்டுகளை நீங்கள் அமைக்கலாம். பல சூழல்களில் (environments) ஸ்கிரிப்டிங் செய்ய CLI மிகவும் பயனுள்ளதாக இருக்கும்.

டீம் முழுமைக்கான வரம்பு (மாதாந்திரம்) 

vercel ai-gateway budgets set team --limit 500 --refresh-period monthly

புராஜெக்ட் சார்ந்த வரம்பு (மாதாந்திரம்) 

vercel ai-gateway budgets set project my-project --limit 200 --refresh-period monthly

பட்ஜெட்டுகள் ஒன்றன் மேல் ஒன்றாகச் செயல்படும் (stack), எனவே இரண்டில் எது குறைவான வரம்போ அதுவே அமலுக்கு வரும். ஒரு புராஜெக்ட் அதன் $200 உச்சவரம்பை எட்டினால், டீமிடம் இன்னும் $300 மீதமிருந்தாலும் கோரிக்கைகள் நிறுத்தப்படும்.

ஒப்பந்ததாரர்களுக்கான (Contractor) கீ (key) 

vercel ai-gateway api-keys create --name contractor \
  --limit 50 --refresh-period none --expiration 30d

இந்த கீ 30 நாட்களுக்குப் பிறகு காலாவதியாகும் மற்றும் $50 AI செலவுக்குப் பிறகு நிறுத்தப்படும், இது வெளிப்படையான பங்களிப்பாளர்களுக்கு (external contributors) ஒரு குறிப்பிட்ட கால அளவிலான அணுகலை வழங்குகிறது.

இந்த வரம்புகள் உண்மையில் என்ன செய்கின்றன

  • Soft cap – செலவை வரம்பிற்கு மேல் தள்ளும் கோரிக்கை முழுமையடையும், எனவே சிறிய அளவில் வரம்பைத் தாண்ட வாய்ப்புள்ளது.
  • Enforcement lag – பட்ஜெட்டுகள் ஒரு அல்லது இரண்டு நிமிடங்களுக்கு ஒருமுறை மதிப்பீடு செய்யப்படுகின்றன; வரம்பு எட்டப்பட்டவுடன் வரும் தொடர்ச்சியான அழைப்புகள், தடுப்பு முறை செயல்படுவதற்கு முன் சிலவற்றைத் தடையின்றி கடந்து செல்லக்கூடும்.
  • No coverage for BYOK – நீங்கள் ஒரு வெளிப்படையான LLM வழங்குநருடன் நேரடியாகப் பணம் செலுத்த உங்கள் சொந்த கிளவுட் புரோவைடர் கீயை (BYOK) பயன்படுத்தினால், Vercel-ன் பட்ஜெட் சிஸ்டத்தால் அந்த டிராஃபிக்கைக் காண முடியாது, எனவே இந்த வரம்பு பொருந்தாது.

இந்த வசதி எப்போது சிறப்பாகச் செயல்படுகிறது மற்றும் எப்போது குறைகிறது

பல SaaS டீம்களைத் தொந்தரவு செய்யும் “AI-bill-shock” (திடீர் AI பில் அதிர்ச்சி) பிரச்சனைக்கு இந்த 'kill switch' ஒரு நடைமுறை ரீதியான தீர்வாகும். உள்ளமைக்கப்பட்ட (built-in) AI Gateway-ஐப் பயன்படுத்தும் பெரும்பாலான Vercel-ஹோஸ்டட் புராஜெக்ட்களுக்கு, பத்து நிமிடங்களுக்கும் குறைவான நேரத்தில் பட்ஜெட்டை அமைத்துவிடலாம், இது தற்செயலான அதிகப்படியான செலவுகளுக்கு எதிராக ஒரு பாதுகாப்பு வலையமைப்பை (safety net) வழங்குகிறது.

இருப்பினும், இதன் 'soft-cap' தன்மை காரணமாக, குறுகிய காலத் திடீர் உயர்வு வரம்பைத் தாண்டி சில டாலர்களைச் செலவழிக்கக்கூடும். முற்றிலும் கடுமையான கட்டுப்பாடுகள் (hard stops) தேவைப்படும் டீம்களுக்கு, இந்த நிமிட அளவிலான தாமதம் போதுமானதாக இருக்காது. மேலும், தங்கள் சொந்த கிளவுட் சான்றுகள் (cloud credentials) மூலம் LLM டிராஃபிக்கை அனுப்பும் நிறுவனங்கள், வெளிப்படையான செலவுக் கட்டுப்பாட்டு வழிமுறைகளையே நம்பியிருக்க வேண்டும், ஏனெனில் Vercel-ன் பட்ஜெட்டுகள் அந்தப் பயன்பாட்டைக் காணாது.

அடுத்து கவனிக்க வேண்டியவை

  • Adoption metrics – டெவலப்பர்களிடமிருந்து கிடைக்கும் ஆரம்பக்கட்ட கருத்துக்கள், இந்த பட்ஜெட் நுணுக்கம் (granularity) பொதுவான செலவு அதிகரிப்புச் சூழல்களைத் தீர்க்கிறதா என்பதைக் காட்டும்.
  • Feature extensions – நிகழ்நேர எச்சரிக்கைகள் (real-time alerts), கடுமையான கட்டுப்பாட்டு இடைவெளிகள் அல்லது BYOK-ஐக் கருத்தில் கொள்ளும் வரம்புகளுக்கான கோரிக்கைகள் எதிர்கால அப்டேட்களைத் தீர்மானிக்கலாம்.
  • Competitive response – பிற serverless தளங்கள் இதே போன்ற AI-குறிப்பிட்ட செலவுக் கட்டுப்பாடுகளை அறிமுகப்படுத்தலாம், இது Vercel-ன் நடவடிக்கையை ஒரு பரந்த தொழில்துறை தரநிலையாக (industry standard) மாற்றும்.

சுருக்கம்

Vercel-ன் AI Gateway Budgets, AI டோக்கன் செலவு ஒரு எதிர்பாராத இன்வாய்ஸாக (invoice) மாறுவதற்கு முன்பே, அதைத் தடுப்பதற்கான விரைவான, புராஜெக்ட் வாரியான வழியை டெவலப்பர்களுக்கு வழங்குகிறது. இந்தத் கருவியைத் தொடங்குவது எளிது, பெரும்பாலான செலவு அதிகரிப்புச் சம்பவங்கள் நடக்கும் மட்டத்திலேயே இது செயல்படுகிறது, மேலும் வரம்புகள் மீறப்படும்போது தெளிவான பிழைச் செய்தியை (error) வழங்குகிறது. இதன் முக்கிய குறைபாடுகள்—சிறிய அளவில் வரம்பைத் தாண்டுதல், நிமிட அளவிலான தாமதம் மற்றும் BYOK டிராஃபிக்கைக் காண முடியாமை—வெளிப்படையாகத் தெரியப்படுத்துகின்றன, இதனால் டீம்கள் தங்களின் இடர் தாங்கும் திறனுக்கு (risk tolerance) ஏற்ப இதைத் தேர்வு செய்யலாம். Vercel-ல் LLM அழைப்புகளைப் பயன்படுத்தும் எவருக்கும், இந்த புதிய 'kill switch' இன்றே அமைத்துக்கொள்ள வேண்டிய ஒரு நடைமுறைப் பாதுகாப்பு அம்சமாகும்.