Vercel "AI Gateway Budgets" എന്ന പുതിയ ഫീച്ചർ അവതരിപ്പിച്ചു. ഇത് ഓരോ പ്രോജക്റ്റിനും ഓരോ API കീയ്ക്കും പ്രത്യേകം ചിലവ് പരിധികൾ (spend cap) നിശ്ചയിക്കാൻ സഹായിക്കുന്നു. നിശ്ചിത പരിധി കഴിഞ്ഞാൽ ലാർജ് ലാംഗ്വേജ് മോഡൽ (LLM) കോളുകൾ തനിയെ തടയുന്ന രീതിയാണിത്. ഒരു ചെറിയ ലൂപ്പിലൂടെയോ റീട്രൈ ബഗ്ഗിലൂടെയോ (retry bug) AI ചിലവുകൾ അമിതമായി വർദ്ധിക്കുന്നത് തടയാനാണ് ഈ ഫീച്ചർ ലക്ഷ്യമിടുന്നത്.

എന്തിനാണ് AI-ക്ക് മാത്രമായുള്ള ഒരു കിൽ സ്വിച്ച് (kill switch) പ്രസക്തമാകുന്നത്

Vercel-ന്റെ AI Gateway ഉപയോഗിക്കുന്ന ഡെവലപ്പർമാർ LLM റിക്വസ്റ്റുകൾ Vercel-ന്റെ ഇൻഫ്രാസ്ട്രക്ചറിലൂടെയാണ് അയക്കുന്നത്, ഇതിനായി മോഡലുകൾ ഉപയോഗിക്കുന്ന ടോക്കണുകൾക്ക് അവർ പണം നൽകേണ്ടതുണ്ട്. ഒരു പ്രോംപ്റ്റ്-ഇഞ്ചക്ഷൻ ലൂപ്പോ (prompt-injection loop) തെറ്റായ റീട്രൈ പോളിസിയോ ഉണ്ടെങ്കിൽ മിനിറ്റുകൾക്കുള്ളിൽ ആയിരക്കണക്കിന് ടോക്കൺ റിക്വസ്റ്റുകൾ ഉണ്ടാകാം, ഇത് ചെറിയൊരു ബജറ്റിനെ വലിയൊരു ബില്ലാക്കി മാറ്റിയേക്കാം. നിലവിലുള്ള ചിലവ് നിയന്ത്രണ സംവിധാനങ്ങൾ അക്കൗണ്ട് തലത്തിലാണ് പ്രവർത്തിക്കുന്നത്, അവ AI കോളുകളെ മാത്രമല്ല, എല്ലാ ഔട്ട്‌ബൗണ്ട് ട്രാഫിക്കിനെയും നിയന്ത്രിക്കുന്നു. ഈ രീതി ഉപയോഗിക്കുമ്പോൾ AI ഉപയോഗം മാത്രമാണ് പ്രശ്നമെങ്കിൽ പോലും വെബ്‌സൈറ്റിന്റെ ഫ്രണ്ട്-എൻഡ് അല്ലെങ്കിൽ API പ്രവർത്തനങ്ങൾ തടസ്സപ്പെടാൻ സാധ്യതയുണ്ട്.

സാധാരണ ചിലവ് നിയന്ത്രണങ്ങളിൽ നിന്ന് AI Gateway Budgets എങ്ങനെ വ്യത്യാസപ്പെട്ടിരിക്കുന്നു

  • Scope – ബജറ്റുകൾ AI ടോക്കൺ ചിലവിനെ മാത്രം ബാധിക്കുന്നു, അക്കൗണ്ടിലെ മറ്റ് കാര്യങ്ങളെ ഇത് ബാധിക്കില്ല.
  • Granularity – ടീം, പ്രോജക്റ്റ് അല്ലെങ്കിൽ ഓരോ API-കീ എന്നിവയുടെ അടിസ്ഥാനത്തിൽ പരിധികൾ നിശ്ചയിക്കാം.
  • Behavior – പരിധിയിൽ എത്തിയാൽ, ബജറ്റ് തീർന്നുപോയതിനാൽ റിക്വസ്റ്റ് തടഞ്ഞുവെന്ന് അറിയിച്ചുകൊണ്ട് ഗേറ്റ്‌വേ ഒരു HTTP 402 “Payment Required” റെസ്‌പോൺസ് നൽകുന്നു.
  • Isolation – ഒരു പ്രോജക്റ്റിന്റെ പരിധി കഴിഞ്ഞാൽ അത് ടീമിന്റെ ബാക്കിയുള്ള ബജറ്റിനെ ബാധിക്കില്ല, ഇത് മറ്റ് പ്രോജക്റ്റുകളെ സുരക്ഷിതമാക്കുന്നു.

മിനിറ്റുകൾക്കുള്ളിൽ ഒരു ബജറ്റ് സജ്ജീകരിക്കാം

വെബ് ഡാഷ്‌ബോർഡ് വഴിയോ കമാൻഡ്-ലൈൻ ഇന്റർഫേസ് (CLI) വഴിയോ ബജറ്റുകൾ ക്രമീകരിക്കാൻ Vercel നിങ്ങളെ അനുവദിക്കുന്നു. ഒന്നിലധികം എൻവയോൺമെന്റുകളിൽ സ്ക്രിപ്റ്റിംഗിനായി CLI ഉപയോഗപ്രദമാണ്.

ടീം മുഴുവനായുള്ള പരിധി (പ്രതിമാസം) 

vercel ai-gateway budgets set team --limit 500 --refresh-period monthly

പ്രോജക്റ്റ് തിരിച്ചുള്ള പരിധി (പ്രതിമാസം) 

vercel ai-gateway budgets set project my-project --limit 200 --refresh-period monthly

ബജറ്റുകൾ പരസ്പരം ബന്ധപ്പെട്ടു കിടക്കുന്നു, അതിനാൽ ഏതാണോ കുറഞ്ഞ പരിധി അത് ബാധകമാകും. പ്രോജക്റ്റിന്റെ പരിധി $200 ആണെങ്കിൽ, ടീമിന് $300 ബാക്കിയുണ്ടെങ്കിലും റിക്വസ്റ്റുകൾ നിൽക്കും.

കോൺട്രാക്ടർമാർക്കായി ഒരു കീ 

vercel ai-gateway api-keys create --name contractor \
  --limit 50 --refresh-period none --expiration 30d

ഈ കീ 30 ദിവസത്തിന് ശേഷം കാലാവധി തീരുന്നതും $50 AI ചിലവിന് ശേഷം പ്രവർത്തനം നിൽക്കുന്നതുമാണ്. ഇത് പുറത്തുനിന്നുള്ളവർക്ക് കൃത്യമായ സമയപരിധിക്കുള്ളിൽ മാത്രം ആക്സസ് നൽകുന്നു.

ഈ പരിധികൾ യഥാർത്ഥത്തിൽ എന്താണ് ചെയ്യുന്നത്

  • Soft cap – ചിലവ് പരിധിക്ക് മുകളിലെത്തിക്കുന്ന റിക്വസ്റ്റ് പൂർത്തിയാകും, അതിനാൽ ചെറിയൊരു അധിക ചിലവ് ഉണ്ടായേക്കാം.
  • Enforcement lag – ബജറ്റുകൾ ഓരോ മിനിറ്റോ രണ്ടോ തവണയായി പരിശോധിക്കുന്നു; പരിധി കഴിഞ്ഞ ഉടനെ വരുന്ന റിക്വസ്റ്റുകൾ ബ്ലോക്ക് ആകുന്നതിന് മുൻപ് കടന്നുപോയേക്കാം.
  • No coverage for BYOK – നിങ്ങൾ സ്വന്തം ക്ലൗഡ് പ്രൊവൈഡർ കീകൾ (BYOK) ഉപയോഗിച്ച് നേരിട്ട് LLM പ്രൊവൈഡർമാരെ സമീപിക്കുകയാണെങ്കിൽ, Vercel-ന്റെ ബജറ്റ് സിസ്റ്റത്തിന് ആ ട്രാഫിക് കാണാൻ കഴിയില്ല, അതിനാൽ ഈ പരിധി അവിടെ ബാധകമാകില്ല.

ഈ ഫീച്ചറിന്റെ ഗുണങ്ങളും പരിമിതികളും

പല SaaS ടീമുകളെയും അലട്ടുന്ന "AI-bill-shock" (പ്രതീക്ഷിക്കാത്ത വലിയ AI ബില്ലുകൾ) എന്ന പ്രശ്നത്തിനുള്ള പ്രായോഗികമായ പരിഹാരമാണ് ഈ കിൽ സ്വിച്ച്. Vercel-ൽ ഹോസ്റ്റ് ചെയ്തിട്ടുള്ള ഭൂരിഭാഗം പ്രോജക്റ്റുകൾക്കും, ബിൽറ്റ്-ഇൻ AI Gateway ഉപയോഗിക്കുന്നുണ്ടെങ്കിൽ, പത്ത് മിനിറ്റിൽ താഴെ സമയം കൊണ്ട് ബജറ്റ് സജ്ജീകരിക്കാനും അപ്രതീക്ഷിത ചിലവുകളിൽ നിന്ന് രക്ഷനേടാനും ഇത് സഹായിക്കും.

എന്നിരുന്നാലും, സോഫ്റ്റ്-ക്യാപ്പ് രീതി ആയതുകൊണ്ട് ചെറിയൊരു തുക പരിധിക്ക് പുറത്ത് ചിലവായേക്കാം. കൃത്യമായ നിയന്ത്രണം ആവശ്യമുള്ള ടീമുകൾക്ക് മിനിറ്റുകൾ നീണ്ട ഈ കാലതാമസം മതിയാകില്ല. കൂടാതെ, സ്വന്തം ക്ലൗഡ് ക്രെഡൻഷ്യലുകൾ വഴി LLM ട്രാഫിക് നിയന്ത്രിക്കുന്ന എൻ്റർപ്രൈസുകൾക്ക് Vercel-ന്റെ ബജറ്റ് സംവിധാനം ഉപയോഗിക്കാൻ കഴിയില്ല.

ഇനി ശ്രദ്ധിക്കേണ്ട കാര്യങ്ങൾ

  • Adoption metrics – ഡെവലപ്പർമാരുടെ പ്രതികരണം വിലയിരുത്തുന്നതിലൂടെ ചിലവ് നിയന്ത്രണത്തിൽ ഈ സംവിധാനം എത്രത്തോളം ഫലപ്രദമാണെന്ന് മനസ്സിലാക്കാം.
  • Feature extensions – റിയൽ-ടൈം അലേർട്ടുകൾ, കൂടുതൽ കൃത്യമായ നിയന്ത്രണങ്ങൾ അല്ലെങ്കിൽ BYOK-ന് അനുയോജ്യമായ പരിധികൾ എന്നിവയ്ക്കായുള്ള ആവശ്യങ്ങൾ ഭാവിയിലെ അപ്‌ഡേറ്റുകളെ സ്വാധീനിച്ചേക്കാം.
  • Competitive response – മറ്റ് സെർവ്ലെസ് പ്ലാറ്റ്‌ഫോമുകളും സമാനമായ AI ചിലവ് നിയന്ത്രണ സംവിധാനങ്ങൾ കൊണ്ടുവന്നേക്കാം, ഇത് Vercel-ന്റെ ഈ നീക്കത്തെ ഒരു വ്യവസായ മാനദണ്ഡമായി മാറ്റിയേക്കാം.

ചുരുക്കത്തിൽ

അപ്രതീക്ഷിതമായ വലിയ ബില്ലുകൾ ഒഴിവാക്കാൻ ഓരോ പ്രോജക്റ്റിനും പ്രത്യേകം AI ടോക്കൺ ചിലവ് നിയന്ത്രിക്കാൻ Vercel-ന്റെ AI Gateway Budgets ഡെവലപ്പർമാരെ സഹായിക്കുന്നു. ഇത് എളുപ്പത്തിൽ സജ്ജീകരിക്കാവുന്നതും, ചിലവ് കൂടുന്ന സാഹചര്യങ്ങളിൽ കൃത്യമായ എറർ മെസ്സേജ് നൽകുന്നതുമാണ്. ചെറിയൊരു അധിക ചിലവ്, മിനിറ്റുകൾ നീണ്ട കാലതാമസം, BYOK ട്രാഫിക്കിൽ നിയന്ത്രണമില്ലാത്ത അവസ്ഥ എന്നിവ ഇതിന്റെ പരിമിതികളാണ്. എങ്കിലും, Vercel-ൽ LLM കോളുകൾ ഉപയോഗിക്കുന്നവർക്ക് ഈ പുതിയ കിൽ സ്വിച്ച് ഇന്ന് തന്നെ സജ്ജീകരിക്കേണ്ട ഒരു സുരക്ഷാ സംവിധാനമാണ്.