Vercel “AI Gateway Budgets” যুক্ত করেছে, যা প্রতিটি প্রজেক্ট এবং প্রতিটি API-key-এর জন্য একটি খরচের সীমা (spend cap) নির্ধারণ করে দেয়। একটি নির্দিষ্ট সীমা অতিক্রম করার সাথে সাথে এটি স্বয়ংক্রিয়ভাবে পরবর্তী large-language-model (LLM) কলগুলো ব্লক করে দেয়। এই ফিচারটির উদ্দেশ্য হলো AI-এর অনিয়ন্ত্রিত খরচ রোধ করা, যা একটি মাত্র ভুল লুপ বা রিট্রাই (retry) বাগের কারণে হঠাৎ বেড়ে যেতে পারে।

কেন শুধুমাত্র AI-এর জন্য একটি ডেডিকেটেড কিল সুইচ (kill switch) গুরুত্বপূর্ণ

যারা Vercel-এর AI Gateway ব্যবহার করেন, তারা LLM রিকোয়েস্টগুলো Vercel-এর ইনফ্রাস্ট্রাকচারের মাধ্যমে পাঠান এবং সেই মডেলগুলো যে টোকেন ব্যবহার করে তার জন্য পেমেন্ট করেন। একটি মাত্র প্রম্পট-ইনজেকশন লুপ বা ভুলভাবে কনফিগার করা রিট্রাই পলিসি কয়েক মিনিটের মধ্যে হাজার হাজার টোকেন রিকোয়েস্ট তৈরি করতে পারে, যা একটি সামান্য বাজেটকেও পাঁচ অঙ্কের বিশাল বিলে পরিণত করতে পারে। Vercel-এর বর্তমান স্পেন্ড-ম্যানেজমেন্ট টুলগুলো অ্যাকাউন্ট লেভেলে কাজ করে এবং শুধুমাত্র AI কল নয়, বরং সমস্ত আউটবাউন্ড ট্রাফিক কমিয়ে দেয় (throttle)। এই ঢালাও পদ্ধতিটি একটি সাইটের ফ্রন্ট-এন্ড বা API-কে অচল করে দিতে পারে, এমনকি যখন শুধুমাত্র AI ব্যবহারের কারণেই সমস্যাটি তৈরি হয়।

কীভাবে AI Gateway Budgets সাধারণ স্পেন্ড কন্ট্রোল থেকে আলাদা

  • Scope – বাজেট শুধুমাত্র AI টোকেন খরচের ক্ষেত্রে প্রযোজ্য হয়, যা অ্যাকাউন্টের বাকি অংশকে অপরিবর্তিত রাখে।
  • Granularity – লিমিট বা সীমা টিম, প্রজেক্ট অথবা ব্যক্তিগত API-key লেভেলে সেট করা যেতে পারে।
  • Behavior – যখন কোনো সীমা অতিক্রম হয়, গেটওয়ে একটি HTTP 402 “Payment Required” রেসপন্স প্রদান করে, যা নির্দেশ করে যে বাজেট শেষ হয়ে যাওয়ায় রিকোয়েস্টটি ব্লক করা হয়েছে।
  • Isolation – একটি নির্দিষ্ট প্রজেক্ট তার সীমা অতিক্রম করলে সেটি টিমের বাকি বরাদ্দ শেষ করতে পারে না, যা অন্যান্য প্রজেক্টকে অনাকাঙ্ক্ষিত ক্ষতি থেকে রক্ষা করে।

কয়েক মিনিটের মধ্যে বাজেট সেটআপ করা

Vercel আপনাকে ওয়েব ড্যাশবোর্ড বা কমান্ড-লাইন ইন্টারফেস (CLI)-এর মাধ্যমে বাজেট কনফিগার করার সুবিধা দেয়। অনেকগুলো এনভায়রনমেন্টে স্ক্রিপ্টিং করার জন্য CLI খুবই কার্যকর।

টিম-ব্যাপী সীমা (মাসিক) 

vercel ai-gateway budgets set team --limit 500 --refresh-period monthly

প্রজেক্ট-নির্দিষ্ট সীমা (মাসিক) 

vercel ai-gateway budgets set project my-project --limit 200 --refresh-period monthly

বাজেটগুলো স্তরে স্তরে কাজ করে (stack), তাই যে সীমাটি ছোট বা কঠোর সেটিই কার্যকর হয়। যদি একটি প্রজেক্ট তার $200-এর সীমা ছুঁয়ে ফেলে, তবে টিমের কাছে আরও $300 অবশিষ্ট থাকলেও রিকোয়েস্ট বন্ধ হয়ে যাবে।

কন্ট্রাক্টর-ভিত্তিক কী (key) 

vercel ai-gateway api-keys create --name contractor \
  --limit 50 --refresh-period none --expiration 30d

এই কী-টি ৩০ দিন পর মেয়াদ শেষ হয়ে যাবে এবং $50 AI খরচ হওয়ার পর কাজ করা বন্ধ করে দেবে, যা বহিরাগত কন্ট্রিবিউটরদের জন্য একটি নির্দিষ্ট সময়ের অ্যাক্সেস উইন্ডো প্রদান করে।

লিমিটগুলো আসলে কী করে

  • Soft cap – যে রিকোয়েস্টটি খরচকে সীমার বাইরে নিয়ে যায় সেটি সম্পন্ন হয়, তাই সামান্য অতিরিক্ত খরচ হওয়ার সম্ভাবনা থাকে।
  • Enforcement lag – বাজেট প্রতি এক বা দুই মিনিট অন্তর মূল্যায়ন করা হয়; সীমা স্পর্শ করার ঠিক পরেই যদি অনেক রিকোয়েস্ট আসে, তবে ব্লক সক্রিয় হওয়ার আগে সেগুলো কার্যকর হয়ে যেতে পারে।
  • No coverage for BYOK – আপনি যদি সরাসরি কোনো এক্সটার্নাল LLM প্রোভাইডারের সাথে বিল করার জন্য নিজের ক্লাউড প্রোভাইডার কী (BYOK) ব্যবহার করেন, তবে Vercel-এর বাজেট সিস্টেম সেই ট্রাফিক দেখতে পায় না, তাই সেখানে এই লিমিট কাজ করবে না।

ফিচারটি কখন কার্যকর, এবং কখন সীমাবদ্ধতা রয়েছে

এই কিল সুইচটি “AI-bill-shock” বা এআই বিলের আকস্মিক ধাক্কার সমস্যার একটি বাস্তবসম্মত সমাধান, যা অনেক SaaS টিমকে তাড়া করে ফিরছে। Vercel-এ হোস্ট করা বেশিরভাগ প্রজেক্ট যারা বিল্ট-ইন AI Gateway-এর ওপর নির্ভর করে, তাদের জন্য ১০ মিনিটেরও কম সময়ে বাজেট সেটআপ করা সম্ভব এবং এটি আকস্মিক অতিরিক্ত খরচ থেকে সুরক্ষা প্রদান করে।

তবে, এর 'soft-cap' প্রকৃতির কারণে অল্প সময়ের জন্য খরচের হঠাৎ বৃদ্ধি সীমার বাইরে কয়েক ডলার খরচ করিয়ে দিতে পারে। যেসব টিমের জন্য একদম কঠোর বা 'hard stop' প্রয়োজন, তাদের কাছে এই এক-মিনিটের বিলম্ব অপর্যাপ্ত মনে হতে পারে। তদুপরি, যেসব এন্টারপ্রাইজ তাদের নিজস্ব ক্লাউড ক্রেডেনশিয়াল ব্যবহার করে LLM ট্রাফিক পরিচালনা করে, তাদের অবশ্যই বাহ্যিক কস্ট-কন্ট্রোল মেকানিজমের ওপর নির্ভর করতে হবে, কারণ Vercel-এর বাজেট সিস্টেম সেই ব্যবহার দেখতে পাবে না।

পরবর্তী বিষয়গুলো যা লক্ষ্য রাখা উচিত

  • Adoption metrics – ডেভেলপারদের প্রাথমিক ফিডব্যাক থেকে বোঝা যাবে যে বাজেটের এই সূক্ষ্মতা (granularity) সাধারণ কস্ট-ওভাররান পরিস্থিতিগুলো সমাধান করতে পারছে কি না।
  • Feature extensions – রিয়েল-টাইম অ্যালার্ট, আরও কঠোর এনফোর্সমেন্ট ইন্টারভাল বা BYOK-সচেতন লিমিটের অনুরোধগুলো ভবিষ্যতের আপডেট নির্ধারণ করতে পারে।
  • Competitive response – অন্যান্য সার্ভারলেস প্ল্যাটফর্মগুলোও একই ধরনের AI-নির্দিষ্ট স্পেন্ড কন্ট্রোল চালু করতে পারে, যা Vercel-এর এই পদক্ষেপকে একটি বৃহত্তর ইন্ডাস্ট্রি স্ট্যান্ডার্ডে পরিণত করবে।

মূল কথা

Vercel-এর AI Gateway Budgets ডেভেলপারদের একটি দ্রুত এবং প্রজেক্ট-ভিত্তিক উপায় দেয় যাতে AI টোকেন খরচ একটি আকস্মিক ইনভয়েসে পরিণত হওয়ার আগেই তা থামানো যায়। টুলটি চালু করা সহজ, এটি ঠিক সেই লেভেলে কাজ করে যেখানে বেশিরভাগ খরচ বেড়ে যাওয়ার ঘটনা ঘটে এবং সীমা অতিক্রম করলে একটি স্পষ্ট এরর (error) প্রদান করে। এর প্রধান সীমাবদ্ধতাগুলো—সামান্য অতিরিক্ত খরচ হওয়া, এক-মিনিটের এনফোর্সমেন্ট বিলম্ব এবং BYOK ট্রাফিকের দৃশ্যমানতা না থাকা—সবই স্পষ্ট, ফলে টিমগুলো নিজেরাই সিদ্ধান্ত নিতে পারে যে এই সুবিধাগুলো তাদের ঝুঁকির সাথে সামঞ্জস্যপূর্ণ কি না। যারা Vercel-এ LLM কল পরিচালনা করেন, তাদের জন্য এই নতুন কিল সুইচটি একটি ব্যবহারিক সুরক্ষা ব্যবস্থা যা আজই কনফিগার করা উচিত।