Vercel telah menambah “AI Gateway Budgets,” satu had perbelanjaan bagi setiap projek dan setiap kunci API yang secara automatik menyekat panggilan model bahasa besar (LLM) selanjutnya sebaik sahaja had yang ditetapkan dicapai. Ciri ini bertujuan untuk menghentikan kos AI yang tidak terkawal yang boleh melonjak akibat satu gelung (loop) yang salah atau pepijat cubaan semula (retry bug).

Mengapa suis pemutus (kill switch) khusus untuk AI itu penting

Pembangun yang menggunakan AI Gateway Vercel menghalakan permintaan LLM melalui infrastruktur Vercel, dan membayar untuk token yang digunakan oleh model tersebut. Satu gelung suntikan-prompt (prompt-injection loop) atau polisi cubaan semula yang salah konfigurasi boleh menjana beribu-ribu permintaan token dalam beberapa minit, mengubah bajet yang kecil menjadi bil lima angka. Alat pengurusan perbelanjaan sedia ada pada Vercel beroperasi pada peringkat akaun dan mengehadkan (throttle) semua trafik keluar, bukan hanya panggilan AI. Pendekatan kasar tersebut boleh melumpuhkan bahagian hadapan (front-end) atau API laman web walaupun penggunaan AI adalah satu-satunya masalah.

Bagaimana AI Gateway Budgets berbeza daripada kawalan perbelanjaan standard

  • Skop – Bajet hanya terpakai kepada perbelanjaan token AI, membiarkan baki akaun yang lain tidak terjejas.
  • Granulariti – Had boleh ditetapkan pada peringkat pasukan, projek, atau tahap kunci API individu.
  • Tingkah Laku – Apabila had dicapai, gateway akan mengembalikan respons HTTP 402 “Payment Required”, menandakan bahawa permintaan disekat kerana bajet telah habis.
  • Pengasingan – Satu projek yang mencapai hadnya tidak boleh menghabiskan baki peruntukan pasukan, sekali gus melindungi projek lain daripada kerosakan sampingan.

Menetapkan bajet dalam beberapa minit

Vercel membolehkan anda mengkonfigurasi bajet melalui papan pemuka web atau antara muka baris perintah (CLI). CLI berguna untuk penskripan merentasi pelbagai persekitaran.

Had seluruh pasukan (bulanan) 

vercel ai-gateway budgets set team --limit 500 --refresh-period monthly

Had khusus projek (bulanan) 

vercel ai-gateway budgets set project my-project --limit 200 --refresh-period monthly

Bajet adalah bertindan, jadi had yang lebih ketat antara kedua-duanya akan terpakai. Jika projek mencapai siling $200, permintaan akan dihentikan walaupun pasukan masih mempunyai baki $300.

Kunci berorientasikan kontraktor 

vercel ai-gateway api-keys create --name contractor \
  --limit 50 --refresh-period none --expiration 30d

Kunci tersebut tamat tempoh selepas 30 hari dan terhenti selepas perbelanjaan AI mencecah $50, memberikan tetingkap akses yang terhad masa dan kemas untuk penyumbang luaran.

Apa yang sebenarnya dilakukan oleh had tersebut

  • Had lembut (Soft cap) – Permintaan yang menyebabkan perbelanjaan melebihi ambang tetap akan selesai, jadi lebihan kecil mungkin berlaku.
  • Lengah penguatkuasaan (Enforcement lag) – Bajet dinilai sekali setiap satu atau dua minit; lonjakan panggilan sejurus selepas had dicapai mungkin terlepas sebelum sekatan diaktifkan.
  • Tiada liputan untuk BYOK – Jika anda menggunakan kunci penyedia awan sendiri (BYOK) untuk mengebil terus dengan penyedia LLM luaran, sistem bajet Vercel tidak dapat melihat trafik tersebut, jadi had tidak terpakai.

Bila ciri ini cemerlang, dan bila ia kurang memuaskan

Suis pemutus ini adalah jawapan pragmatik kepada masalah “kejutan bil AI” yang telah menghantui banyak pasukan SaaS. Bagi kebanyakan projek yang dihoskan di Vercel yang bergantung pada AI Gateway terbina dalam, bajet boleh ditetapkan dalam masa kurang daripada sepuluh minit dan menyediakan jaring keselamatan terhadap perbelanjaan berlebihan yang tidak disengajakan.

Walau bagaimanapun, sifat had lembut bermakna lonjakan singkat masih boleh menelan kos beberapa dolar melebihi had. Pasukan yang memerlukan hentian keras (hard stop) mutlak mungkin mendapati lengah tahap minit tersebut tidak mencukupi. Selain itu, perusahaan yang menghalakan trafik LLM melalui kredensial awan mereka sendiri mesti bergantung pada mekanisme kawalan kos luaran, kerana bajet Vercel tidak akan melihat penggunaan tersebut.

Apa yang perlu diperhatikan seterusnya

  • Metrik penggunaan – Maklum balas awal daripada pembangun akan menunjukkan sama ada granulariti bajet dapat menyelesaikan senario lebihan kos yang paling biasa.
  • Sambungan ciri – Permintaan untuk amaran masa nyata, selang penguatkuasaan yang lebih ketat, atau had yang peka terhadap BYOK boleh membentuk kemas kini masa hadapan.
  • Respons pesaing – Platform tanpa pelayan (serverless) lain mungkin memperkenalkan kawalan perbelanjaan khusus AI yang serupa, menjadikan langkah Vercel sebagai standard industri yang lebih luas.

Kesimpulan

AI Gateway Budgets Vercel memberikan cara pantas bagi setiap projek untuk menghentikan perbelanjaan token AI sebelum ia melambung menjadi invois mengejut. Alat ini mudah diaktifkan, berfungsi pada tahap di mana kebanyakan insiden kos tidak terkawal berlaku, dan mengembalikan ralat yang jelas apabila had dilanggar. Kekurangan utamanya—lebihan kecil, lengah penguatkuasaan tahap minit, dan ketiadaan keterlihatan terhadap trafik BYOK—adalah telus, membolehkan pasukan memutuskan sama ada pertukaran tersebut sesuai dengan toleransi risiko mereka. Bagi sesiapa yang menjalankan panggilan LLM pada Vercel, suis pemutus baharu ini adalah perlindungan praktikal yang berbaloi untuk dikonfigurasi hari ini.