Vercel이 "AI Gateway Budgets"를 추가했습니다. 이는 프로젝트 및 API 키별 지출 한도를 설정하여, 미리 설정된 한도에 도달하면 대규모 언어 모델(LLM) 호출을 자동으로 차단하는 기능입니다. 이 기능은 단 한 번의 잘못된 루프나 재시도 버그로 인해 급증할 수 있는 통제 불능의 AI 비용을 방지하기 위해 설계되었습니다.
AI 전용 킬 스위치가 중요한 이유
Vercel의 AI Gateway를 사용하는 개발자는 LLM 요청을 Vercel 인프라를 통해 라우팅하며, 해당 모델이 소비하는 토큰에 대해 비용을 지불합니다. 단 한 번의 프롬프트 인젝션 루프나 잘못 설정된 재시도 정책만으로도 몇 분 만에 수천 건의 토큰 요청이 발생할 수 있으며, 이는 적은 예산을 다섯 자릿수(만 단위)의 청구서로 바꿀 수 있습니다. Vercel의 기존 지출 관리 도구는 계정 수준에서 작동하며 AI 호출뿐만 아니라 모든 아웃바운드 트래픽을 제한합니다. 이러한 포괄적인 방식은 AI 사용량에만 문제가 있는 경우에도 사이트의 프런트엔드나 API를 마비시킬 수 있습니다.
AI Gateway Budgets가 표준 지출 제어와 다른 점
- 범위 – 예산은 AI 토큰 지출에만 적용되며, 계정의 나머지 부분에는 영향을 주지 않습니다.
- 세분화 – 한도는 팀, 프로젝트 또는 개별 API 키 수준에서 설정할 수 있습니다.
- 동작 – 한도에 도달하면 게이트웨이는 HTTP 402 "Payment Required" 응답을 반환하여, 예산 소진으로 인해 요청이 차단되었음을 알립니다.
- 격리 – 한도에 도달한 단일 프로젝트가 팀의 남은 할당량을 모두 소진할 수 없으므로, 다른 프로젝트를 부수적인 피해로부터 보호합니다.
몇 분 만에 예산 설정하기
Vercel은 웹 대시보드 또는 명령줄 인터페이스(CLI)를 통해 예산을 구성할 수 있도록 지원합니다. CLI는 여러 환경에 걸쳐 스크립트를 작성할 때 유용합니다.
팀 전체 한도 (월간)
vercel ai-gateway budgets set team --limit 500 --refresh-period monthly
프로젝트별 한도 (월간)
vercel ai-gateway budgets set project my-project --limit 200 --refresh-period monthly
예산은 중첩 적용되므로, 두 한도 중 더 낮은 쪽이 적용됩니다. 프로젝트가 $200 한도에 도달하면, 팀에 $300가 남아 있더라도 요청이 중단됩니다.
계약자용 키
vercel ai-gateway api-keys create --name contractor \
--limit 50 --refresh-period none --expiration 30d
이 키는 30일 후에 만료되며 AI 지출이 $50에 도달하면 중단되므로, 외부 기여자에게 깔끔하고 시간 제한이 있는 액세스 창을 제공합니다.
한도가 실제로 작동하는 방식
- 소프트 캡(Soft cap) – 지출을 임계값 이상으로 밀어붙이는 요청은 여전히 완료되므로, 약간의 초과 지출이 발생할 수 있습니다.
- 집행 지연(Enforcement lag) – 예산은 1~2분마다 한 번씩 평가됩니다. 한도에 도달한 직후에 호출이 폭주하면 차단이 활성화되기 전에 요청이 통과될 수 있습니다.
- BYOK 미지원 – 외부 LLM 제공업체에 직접 비용을 청구하기 위해 본인의 클라우드 제공업체 키(BYOK)를 사용하는 경우, Vercel의 예산 시스템은 해당 트래픽을 볼 수 없으므로 한도가 적용되지 않습니다.
이 기능이 빛을 발하는 순간과 한계점
이 킬 스위치는 많은 SaaS 팀을 괴롭혀온 "AI 요금 폭탄(AI-bill-shock)" 문제에 대한 실용적인 해답입니다. 내장된 AI Gateway에 의존하는 대부분의 Vercel 호스팅 프로젝트의 경우, 10분 이내에 예산을 설정할 수 있으며 실수로 인한 과다 지출에 대한 안전망을 제공합니다.
하지만 소프트 캡 방식이기 때문에 짧은 시간 동안의 급증으로 인해 한도를 몇 달러 초과할 수 있습니다. 절대적인 하드 스톱(hard stop)이 필요한 팀은 분 단위의 지연이 불충분하다고 느낄 수 있습니다. 또한, 자체 클라우드 자격 증명을 통해 LLM 트래픽을 라우팅하는 기업은 Vercel의 예산 시스템이 해당 사용량을 확인할 수 없으므로 외부 비용 제어 메커니즘에 의존해야 합니다.
향후 주목할 점
- 채택 지표 – 개발자들의 초기 피드백을 통해 예산 세분화가 가장 흔한 비용 초과 시나리오를 해결하는지 확인할 수 있을 것입니다.
- 기능 확장 – 실시간 알림, 더 엄격한 집행 간격 또는 BYOK를 인식하는 한도 설정에 대한 요청이 향후 업데이트의 방향을 결정할 수 있습니다.
- 경쟁사 대응 – 다른 서버리스 플랫폼들이 유사한 AI 전용 지출 제어 기능을 도입하면서, Vercel의 이번 행보가 업계 전반의 표준이 될 수 있습니다.
요약
Vercel의 AI Gateway Budgets는 개발자가 AI 토큰 지출이 예상치 못한 청구서로 불어나기 전에 프로젝트별로 빠르게 중단할 수 있는 방법을 제공합니다. 이 도구는 활성화하기 쉽고, 대부분의 비용 폭주 사고가 발생하는 수준에서 작동하며, 한도를 초과할 때 명확한 오류를 반환합니다. 약간의 초과 지출, 분 단위의 집행 지연, BYOK 트래픽에 대한 가시성 부재라는 주요 단점은 투명하게 공개되어 있으므로, 팀은 이러한 트레이드오프가 자신들의 위험 허용 범위에 맞는지 결정하면 됩니다. Vercel에서 LLM 호출을 실행하는 사용자라면, 이 새로운 킬 스위치는 오늘 바로 설정할 가치가 있는 실용적인 안전장치입니다.