Microsoft는 Azure API Management (APIM)에 전용 AI Gateway 계층을 추가했습니다. 이번 조치는 LLM 호출이 단순한 API 엔드포인트가 아니라, 이제 별도의 워크로드로 취급된다는 신호입니다.

왜 LLM 트래픽이 기존 게이트웨이를 무력화하는가

단일 프롬프트의 비용이 다른 프롬프트보다 100배 더 비쌀 수 있지만, 표준 API 게이트웨이는 두 경우 모두를 단일 요청으로 간주합니다. 게이트웨이는 모델이 처리하는 토큰 수가 아니라 호출 횟수를 집계합니다. 수백 개의 토큰을 보내는 요청과 수만 개의 토큰을 보내는 요청은 요청 횟수 지표상으로는 동일하게 나타나지만, 후자의 비용은 수십 배 더 높을 수 있습니다.

AI에 대해 요청 기반 제한이 무용지물인 네 가지 이유:

  • 비용 ≠ 요청 횟수. 과금은 HTTP 호출 횟수가 아닌 토큰에 연결됩니다.
  • 토큰 양의 변동성이 매우 큼. 어떤 쿼리는 짧은 질문일 수 있지만, 다른 쿼리는 긴 문서를 포함할 수 있습니다.
  • 모델 선택에 따라 가격이 달라짐. 서로 다른 LLM은 토큰당 다른 요율을 적용합니다.
  • 스트리밍은 최종 청구 금액을 숨김. 응답이 스트리밍될 때, 스트림이 종료될 때까지 전체 토큰 수를 알 수 없습니다.

요청만 계속 측정한다면, 실제 지출에 대해 아무런 정보도 주지 못하는 모니터링 데이터만 얻게 될 것입니다.

AI Gateway 계층이 바꾸는 것

토큰 사용량을 제어하는 데 필요한 대부분의 정책은 이미 표준 APIM 계층에 존재합니다. 다만 XML 규칙으로 작성되어 커스텀 대시보드에 표시될 뿐입니다. AI 계층은 이러한 기능을 목적에 맞게 설계된 경험으로 통합합니다:

  • AI 트래픽을 위한 스케일링 격리(Isolation of scaling).
  • 수동으로 작성된 XML 정책이 필요 없는 단순화된 구성.

핵심적인 변화는 운영 측면입니다. 이제 토큰 예산을 강제하기 위해 복잡한 코드를 작성하거나 별도의 대시보드를 유지 관리할 필요가 없습니다. 이 계층은 이러한 제어를 위한 기성 인터페이스를 제공합니다.

전환 시점 – 트래픽 기반 가이드

  • AI가 트래픽의 일부인 경우. 기존 APIM 계층을 계속 사용하고, 세밀한 제어가 필요한 경우 토큰 정책을 추가하십시오.
  • AI 호출이 지배적인 경우. 스케일링을 격리하고 비용 거버넌스를 깔끔하게 유지하려면 AI 계층으로 이동하십시오.
  • 엔지니어링 오버헤드를 피하고 싶은 경우. 이 계층의 내장 도구를 사용하면 커스텀 정책을 구축하고 유지 관리하는 데 드는 시간을 줄일 수 있습니다.

가장 큰 비용은 구독료가 아닙니다. 일반적인 게이트웨이가 토큰 경제를 이해할 수 있도록 빈틈을 메우는 데 들어가는 엔지니어링 시간입니다.

프리뷰 단계 플레이북

Microsoft는 아직 AI 계층을 프리뷰로 제공하고 있습니다. 이를 프로덕션 출시가 아닌 테스트베드로 취급하십시오.

  1. 트래픽 양이 많은 내부 AI 워크로드를 선택하십시오. 토큰 트래픽을 가장 많이 생성하는 서비스를 선택합니다.
  2. 해당 워크로드를 AI 계층으로 라우팅하십시오. 새로운 구성을 사용하여 사용자별 토큰 사용량을 캡처합니다.
  3. 몇 주 동안 토큰 지출 데이터를 수집하십시오. 토큰 수와 관련 비용을 기존 모니터링 데이터와 비교합니다.
  4. 기준점(Baseline)을 예산 수립에 활용하십시오. 이 계층의 비용 제어 이점이 프리뷰 단계의 제한 사항보다 큰지 결정합니다.

정식 출시(General Availability) 전까지는 미션 크리티컬한 프로덕션 워크로드를 프리뷰 서비스로 옮기지 마십시오.

반론: 모든 이에게 별도의 계층이 필요한 것은 아니다

조직이 LLM을 가끔씩만 호출한다면, AI 계층의 추가 비용이 정당화되지 않을 수 있습니다. 수동 작업이 더 많이 필요하긴 하지만, 기존 정책 프레임워크를 통해 토큰 수준의 거버넌스를 달성할 수 있습니다. 이 계층은 AI 트래픽이 API 서비스의 상당 부분을 차지하고 계속 성장할 때 빛을 발합니다.

요약

AI Gateway 계층은 LLM 트래픽이 기존 API 호출과 근본적으로 다르게 작동한다는 점을 인정합니다. 요청 횟수 집계에서 토큰 기반 거버넌스로 전환함으로써, 개발자가 커스텀 코드에 매몰되지 않고도 AI 지출을 실질적으로 관리할 수 있는 방법을 제공합니다. AI 사용량이 이미 상당하거나 앞으로 늘어날 것으로 예상되는 팀이라면, 지금 프리뷰를 테스트하여 토큰 지출 기준점을 구축하는 것이 도움이 될 것입니다.