10개의 에이전트로 구성된 AI 플릿에 100달러의 크레딧 한도를 설정하자, 당일 바로 스로틀(throttle)이 작동하여 한도를 높이기 전까지 모든 새로운 작업을 중단시켰습니다. 이 사건은 예산이 초과되는 즉시 제어 루프가 개입했음을 보여줍니다.

AI 플릿에 크레딧 한도가 중요한 이유

단일 서버에서 10개의 자율 에이전트를 실행하면 지속적인 API 호출이 발생하며, 각 호출은 소비된 토큰에 따라 비용이 청구됩니다. 기존의 로그는 에이전트가 무엇을 했는지(쿼리, 응답, 타임스탬프 등)는 기록하지만, 그러한 작업에 비용이 얼마나 들었는지는 말해주지 않습니다. 플릿의 규모가 커지면 이러한 보이지 않는 비용이 폭증하여, 누군가 알아차리기도 전에 예산을 고갈시킬 수 있습니다.

로그를 원장(Ledger)으로 전환하기

우리의 첫 번째 단계는 로그를 단순한 텍스트로 취급하는 것을 멈추고 재무 원장으로 취급하기 시작한 것이었습니다. 이제 모든 에이전트 사이클—작업(task) → 수행 중(taking) → 완료(done)—은 세 가지 분개 항목을 생성합니다:

  • Money – 요청의 토큰 수에서 도출된 추정 USD 가치.
  • Promises – 미결 작업으로, 완료 시 비용이 청구될 잠재적 부채를 의미합니다.
  • Labour – 에이전트가 수행한 실제 작업 단위.

이제 로그 파일에서 "error"를 검색(grep)하는 대신, 다음과 같은 실제 재무 쿼리를 실행할 수 있습니다: "Money 합계가 100달러를 초과하는 모든 Promises를 보여줘." 원장을 통해 숨겨진 비용을 가시화하고 검색할 수 있게 되었습니다.

폐쇄 루프 제어 시스템 (The closed-loop control system)

크레딧 한도 메커니즘은 지속적으로 실행되는 4단계 루프를 따릅니다:

  1. Measure (측정) – 각 에이전트 턴마다 지출 로그에 한 줄을 추가하여 토큰 사용량과 도출된 달러 금액을 기록합니다.
  2. Price (가격 책정) – 시스템은 현재 환율을 사용하여 토큰 수를 USD로 변환합니다.
  3. Alert (알림) – 모니터가 이동 예산(rolling budget)을 감시합니다. 상태는 none(경고 없음)에서 warn(한도 임박)을 거쳐 cap(한도 도달)으로 이동합니다.
  4. Throttle (제한) – 게이트가 현재 상태를 읽고, cap 상태가 활성화되면 새로운 작업 배포를 차단합니다.

예산 창은 5시간 이동 기간(rolling five-hour period)으로 설정되어 있습니다. 즉, 시스템은 고정된 달력 블록이 아니라 항상 가장 최근 5시간 동안의 지출을 확인합니다. 이를 통해 루프가 활동 급증에 민감하게 반응하도록 유지하며, 단 한 번의 스파이크로 인해 플릿이 무기한 잠기는 것을 방지합니다.

단순히 지출을 표시하는 대시보드는 현황을 보여줄 뿐이지만, 그 수치를 읽고 배포를 중단하는 스로틀이야말로 진정한 제어 장치입니다.

설계에 의한 회복탄력성 (Resilience by design)

지출 제어 시스템 자체가 단일 장애점(single point of failure)이 된다면 오히려 역효과를 낼 것입니다. 우리는 세 가지 안전장치를 구축했습니다:

  • Fails open (페일 오픈) – 예산 도구가 충돌하더라도 에이전트는 계속 실행됩니다. 지출이 확인되지 않을 수는 있지만, 플릿의 운영은 유지됩니다.
  • Manual bypass (수동 바이패스) – 운영자는 우선순위 채널을 통해 스로틀을 무시할 수 있으며, 한도에 도달하더라도 중요한 작업은 계속 진행할 수 있습니다.
  • Auto-resume (자동 재개) – 이동 창(rolling window)이 앞으로 이동함에 따라 오래된 지출은 계산에서 제외됩니다. 총액이 한도 아래로 떨어지면 게이트는 사람의 개입 없이 자동으로 다시 열립니다.

테스트: 100달러 한도 vs 156달러의 기존 지출

우리는 플릿의 최근 활동 지출이 이미 156달러에 달한 상태에서 100달러 한도로 시스템을 가동했습니다. 스로틀은 즉시 작동하여 모든 새로운 작업을 중단시켰습니다. 한도를 200달러로 높이자 게이트가 다시 열렸고, 추가적인 수동 작업 없이 작업이 재개되었습니다.

이 실험을 통해 두 가지를 확인했습니다:

  1. 제어 루프가 실시간으로 반응합니다. 위반 감지와 집행 사이에 지연이 없습니다.
  2. 운영자는 한도를 즉석에서 조정할 수 있어, 우선순위가 낮은 작업에 대해 불필요한 다운타임을 방지할 수 있습니다.

핵심 요약: 에이전트 로그를 재무 원장으로 취급하고 배포 파이프라인에 이동 예산 스로틀을 연결하면, 과도한 지출에 대해 즉각적이고 강제력 있는 방어책을 가질 수 있습니다. 이는 오늘 바로 적용 가능한 저렴하고 회복탄력성 있는 제어 방식입니다. 더 정교한 정책은 나중에 추가할 수 있지만, 기본적인 루프는 모든 AI 에이전트 플릿의 첫 번째 방어선이 되어야 합니다.