LLM 기반 에이전트는 데모에서는 완벽하게 작동할 수 있지만, 몇 번의 대화만으로도 속도가 느려지고 비용이 폭증할 수 있습니다. 숨겨진 원인은 불안정한 모델이 아니라, 모델이 매번 처리해야 하는 프롬프트가 점진적으로 비대해지는 '토큰 드리프트(token drift)'입니다.

토큰 드리프트는 모든 상호작용이 모델의 입력 컨텍스트에 더 많은 텍스트를 추가할 때 발생합니다. 대화 기록, 도구 스키마, API 응답, 검색된 문서 등이 모두 쌓이면서, 이후의 모든 호출은 더 큰 페이로드를 전달하게 됩니다. 모델의 처리 시간과 가격은 입력 토큰 수에 따라 증가하므로, 비용은 선형적이 아니라 이차 함수적으로 상승합니다.

데모가 아닌 실제 운영 환경에서 문제가 발생하는 이유

실제 배포 환경에서는 모든 것을 보존합니다. 사용자의 모든 발화, 모든 도구 출력, 검색된 모든 지식 조각까지 말이죠. 이러한 축적은 지연 시간(latency)이 급증하고 청구서가 도착할 때까지 숨겨져 있습니다.

토큰 드리프트의 주요 원인

  • 반복되는 트랜스크립트 – 이전 메시지를 요약하거나 삭제하는 대신 프롬프트에 모든 메시지를 그대로 유지하는 경우.
  • 무거운 도구 스키마 – 매 턴마다 도구의 기능을 설명하는 대규모 JSON 정의를 전송하는 경우.
  • 방대한 도구 결과 – 에이전트에게 실제로 필요한 데이터보다 더 많은 정보를 포함하는 전체 API 응답이나 데이터베이스 행을 포함하는 경우.
  • RAG 비대화 – 검색 증강 생성(RAG) 과정에서 오래되었거나 관련 없는 문서 조각을 너무 많이 추가하는 경우.
  • 중복된 메모리 – 요약본, 상태 객체, 원본 트랜스크립트를 함께 묶어 동일한 정보를 세 번 반복하는 경우.

이러한 요소들은 새로운 추론 능력을 더해주지는 않으면서 프롬프트 크기만 키웁니다.

토큰 예산을 관리하는 방법

1. 계층적 컨텍스트 설계 채택

  • 안정적인 지침 – 시스템 프롬프트와 안전 규칙을 상단에 배치하고, 매번 다시 보내는 대신 이를 참조하도록 합니다.
  • 구조화된 상태 – 에이전트가 빠르게 읽을 수 있도록 목표, 결정 사항, 식별자 등을 압축된 형태로 저장합니다.
  • 압축된 히스토리 – 오래된 대화는 짧고 사람이 읽기 쉬운 단락으로 요약하며, 특정 임계값에 도달했을 때만 업데이트합니다.
  • 최근 대화 내용 – 연속성을 유지하기 위해 마지막 몇 개의 메시지는 원문 그대로 포함합니다.

변하지 않는 텍스트와 요약 가능한 콘텐츠를 분리하면 동일한 단어를 반복해서 보내는 것을 방지할 수 있습니다.

2. 도구 출력물 다듬기

  • 에이전트가 실제로 사용하는 필드만 추출하고, 장황한 설명은 삭제합니다.
  • 방대한 결과물은 간결한 요약이나 참조 ID로 대체하고, 전체 페이로드는 데이터베이스, 캐시 또는 블롭 스토어(blob store)에 저장합니다.
  • 도구가 리스트를 반환할 때는 현재 결정에 중요한 상위 N개 항목만 보냅니다.

3. 스마트한 요약 적용

  • 매 턴마다 요약하지 마세요. 추가적인 처리가 오버헤드를 발생시킵니다.
  • 오래된 대화의 누적 토큰 수가 미리 설정한 한도를 초과할 때만 요약을 갱신합니다.
  • ID, 금액, 타임스탬프와 같은 중요한 사실은 산문(prose)에 포함하는 대신 구조화된 저장소에 보관하여 요약본이 짧게 유지되도록 합니다.

4. 올바른 지표 추적

  • 단순히 사용자 요청당이 아니라, 모델 호출당 토큰 사용량을 기록하세요. 이를 통해 입력 측면의 숨겨진 증가를 파악할 수 있습니다.
  • 매 턴 추가되는 입력 토큰 수를 모니터링하세요. 갑작스러운 급증은 드리프트의 원인을 나타냅니다.
  • 캐시된 토큰(이전 호출에서 재사용됨)과 새로 생성된 토큰을 분리하세요. 드리프트는 오직 전자에 의해서만 발생합니다.

프롬프트를 무한한 트랜스크립트가 아닌 한정된 자원으로 취급하십시오. 의도적으로 측정하고, 요약하고, 다듬음으로써 LLM 에이전트를 빠르고 경제적이며 운영 규모에 적합한 상태로 유지할 수 있습니다.

핵심 요약: 토큰 드리프트는 비용을 조용히 상승시키고 에이전트의 속도를 늦춥니다. 프롬프트에서 비대해지는 부분을 식별하여 압축하거나 외부화하고, 호출당 토큰 사용량을 주시하십시오. 절제된 접근 방식은 예측 불가능한 비용 충격을 관리 가능하고 예산 친화적인 운영으로 바꿔줍니다.