Anthropic의 새로운 베타 헤더는 Claude 3.7 Sonnet의 도구 호출(tool call) 토큰 비용을 약 14% 절감하여, AI 에이전트의 월간 비용을 소폭 줄이고 약간의 지연 시간(latency) 이점을 제공합니다.

도구 사용이 토큰을 많이 소비하는 이유

에이전트가 Claude와 주고받는 모든 단계에는 세 가지 토큰 기반 단계가 포함됩니다.

  • 도구 정의(Tool definitions) – 프롬프트의 일부로 전송하는 이름과 JSON 스키마입니다.
  • 도구 호출(Tool calls) – 모델이 도구를 호출하기로 결정했을 때 생성하는 구조화된 출력입니다.
  • 도구 결과(Tool results) – 코드가 모델로 반환하는 데이터입니다.

첫 번째와 세 번째 단계는 입력 토큰이며, 두 번째 단계는 출력 토큰입니다. Claude는 입력보다 출력에 더 높은 비용을 부과하므로, 전체 토큰 수가 비슷하더라도 출력 토큰을 줄이면 비용을 낮출 수 있습니다.

베타 헤더

Anthropic은 token-efficient tool use라는 이름의 베타 기능을 발표했습니다. HTTP 헤더 

anthropic-beta: token-efficient-tools-2025-02-19

를 추가하면 최적화가 활성화되지만, 이는 요청 대상이 Claude 3.7 Sonnet인 경우에만 적용됩니다. 다른 모델로 헤더를 보내면 요청은 변경 없이 진행되며, 오류 없이 헤더가 무시됩니다.

이 최적화는 모델의 도구 호출 출력을 압축하여 해당 단계의 출력 토큰 수를 약 14% 절감하는 방식으로 작동합니다.

실제 절감액은 얼마인가

출력 토큰은 입력 토큰보다 비싸기 때문에, 해당 부분에서 14%를 절감한다고 해서 전체 청구 금액이 그에 비례하여 줄어드는 것은 아닙니다. 일반적인 4단계 에이전트 루프에서는 도구 정의가 입력 비용의 대부분을 차지하며, 때로는 사용된 토큰의 절반을 넘기도 합니다. 이러한 조건에서 출력 토큰의 14% 절감은 일반적으로 전체 비용의 약 3% 감소로 이어집니다.

따라서 헤드라인에 나온 절감 수치는 미미해 보일 수 있지만, 이 변경 사항은 추가 비용이 전혀 들지 않으며 약간의 지연 시간 단축 효과를 제공합니다. 출력 토큰이 적어지면 모델이 생성을 조금 더 빨리 완료할 수 있습니다.

더 큰 절감을 위한 다른 전략들

비용을 유의미하게 억제하는 것이 목표라면 헤더만으로는 부족합니다. 더 큰 이득을 얻을 수 있는 세 가지 실질적인 방법은 다음과 같습니다.

  • 프롬프트 캐싱(Prompt caching) – 도구 정의를 한 번 저장한 후 이후 호출에서 캐시된 버전을 재사용합니다. 캐시된 읽기 작업은 새로운 입력 토큰보다 낮은 요율로 청구됩니다.
  • 도구 세트 축소(Trim the tool set) – 현재 작업에 필수적인 도구만 포함합니다. 추가되는 도구가 많을수록 매 요청마다 정의가 추가되어 입력 비용이 상승합니다.
  • 도구 결과 슬림화(Slim down tool results) – 모델이 실제로 필요한 필드만 반환합니다. 대규모 API 응답을 대화에 다시 입력하면 입력 토큰과 대화 기록이 모두 늘어납니다.

이러한 방식을 적용하면 베타 기능만으로 얻을 수 있는 3%를 훨씬 넘어 전체 지출을 눈에 띄게 줄일 수 있습니다.

주목해야 할 점

Anthropic은 token-efficient 모드가 언제—혹은 전환될지 여부조차—베타에서 기본 기능으로 전환될지에 대해 언급하지 않았습니다. 개발자들은 Claude 3.7 Sonnet 이외의 모델로 지원이 확대되거나 더 심화된 토큰 압축 기술이 도입될 수 있는 향후 발표를 주시해야 합니다. 또한 사용 패턴이 변화함에 따라 요청당 토큰 내역을 모니터링하면 실제 영향을 수치화하는 데 도움이 될 것입니다.

요약

베타 헤더는 도구 호출 출력 토큰을 약 14% 절감하여 소폭의 비용 감소와 약간의 속도 향상을 제공하는, 비용이 들지 않고 적용하기 쉬운 수정 사항입니다. 이미 높은 에이전트 비용으로 고민하고 있는 사용자에게 이 헤더는 유용한 추가 기능이지만, 진정한 절감은 프롬프트 캐싱, 도구 노출 제한, 그리고 더 간결한 결과 반환을 통해 이루어질 것입니다.

출처: https://dev.to/multigrid/token-efficient-tool-use-in-the-claude-api-3j0l