도구 이름을 바꾸면 캐시 전체를 잃게 됩니다
Anthropic의 새로운 캐시 가격 책정 방식에 따르면, 도구 이름을 바꾸거나 시스템 프롬프트에 타임스탬프를 추가하는 것과 같은 단 한 글자의 수정만으로도 저렴한 캐시 히트(cache hit)가 전체 비용이 발생하는 미스(miss)로 변하여 요금이 수십 배로 불어날 수 있습니다.
이러한 변화는 Anthropic의 2단계 캐시 할인 정책에서 비롯됩니다. 일부 모델의 경우 캐시 읽기 비용은 일반 입력 가격의 **0.025 ×**에 불과하며, 다른 모델의 경우 할인율은 **0.1 ×**입니다. 이 할인은 요청이 이전에 캐싱된 항목과 정확히 일치할 때만 적용됩니다. 미스(miss)가 발생하면 기본 요율로 청구되므로, 히트(hit)와 미스 사이의 격차가 극적으로 벌어집니다. 실제로 약간의 프롬프트 변경만으로도 비용이 예상치의 최대 40배까지 치솟을 수 있습니다.
이 변화가 중요한 이유
Anthropic은 동일한 프롬프트를 재사용하도록 장려하기 위해 캐시 단계를 추가했습니다. 이는 동일한 도구 세트를 반복적으로 호출하는 에이전트에서 흔히 나타나는 패턴입니다. 아이디어는 간단합니다. 프롬프트와 도구 조합의 결과를 한 번 저장한 다음, 이후 호출 시 저렴하게 불러오는 것입니다. 새로운 배수는 "조회(retrieval)" 측면을 훨씬 저렴하게 만들지만, "미스(miss)"에 대한 페널티는 훨씬 더 가혹하게 만듭니다.
안정적인 시스템 프롬프트를 기반으로 에이전트를 구축한 개발자들은 이제 의도적이든 실수든 프롬프트에 미세한 변화(drift)가 생기면 캐시 체인이 끊어지는 것을 목격하게 됩니다. 그 결과 서비스에 '숨겨진 세금'이 부과됩니다. 즉, 캐시 히트 비율이 낮아지면 운영 비용이 직접적으로 상승하게 됩니다.
캐시를 깨뜨리는 요인
Anthropic의 문서는 상위 수준에서의 변경이 그 아래의 모든 것을 무효화하는 계층 구조를 설명합니다. 실질적인 결과는 겉보기에 무해한 편집이 연쇄적으로 작용하여 전체 비용 청구로 이어질 수 있다는 점입니다.
- 도구 정의(Tool definitions) – 도구를 추가, 삭제, 이름 변경하거나 설명을 수정하면 도구, 시스템 프롬프트 및 모든 메시지 기록에 대한 캐시가 삭제됩니다.
- 웹 검색 토글(Web-search toggle) – 웹 검색 도구를 활성화하는 불리언(boolean) 값을 변경하면 시스템 프롬프트와 메시지 캐시가 삭제됩니다.
- 도구 선택 파라미터(Tool-choice parameter) – 실행할 도구를 선택하는 파라미터를 미세 조정하면 메시지 캐시만 무효화됩니다.
- 이미지 페이로드(Image payloads) – 이미지를 추가하거나 제거하면 메시지 캐시에만 영향을 미칩니다.
개발자가 의도치 않게 유발하는 일반적인 패턴:
- 도구 순서 변경 – 일부 코드베이스는 배포할 때마다 도구 딕셔너리를 정렬합니다. 새로운 순서는 다른 캐시 키를 생성하여 매번 미스를 유발합니다.
- 타임스탬프가 포함된 프롬프트 – 시스템 프롬프트에 "generated at HH:MM:SS" 문자열을 삽입하면 모든 요청이 고유해져 미스가 확실시됩니다.
- 프롬프트 조각 교체 – 인사말이나 버전 배너를 바꾸면 프롬프트 해시가 변경되어 캐시가 깨집니다.
숨겨진 비용 파악하기
Anthropic의 사용 로그는 다음 세 가지 필드를 통해 캐시 역학을 보여줍니다.
cache_read_input_tokens– 캐시 항목에서 읽은 토큰.cache_creation_input_tokens– 새로운 캐시 항목을 저장하게 만든 토큰.input_tokens– 일반 요율로 청구되는 토큰(캐시 읽기 후 남은 토큰).
cache_read_input_tokens가 감소하면서 input_tokens가 갑자기 증가한다면 프롬프트 스택의 무언가가 변경되었음을 의미합니다. 이러한 지표를 모니터링하면 비용이 폭증하기 전에 대응할 수 있습니다.
개발자의 대응 방안
새로운 가격 책정 현실에 직면하여, 많은 팀이 이제 프롬프트 안정성을 최우선 성능 지표로 취급하고 있습니다. 일반적인 전략은 다음과 같습니다.
- 정적 시스템 프롬프트 – 프롬프트를 버전 관리되는 파일에 저장하고 런타임 수정 없이 주입합니다.
- 결정론적 도구 순서 – 딕셔너리 순서나 외부 생성기에 의존하는 대신 코드에 도구 목록을 직접 정의합니다.
- 타임스탬프 제거 – 로깅 또는 타이밍 정보를 프롬프트 문자열에 영향을 주지 않는 별도의 메타데이터 채널로 이동합니다.
- 캐시 인지 테스트 – 전체 프롬프트(시스템 + 도구 + 메시지)의 해시가 빌드 간에 일정하게 유지되는지 확인하는 단위 테스트를 추가합니다.
이러한 관행은 약간의 엔지니어링 오버헤드를 발생시키지만, 현재 캐시 미스가 의미하는 '숨겨진 세금'으로부터 보호해 줍니다.
Anthropic의 관점
Anthropic은 더 큰 할인 혜택이 재사용을 장려하여 서버의 전체 컴퓨팅 부하를 줄일 수 있다고 주장합니다. 캐시 읽기 비용을 획기적으로 낮춤으로써, 개발자들이 프롬프트를 끊임없이 재구성하기보다 동일한 도구 세트를 반복적으로 호출하는 에이전트를 설계하기를 기대하고 있습니다. 그 대가로 재사용 불가능한 호출에 대해서는 더 높은 페널티를 부과하며, 이는 개발자들이 더 나은 프롬프트 관리(prompt hygiene)를 하도록 유도한다는 것이 회사의 설명입니다.
비평가들은 많은 실제 환경의 에이전트가 컨텍스트, 타임스탬프 또는 동적 도구 선택을 추가하는 등 프롬프트를 즉석에서 조정해야 한다는 점에 주목합니다. 이러한 워크로드의 경우, 새로운 가격 정책은 캐시 히트 여부와 관계없이 고정 요금을 부과하는 제공업체와 비교했을 때 Anthropic의 매력을 떨어뜨릴 수 있습니다.
향후 주목해야 할 점
- 가격 수정 – 커뮤니티 피드백을 통해 히트(hit)와 미스(miss) 사이의 격차가 너무 크다는 점이 드러날 경우, Anthropic은 배수(multipliers)를 미세 조정할 수 있습니다.
- Cache-control 기능 – 향후 API 업데이트를 통해 개발자가 프롬프트의 어느 부분을 캐시 키에서 제외할지 지정할 수 있게 되어, 절충안을 제공할 수 있습니다.
- 경쟁사의 대응 – 다른 LLM 제공업체들은 더 단순한 가격 체계를 제공하거나 더 세밀한 캐시 제어 기능을 공개하는 방식으로 경쟁력을 유지하기 위해 자체 캐시 모델을 조정할 수 있습니다.
시사점
Anthropic의 새로운 캐시 가격 정책으로 인해, 프롬프트 미스(miss) 비용은 더 이상 사소한 불편함이 아닙니다. 이는 프로젝트 예산을 급격하게 변화시킬 수 있는 재무적 변수입니다. 시스템 프롬프트, 도구 정의 및 관련 메타데이터를 불변(immutable) 상태로 유지하는 것은 이제 효율적인 코드를 작성하는 것만큼이나 중요합니다. 프롬프트 결정성(determinism)을 측정 가능한 지표로 다루는 팀은 예상치 못한 비용 청구를 방지하고 AI 에이전트 비용을 효과적으로 관리할 수 있을 것입니다.