Переименовали инструмент — потеряли весь кэш

Новая модель ценообразования кэша от Anthropic означает, что даже изменение одного символа — переименование инструмента или добавление временной метки в системный промпт — может превратить дешевое попадание в кэш в полноценную оплату по полному тарифу, увеличивая счета в десятки раз.

Этот сдвиг вызван двухъярусной системой скидок на кэширование от Anthropic. Для некоторых моделей чтение из кэша стоит всего 0,025 × от обычной цены за входные токены; для других скидка составляет 0,1 ×. Скидка применяется только в том случае, если запрос в точности совпадает с ранее закэшированной записью. Промахи (misses) тарифицируются по базовой ставке, поэтому разрыв между хитом и промахом становится огромным. На практике незначительное изменение промпта может поднять стоимость до сорокакратного размера от ожидаемой суммы.

Почему это важно

Anthropic добавила уровень кэширования, чтобы стимулировать повторное использование идентичных промптов — распространенный паттерн в агентах, которые многократно вызывают один и тот же набор инструментов. Идея проста: один раз сохранить результат комбинации «промпт + инструмент», а затем дешево извлекать его при последующих вызовах. Новые коэффициенты делают сторону «извлечения» гораздо дешевле, но при этом значительно увеличивают штраф за «промах».

Разработчики, строившие агентов вокруг стабильных системных промптов, теперь видят, как любое отклонение — намеренное или случайное — разрывает цепочку кэширования. Результат — скрытый налог на сервис: низкий коэффициент попадания в кэш напрямую конвертируется в более высокие операционные расходы.

Что сбрасывает кэш

Документация Anthropic описывает иерархию, в которой изменения на верхних уровнях аннулируют всё, что находится ниже. Практический вывод заключается в том, что, казалось бы, безобидные правки могут привести к начислению полной стоимости.

  • Определения инструментов — добавление, удаление, переименование инструмента или изменение его описания очищает кэш для инструментов, системного промпта и всей истории сообщений.
  • Переключатель веб-поиска — изменение булева значения, включающего инструмент веб-поиска, очищает кэш системного промпта и сообщений.
  • Параметр tool-choice — изменение параметра, выбирающего, какой инструмент запустить, аннулирует только кэш сообщений.
  • Изображения — добавление или удаление изображений влияет только на кэш сообщений.

Распространенные паттерны, которые разработчики активируют непреднамеренно:

  1. Изменение порядка инструментов — некоторые кодовые базы сортируют словари инструментов при каждом развертывании. Новый порядок создает другой ключ кэша, вызывая промах при каждом вызове.
  2. Промпты с временными метками — вставка строки вида «сгенерировано в HH:MM:SS» в системный промпт делает каждый запрос уникальным, гарантируя промах.
  3. Ротация фрагментов промпта — замена приветствия или баннера с версией меняет хэш промпта и сбрасывает кэш.

Как заметить скрытые расходы

Логи использования Anthropic раскрывают динамику кэша через три поля:

  • cache_read_input_tokens — токены, прочитанные из записи кэша.
  • cache_creation_input_tokens — токены, вызвавшие создание новой записи в кэше.
  • input_tokens — токены, тарифицируемые по обычной ставке (остаток после прочтения кэша).

Внезапный рост input_tokens на фоне падения cache_read_input_tokens сигнализирует о том, что что-то в стеке промптов изменилось. Мониторинг этих метрик позволяет командам реагировать до того, как счет раздуется.

Ответ разработчиков

Столкнувшись с новой реальностью ценообразования, многие команды теперь относятся к стабильности промптов как к первоклассной метрике производительности. Распространенные стратегии включают:

  • Статические системные промпты — хранение промпта в файле под контролем версий и его внедрение без изменений во время выполнения.
  • Детерминированный порядок инструментов — определение списков инструментов непосредственно в коде, а не использование порядка в словарях или внешних генераторов.
  • Удаление временных меток — перенос информации о логировании или времени в отдельный канал метаданных, который не влияет на строку промпта.
  • Тестирование с учетом кэша — добавление юнит-тестов, проверяющих, что хэш полного промпта (система + инструменты + сообщения) остается неизменным между сборками.

Эти практики добавляют небольшие инженерные накладные расходы, но защищают от «скрытого налога», которым теперь является промах кэша.

Позиция Anthropic

Anthropic утверждает, что более глубокая скидка стимулирует повторное использование, что может снизить общую вычислительную нагрузку на её серверы. Делая чтение из кэша значительно дешевле, они надеются, что разработчики будут проектировать агентов, которые многократно вызывают один и тот же набор инструментов, а не постоянно перестраивают промпты. Компромисс заключается в более высоком штрафе за непереиспользуемые вызовы, что, по словам компании, подталкивает разработчиков к лучшей «гигиене промптов».

Критики отмечают, что многим реальным агентам необходимо адаптировать промпты «на лету» — добавление контекста, временных меток или динамический выбор инструментов часто является необходимым условием. Для таких рабочих нагрузок новая модель ценообразования может сделать Anthropic менее привлекательным по сравнению с провайдерами, которые взимают фиксированную плату независимо от попаданий в кэш.

За чем следить дальше

  • Пересмотр цен — Anthropic может скорректировать коэффициенты, если отзывы сообщества покажут, что разрыв между попаданиями и промахами слишком велик.
  • Функции управления кэшем — будущие обновления API могут позволить разработчикам указывать, какие части промпта следует исключить из ключа кэша, предлагая компромиссный вариант.
  • Реакция конкурентов — другие поставщики LLM могут скорректировать свои модели кэширования, чтобы оставаться конкурентоспособными, либо предложив более равномерную структуру цен, либо предоставив более гранулярные инструменты управления кэшем.

Итог

С новой моделью ценообразования Anthropic стоимость промаха в кэше (prompt miss) перестала быть незначительным неудобством; теперь это финансовый рычаг, способный резко изменить бюджет проекта. Поддержание неизменности системных промптов, определений инструментов и связанных метаданных теперь так же важно, как написание эффективного кода. Команды, которые будут рассматривать детерминизм промптов как измеримую метрику, смогут избежать неожиданных счетов и сохранят контроль над расходами на своих ИИ-агентов.