Amazon Bedrock теперь позволяет разработчикам кэшировать части промпта, что снижает расходы на использование токенов на величину до 90% и сокращает задержку ответа до 85% для приложений, использующих статический префикс промпта.

Почему это важно

Запуск больших языковых моделей по запросу стоит денег каждый раз, когда токены отправляются в модель. Чат-боты, помощники по написанию кода и инструменты поиска по документам часто повторно отправляют одни и те же системные инструкции или справочные материалы, что увеличивает расходы и замедляет ответы.

Как работает кэширование промптов

Bedrock добавляет флаг «cacheable» (кэшируемый), который разработчики могут прикрепить к любому сегменту промпта — обычно это системные инструкции, длинные фоновые документы или определения инструментов, которые не меняются в течение сессии. При поступлении запроса Bedrock проверяет, совпадает ли отмеченный сегмент с сохраненной записью. Если да, сервис пропускает повторное кодирование и повторный прогон этой части через модель, вместо этого извлекая предварительно вычисленное представление из кэша.

Цифры

  • Стоимость входных токенов: снижение до 90%, так как кэшированный префикс больше не потребляет токены при каждом вызове.
  • Задержка: ускорение до 85%, поскольку основная вычислительная нагрузка для статической части исключается.

Лучшие сценарии использования

Эта функция наиболее эффективна, когда промпт содержит большой неизменяемый блок, за которым следует короткий переменный запрос пользователя. Распространенные паттерны включают:

  • Конвейеры генерации с дополненной выборкой (RAG), которые добавляют извлеченный документ в начало каждого запроса.
  • Боты службы поддержки, которые всегда начинаются с одного и того же заявления о политике компании или текста, задающего тон общения.
  • Помощники по написанию кода, которые загружают фиксированное определение языкового инструмента перед фрагментом кода разработчика.

Что нужно изменить разработчикам

Разработчики должны изменить порядок промпта так, чтобы статический контент находился в самом начале и оставался идентичным байт в байт при всех вызовах. Переменный ввод пользователя следует за кэшированным префиксом. Переключение моделей не требуется; запросы обрабатываются теми же эндпоинтами Bedrock.

Кто выигрывает, а кому стоит быть осторожным

Преимущество распространяется только на те рабочие нагрузки, где префикс действительно остается статичным. Приложения, которые персонализируют системные инструкции для каждого пользователя или часто меняют контекст, получат мало выгоды и должны сопоставить возросшую сложность формирования промптов со скромным приростом эффективности.

Итог: Кэширование промптов дает пользователям Bedrock простой инструмент для снижения операционных расходов на ИИ и сокращения времени ответа, при условии, что их приложения могут выделить повторно используемый префикс промпта.