Amazon Bedrock тепер дозволяє розробникам кешувати частини промпту, що скорочує витрати на використання токенів на цілих 90% і зменшує затримку відповіді до 85% для застосунків, які повторно використовують статичний префікс промпту.

Чому це важливо

Запуск великих мовних моделей за запитом коштує грошей щоразу, коли токени надсилаються моделі. Чат-боти, помічники з написання коду та інструменти пошуку по документах часто повторно надсилають ті самі системні інструкції або довідкові матеріали, що збільшує витрати та сповільнює відповіді.

Як працює кешування промптів

Bedrock додає прапорець «cacheable», який розробники можуть прикріпити до будь-якого сегмента промпту — зазвичай це інструкції системного рівня, довгі фонові документи або визначення інструментів, які не змінюються протягом сесії. Коли надходить запит, Bedrock перевіряє, чи збігається позначений сегмент із записаним у сховищі елементом. Якщо так, сервіс пропускає повторне кодування та повторний запуск цієї частини через модель, замість цього підтягуючи попередньо обчислене представлення з кешу.

Цифри

  • Вартість вхідних токенів: скорочення до 90%, оскільки кешований префікс більше не споживає токени при кожному виклику.
  • Затримка: пришвидшення до 85%, оскільки для статичної частини не потрібно виконувати основні обчислювальні операції моделі.

Найкращі сценарії використання

Ця функція демонструє найкращі результати, коли промпт містить великий незмінний блок, після якого йде короткий змінний запит користувача. Поширені сценарії включають:

  • Конвеєри генерації з доповненою вибіркою (RAG), які додають отриманий документ до кожного запиту.
  • Боти підтримки клієнтів, які завжди починаються з однієї й тієї самої заяви про політику компанії або тексту, що задає тон спілкування.
  • Помічники з написання коду, які завантажують фіксоване визначення мовного інструмента перед фрагментом коду розробника.

Що потрібно змінити розробникам

Розробники мають змінити порядок у промпті так, щоб статичний контент знаходився на самому початку і залишався ідентичним байт у байт під час усіх викликів. Змінний ввід користувача має йти після кешованого префікса. Зміна моделі не потрібна; ті самі кінцеві точки (endpoints) Bedrock обробляють запит.

Хто виграє, а кому варто бути обережним

Перевага стосується лише навантажень, де префікс дійсно залишається статичним. Застосунки, які персоналізують системні інструкції для кожного користувача або часто змінюють контекст, отримають мало вигоди та мають зважити додаткову складність формування промптів порівняно з незначним прискоренням.

Підсумок: Кешування промптів дає користувачам Bedrock простий інструмент для зниження операційних витрат на ШІ та скорочення часу відповіді, за умови, що їхні застосунки можуть виділити повторно використовуваний префікс промпту.