Новий бета-заголовок від Anthropic скорочує витрати токенів на виклики інструментів приблизно на 14 відсотків для Claude 3.7 Sonnet, що забезпечує ШІ-агентам помітне зниження щомісячних рахунків і невелику перевагу в швидкості (latency).

Чому використання інструментів споживає токени

Кожен крок агента у взаємодії з Claude складається з трьох етапів, що базуються на токенах:

  • Визначення інструментів (Tool definitions) – назви та JSON-схеми, які ви надсилаєте як частину промпту.
  • Виклики інструментів (Tool calls) – структурований вихід, який генерує модель, коли вирішує викликати інструмент.
  • Результати інструментів (Tool results) – дані, які ваш код повертає моделі.

Перший і третій етапи — це вхідні токени (input tokens); другий етап — це вихідні токени (output tokens). Оскільки Claude стягує більше плати за вихідні токени, ніж за вхідні, скорочення вихідних токенів може знизити витрати, навіть якщо загальна кількість токенів залишиться приблизно такою ж.

Бета-заголовок

Anthropic анонсувала бета-функцію під назвою token-efficient tool use. Додавання HTTP-заголовка 

anthropic-beta: token-efficient-tools-2025-02-19

активує оптимізацію, але лише тоді, коли запит спрямований на Claude 3.7 Sonnet. Якщо заголовок надіслано до будь-якої іншої моделі, запит виконується без змін; заголовок ігнорується без помилок.

Оптимізація працює шляхом стиснення вихідних даних виклику інструментів моделі, скорочуючи приблизно 14 відсотків кількості вихідних токенів на цьому етапі.

Скільки ви насправді заощадите

Вихідні токени дорожчі за вхідні, тому скорочення на 14 відсотків у цій частині не призводить до пропорційного зниження загального рахунку. У типовому чотириетапному циклі агента визначення інструментів часто становлять основну частину витрат на вхідні дані, іноді перевищуючи половину використаних токенів. За таких умов 14-відсоткова економія на вихідних токенах зазвичай дає лише близько 3 відсотків зниження загальної вартості.

Тому заявлена цифра економії виглядає скромною, але ця зміна не потребує додаткових витрат і забезпечує невелике прискорення: менша кількість вихідних токенів означає, що модель завершує генерацію трохи швидше.

Більші заощадження потребують інших тактик

Якщо мета полягає в тому, щоб суттєво обмежити витрати, одного заголовка буде недостатньо. Три практичні важелі дозволяють досягти більших результатів:

  • Кешування промптів (Prompt caching) – збережіть визначення інструментів один раз і використовуйте кешовану версію під час наступних викликів. Читання з кешу тарифікується за нижчою ставкою, ніж нові вхідні токени.
  • Скорочення набору інструментів (Trim the tool set) – включайте лише ті інструменти, які є необхідними для поточного завдання. Кожен додатковий інструмент додає своє визначення до кожного запиту, збільшуючи витрати на вхідні дані.
  • Оптимізація результатів інструментів (Slim down tool results) – повертайте лише ті поля, які насправді потрібні моделі. Великі відповіді API, які повертаються назад у розмову, збільшують як кількість вхідних токенів, так і історію діалогу.

Застосування цих практик може значно зменшити загальні витрати, що набагато більше, ніж 3 відсотки, які ви отримаєте лише завдяки бета-функції.

На що звернути увагу

Anthropic не зазначила, коли — і чи взагалі — режим token-efficient tool use перейде зі статусу бета-функції до стандартної функції. Розробникам варто стежити за майбутніми анонсами, які можуть розширити підтримку за межі Claude 3.7 Sonnet або представити глибші методи стиснення токенів. Моніторинг розподілу токенів на кожен запит також допоможе оцінити реальний вплив у міру зміни моделей використання.

Підсумок

Бета-заголовок — це безкоштовне та просте налаштування, яке скорочує вихідні токени викликів інструментів приблизно на 14 відсотків, забезпечуючи помірне зниження рахунку та невелике прискорення. Для тих, хто вже бореться з високими витратами на агентів, цей заголовок є корисним доповненням, але справжня економія досягається завдяки кешуванню промптів, обмеженню кількості інструментів та поверненню стисліших результатів.

Джерело: https://dev.to/multigrid/token-efficient-tool-use-in-the-claude-api-3j0l