Стоимость цикла агента: в 11 раз выше вашей оценки за один вызов

Большинство команд планируют бюджет на ИИ-агентов, ориентируясь на стоимость одного вызова. Они видят цену за миллион токенов и оценивают стоимость одного действия. Этот подход ошибочен.

Цикл агента не стоит столько же, сколько один вызов. Он стоит гораздо больше.

Причина проста. Каждый раз, когда агент делает вызов инструмента (tool call), он повторно отправляет весь контекст. Вы снова платите за системный промпт. Вы снова платите за каждое описание инструмента. Вы снова платите за всю историю переписки.

По мере продолжения цикла объем передаваемых данных растет. Стоимость растет квадратично. Вы платите не за один вызов. Вы платите за площадь под растущей кривой.

Я создал инструмент для измерения этого показателя. Это 40-строчный Python-скрипт под названием loop_forecast.py. Он работает офлайн, не требует ключей и считывает ваши JSONL-трассировки. Он покажет вам реальную стоимость еще до того, как вы задеплоите свой код.

В моем тестовом запуске результаты были очевидны:

  • Заявленная стоимость за один вызов: $0.20
  • Измеренная эффективная стоимость задачи: $2.26
  • Разрыв: 11.29x

Если ваш цикл короткий и простой, инструмент покажет небольшой разрыв. Если цикл тяжелый, он покажет колоссальное превышение. Вы можете использовать это как CI gate. Если разрыв в стоимости слишком велик, сборка будет отклонена.

Хватит планировать бюджет, основываясь на одном инференсе. Используйте собственные трассировки, чтобы узнать реальную цифру.

Основные возможности:

  • Не требует доступа к сети или API-ключей.
  • Использует tiktoken для точного подсчета.
  • Предоставляет метрику кривизны (k), чтобы показать, как масштабируются затраты.
  • Детерминированный вывод для надежного CI/CD.

Ошибка заключается в путанице с единицами измерения. Задача — это не один вызов. Задача — это N вызовов, каждый из которых облагается растущим «налогом».

Источник: https://dev.to/alex_spinov/agent-loop-cost-11x-your-per-call-quote-in-40-lines-5dfn

Опциональное сообщество для обучения: https://t.me/GyaanSetuAi