Налаштування «max effort» у Claude Opus 5 збільшує вартість звичайного запиту з $0,76 до $19,21, при цьому видаючи фактично такий самий функціональний результат. Додаткові витрати купують внутрішній аудит, а не краще рішення, і демонструють помітний прогрес лише у завданнях із низьким рівнем покриття тестами.

Що показало тестування

Експеримент порівнював стандартний рівень зусиль Claude Opus 5 із режимом «max effort» на двох типах промптів: повсякденних завданнях із програмування та свідомо складних проблемах.

  • Для типового завдання запуск із низьким рівнем зусиль тривав дві хвилини і коштував $0,76. Перемикання налаштування на «max» підняло рахунок до $19,21, проте показник відповідності вимогам (метрика, яку модель надає для оцінки того, наскільки добре вона виконала завдання) залишився ідентичним.
  • Транскрипт показує перехід від створення до редагування. Модель припинила генерувати новий код і почала шліфувати вже написане. Редагування переважали над написанням нового коду у співвідношенні 2,4 до 1. Виклики інструменту «read» зросли в 18 разів, а виклики інструменту «bash» — у 6 разів. На практиці модель перечитувала модулі, повторно запускала власні тести, виконувала лінтинг і навіть мутаційне тестування без додаткових запитів.

Регулятор «max effort» не впроваджує новий алгоритм; він просто збільшує бюджет, який може витратити модель. Щойно бюджет стає достатньо великим, модель перемикається в режим самоаудиту, шукаючи будь-яку можливість для вдосконалення, яку вона може собі дозволити.

Чому вартість різко зростає

Коли модель вирішує провести аудит, кожен додатковий виклик «read» або «bash» додається до рахунку, а ефект мультиплікатора швидко роздуває загальну вартість.

Режим аудиту є свідомим дизайнерським рішенням. Модель сприймає збільшений бюджет як дозвіл «шукати те, що варто виправити». Якщо нічого не здається таким, що потребує покращення, додаткові витрати не приносять жодної функціональної вигоди.

Коли підвищені зусилля мають сенс

Режим аудиту стає ефективним лише тоді, коли початковий результат залишає простір для вдосконалення. У проєкті на Go з покриттям тестами 0,73 перемикання зусиль на максимум підвищило покриття до 0,88.

Навпаки, завдання на Python, яке вже мало покриття 0,98, не змінилося після збільшення бюджету. Модель просто перевірила той самий високоякісний код, збільшуючи вартість без додавання цінності.

Потенційні недоліки

  • Вихід бюджету за межі — користувачі, звиклі до ціни при низькому рівні зусиль, можуть бути здивовані двадцятип'ятикратним збільшенням вартості за той самий результат.

Практичні поради для розробників

  • Використовуйте стандартний рівень зусиль для звичайних промптів. Ви отримаєте такий самий функціональний результат за частку ціни.
  • Залишайте «max effort» для коду, який не відповідає чіткому порогу якості — низькому покриттю тестами, наявності попереджень лінтера або іншим вимірюваним прогалинам.
  • Сприймайте цей параметр як окремий режим: як опціональний етап самоперевірки, а не як «регулятор швидкості» для отримання кращих відповідей.

Висновок

Перемикач «max-effort» у Claude Opus 5 обмінює гроші на внутрішню перевірку якості, а не на кращий код. Використовуйте його економно, лише тоді, коли ваші базові результати мають кількісно визначену прогалину, яку потрібно заповнити; в іншому випадку дешевий стандартний режим забезпечує той самий результат без зайвих витрат на режим аудиту.

Source: https://dev.to/adrianco_54/retort-thinking-level-results-what-opus-actually-does-with-the-extra-time-55f7

Community discussion: https://t.me/GyaanSetuAi