Кодинг-асистент Genshijin скоротив відповіді з кодом японською приблизно на 28%, але зробив англійські відповіді на 2,5% довшими, і в обох випадках загальний рахунок за API зріс.

Кожен, хто платить за код, згенерований ШІ, відчуває цей вплив. Ціноутворення на основі токенів перетворює кожне зайве слово в запиті або відповіді на витрачені долари. Інструмент, який скорочує одну мову, водночас роздуваючи іншу, може кардинально змінити розрахунки витрат.

Як проводився тест

Експеримент охоплював 192 запити з розробки програмного забезпечення японською та англійською мовами. Дослідники надсилали кожен запит моделі за чотирьох конфігурацій відповіді: звичайний базовий варіант і три варіації, які викликали навичку Genshijin з різними наборами інструкцій. Ця навичка працює шляхом додавання додаткових вказівок до запиту, що споживає додаткові вхідні токени.

Вони вимірювали довжину відповіді в токенах і додавали вартість вхідних і вихідних токенів, щоб отримати загальну вартість API.

Що кажуть цифри

  • Обсяг вихідних даних японською мовою впав на 27,5%, коли Genshijin був активним.
  • Обсяг вихідних даних англійською мовою зріс на 2,5% за тих самих умов.
  • Для обох мов загальні витрати на API зросли.

Збільшення вартості зумовлене додатковими інструкціями, які впроваджує Genshijin. Ці інструкції додають токени ще до того, як модель почне генерувати код. У цьому тесті економія токенів завдяки коротшим відповідям японською мовою так і не перекрила потребу в додаткових вхідних токенах.

Щоб вийти в нуль, японський запит мав би скоротити приблизно 479 вихідних токенів, тоді як англійському запиту знадобилося б скорочення на 435 токенів. Виміряна економія виявилася меншою за ці пороги.

Чому виникла мовна різниця?

Японська мова часто містить «наповнювачі» у формі ввічливих звертань та багатослівних фраз. Коригування запитів Genshijin спрямовані саме на це наповнення: вони видаляють зайві слова та стискають відповідь. Англійська мова, навпаки, зазвичай є більш лаконічною, тому ті самі запити можуть ненавмисно додавати шаблонний текст, що подовжує відповідь.

Що варто мати на увазі розробникам

  • Довгі пояснення японською: Якщо ви регулярно запитуєте детальні нотатки щодо проєктування або розлогі коментарі японською мовою, Genshijin може прибрати «воду» та зменшити кількість вихідних токенів.
  • Короткі запити: Для стислих запитань проста інструкція «відповідай лаконічно» працює краще за повну навичку Genshijin, забезпечуючи коротші відповіді та нижчі витрати.
  • Робочі процеси з перевагою англійської: Очікуйте на довший обсяг вихідних даних. Оцініть вплив, перш ніж робити висновки про економію.
  • Вимірюйте самостійно: Використання токенів залежить від стилю запиту, версії моделі та складності завдання. Проводьте власні бенчмарки, а не покладайтеся на заявлені відсотки.

Скорочення на 75%, про яке заявляється в деякій документації, стосується лише кількості вихідних токенів, а не загального рахунку. Розробники, які зосереджуються лише на цьому показнику, можуть бути здивовані, коли їхні рахунки залишаться незмінними або навіть зростуть.

На що звернути увагу далі

Висновок: Genshijin може суттєво скоротити обсяг коду японською мовою, але додаткові токени запиту, які він додає, нівелюють будь-яку миттєву економію коштів — і він навіть може збільшити англомовні відповіді. Використовуйте його вибірково та завжди перевіряйте вплив на кількість токенів у вашому власному робочому навантаженні.

Джерело: https://dev.to/anicca_301094325e/coding-assistant-tests-japanese-28-shorter-english-3-longer-4f83