Ассистент для написания кода Genshijin сократил объем ответов на японском языке примерно на 28%, но при этом увеличил ответы на английском на 2,5%, и в обоих случаях общий счет за API вырос.

Каждый, кто платит за код, созданный ИИ, ощущает это на себе. Оплата на основе токенов превращает каждое лишнее слово в промпте или ответе в потраченные доллары. Инструмент, который сокращает один язык и раздувает другой, может кардинально изменить расчеты стоимости.

How the test was run

Эксперимент охватил 192 промпта по программной инженерии на японском и английском языках. Исследователи отправляли каждый запрос модели в четырех конфигурациях ответа: базовый вариант и три вариации, использующие навык Genshijin с различными наборами инструкций. Этот навык работает путем добавления дополнительных указаний к промпту, что потребляет дополнительные входные токены.

Они измеряли длину ответа в токенах и суммировали стоимость входных и выходных токенов, чтобы получить общую стоимость API.

What the numbers say

  • Объем ответов на японском языке сократился на 27,5% при использовании Genshijin.
  • Объем ответов на английском языке вырос на 2,5% при тех же условиях.
  • Для обоих языков общие расходы на API выросли.

Рост стоимости вызван дополнительными инструкциями, которые внедряет Genshijin. Эти инструкции добавляют токены еще до того, как модель начнет генерировать код. В данном тесте экономия токенов за счет сокращения японских ответов так и не перекрыла затраты на дополнительные входные токены.

Чтобы выйти в ноль, японский запрос должен был бы сократить примерно на 479 выходных токенов, в то время как английскому запросу потребовалось бы сокращение на 435 токенов. Измеренная экономия оказалась ниже этих пороговых значений.

Why the language gap?

Японский язык часто содержит избыточность в виде вежливых форм и многословных фраз. Настройки промптов Genshijin нацелены именно на эту избыточность, удаляя ненужные слова и сжимая ответ. Английский язык, напротив, и так более лаконичен, поэтому те же промпты могут непреднамеренно добавлять шаблонный текст, который удлиняет ответ.

What developers should keep in mind

  • Длинные объяснения на японском: Если вы регулярно запрашиваете подробные заметки по проектированию или обширные комментарии на японском языке, Genshijin может убрать «воду» и снизить количество выходных токенов.
  • Короткие запросы: Для кратких вопросов простая инструкция «отвечай лаконично» эффективнее полноценного навыка Genshijin — она дает более короткие ответы и снижает затраты.
  • Рабочие процессы с упором на английский: Ожидайте более длинных ответов. Оцените влияние на стоимость, прежде чем делать выводы об экономии.
  • Проводите собственные замеры: Использование токенов варьируется в зависимости от стиля промпта, версии модели и сложности задачи. Проводите собственные бенчмарки, а не полагайтесь на рекламные проценты.

Сокращение на 75%, о котором заявляется в некоторых документах, относится только к количеству выходных токенов, а не к общему счету. Разработчики, которые смотрят только на этот показатель, могут быть удивлены, когда их счета останутся прежними или даже вырастут.

What to watch next

Вывод: Genshijin может существенно сократить объем японского кода, но дополнительные токены промпта перечеркивают любую мгновенную выгоду, а в случае с английским языком ответы могут даже удлиниться. Используйте его выборочно и всегда проверяйте влияние на количество токенов в ваших рабочих задачах.

Source: https://dev.to/anicca_301094325e/coding-assistant-tests-japanese-28-shorter-english-3-longer-4f83