O assistente de codificação Genshijin reduziu as respostas de código em japonês em cerca de 28%, mas tornou as respostas em inglês 2,5% mais longas e, em ambos os casos, a fatura total da API aumentou.

Quem paga por código gerado por IA sente o impacto. O preço baseado em tokens transforma cada palavra extra em um prompt ou saída em dólares gastos. Uma ferramenta que encurta um idioma enquanto infla outro pode alterar drasticamente os cálculos de custo.

Como o teste foi realizado

O experimento abrangeu 192 prompts de engenharia de software em japonês e inglês. Os pesquisadores enviaram cada consulta ao modelo sob quatro configurações de resposta: uma linha de base simples e três variações que invocavam a habilidade Genshijin com diferentes conjuntos de instruções. A habilidade funciona anexando orientações extras ao prompt, o que consome tokens de entrada adicionais.

Eles mediram o comprimento da saída em tokens e somaram o custo dos tokens de entrada e saída para obter o custo total da API.

O que os números dizem

  • A saída em japonês caiu 27,5% quando o Genshijin estava ativo.
  • A saída em inglês cresceu 2,5% sob as mesmas condições.
  • Para ambos os idiomas, o gasto total com a API aumentou.

O aumento do custo vem das instruções extras que o Genshijin injeta. Essas instruções adicionam tokens antes mesmo de o modelo começar a gerar o código. Neste teste, a economia de tokens da saída mais curta em japonês nunca superou os tokens de entrada extras necessários.

Para atingir o ponto de equilíbrio, uma consulta em japonês precisaria reduzir cerca de 479 tokens de saída, enquanto uma consulta em inglês precisaria de uma redução de 435 tokens. A economia medida ficou abaixo desses limites.

Por que a diferença entre os idiomas?

O japonês frequentemente contém preenchimentos na forma de honoríficos e frases verbosas. Os ajustes de prompt do Genshijin visam esse preenchimento, removendo palavras desnecessárias e comprimindo a resposta. O inglês, por outro lado, tende a ser mais conciso por natureza, então os mesmos prompts podem, inadvertidamente, adicionar textos repetitivos (boilerplate) que prolongam a resposta.

O que os desenvolvedores devem ter em mente

  • Explicações longas em japonês: Se você solicita rotineiramente notas de design detalhadas ou comentários extensos em japonês, o Genshijin pode remover o excesso e diminuir a contagem de tokens da saída.
  • Consultas curtas: Para perguntas breves, uma instrução simples de “responda de forma concisa” supera a habilidade completa do Genshijin, gerando respostas mais curtas e custos menores.
  • Fluxos de trabalho focados em inglês: Espere saídas mais longas. Meça o impacto antes de assumir uma economia de custos.
  • Meça por conta própria: O uso de tokens varia conforme o estilo do prompt, a versão do modelo e a complexidade da tarefa. Realize seus próprios benchmarks em vez de confiar em porcentagens anunciadas.

A redução de 75% que algumas documentações anunciam refere-se apenas à contagem de tokens de saída, não à fatura total. Desenvolvedores que focam apenas nesse número podem se surpreender quando suas faturas permanecerem as mesmas ou até aumentarem.

O que observar a seguir

Conclusão: O Genshijin pode reduzir significativamente a saída de código em japonês, mas os tokens extras de prompt que ele adiciona anulam qualquer benefício de custo imediato — e pode até inflar as respostas em inglês. Use-o de forma seletiva e sempre verifique o impacto dos tokens em sua própria carga de trabalho.

Fonte: https://dev.to/anicca_301094325e/coding-assistant-tests-japanese-28-shorter-english-3-longer-4f83