El asistente de codificación Genshijin redujo las respuestas de código en japonés aproximadamente un 28 %, pero hizo que las respuestas en inglés fueran un 2,5 % más largas, y en ambos casos la factura total de la API aumentó.

Cualquiera que pague por código generado por IA siente el impacto. El modelo de precios basado en tokens convierte cada palabra adicional en un prompt o en una respuesta en dólares gastados. Una herramienta que acorta un idioma mientras infla otro puede alterar drásticamente los cálculos de costos.

Cómo se realizó la prueba

El experimento abarcó 192 prompts de ingeniería de software en japonés e inglés. Los investigadores enviaron cada consulta al modelo bajo cuatro configuraciones de respuesta: una línea base simple y tres variaciones que invocaban la habilidad de Genshijin con diferentes conjuntos de instrucciones. La habilidad funciona añadiendo orientación adicional al prompt, lo que consume tokens de entrada adicionales.

Midieron la longitud de la salida en tokens y sumaron el costo de los tokens de entrada y salida para obtener el costo total de la API.

Lo que dicen los números

  • La salida en japonés disminuyó un 27,5 % cuando Genshijin estaba activo.
  • La salida en inglés creció un 2,5 % bajo las mismas condiciones.
  • Para ambos idiomas, el gasto total de la API aumentó.

El aumento de costos proviene de las instrucciones adicionales que inyecta Genshijin. Esas instrucciones añaden tokens incluso antes de que el modelo comience a generar código. En esta prueba, el ahorro de tokens de la salida más corta en japonés nunca compensó los tokens de entrada adicionales requeridos.

Para alcanzar el punto de equilibrio, una consulta en japonés tendría que recortar unos 479 tokens de salida, mientras que una consulta en inglés necesitaría una reducción de 435 tokens. El ahorro medido no alcanzó esos umbrales.

¿A qué se debe la brecha lingüística?

El japonés suele incluir relleno en forma de honoríficos y frases verbosas. Los ajustes de prompt de Genshijin se dirigen a ese relleno, eliminando palabras innecesarias y comprimiendo la respuesta. El inglés, por el contrario, tiende a ser ya de por sí más conciso, por lo que los mismos prompts pueden añadir inadvertidamente texto de relleno (boilerplate) que alarga la respuesta.

Lo que los desarrolladores deben tener en cuenta

  • Explicaciones largas en japonés: Si solicita habitualmente notas de diseño detalladas o comentarios extensos en japonés, Genshijin puede recortar el relleno y reducir el recuento de tokens de la salida.
  • Consultas cortas: Para preguntas breves, una instrucción simple de "responde de forma concisa" es mejor que la habilidad completa de Genshijin, produciendo respuestas más cortas y costos menores.
  • Flujos de trabajo con predominio de inglés: Espere salidas más largas. Mida el impacto antes de asumir un ahorro de costos.
  • Mídalo usted mismo: El uso de tokens varía según el estilo del prompt, la versión del modelo y la complejidad de la tarea. Realice sus propias pruebas de rendimiento en lugar de confiar en los porcentajes publicitados.

La reducción del 75 % que promocionan algunas documentaciones se refiere únicamente al recuento de tokens de salida, no a la factura total. Los desarrolladores que se centren únicamente en esa cifra podrían sorprenderse cuando sus facturas se mantengan iguales o incluso aumenten.

Qué observar a continuación

Conclusión: Genshijin puede reducir significativamente la salida de código en japonés, pero los tokens de prompt adicionales que añade eliminan cualquier beneficio de costo inmediato, e incluso puede inflar las respuestas en inglés. Úselo de forma selectiva y verifique siempre el impacto de los tokens en su propia carga de trabajo.

Fuente: https://dev.to/anicca_301094325e/coding-assistant-tests-japanese-28-shorter-english-3-longer-4f83