Asisten pengodean Genshijin memangkas respons kode bahasa Jepang sekitar 28%, tetapi membuat balasan bahasa Inggris 2,5% lebih panjang, dan dalam kedua kasus tersebut, total tagihan API justru meningkat.

Siapa pun yang membayar untuk kode yang dihasilkan AI akan merasakan dampaknya. Penetapan harga berbasis token mengubah setiap kata tambahan dalam prompt atau output menjadi pengeluaran dolar. Alat yang memperpendek satu bahasa sambil memperpanjang bahasa lain dapat mengubah kalkulasi biaya secara drastis.

Bagaimana pengujian dilakukan

Eksperimen ini mencakup 192 prompt rekayasa perangkat lunak dalam bahasa Jepang dan Inggris. Para peneliti mengirimkan setiap kueri ke model di bawah empat konfigurasi balasan: baseline biasa dan tiga variasi yang memanggil skill Genshijin dengan set instruksi yang berbeda. Skill tersebut bekerja dengan menambahkan panduan ekstra ke dalam prompt, yang mengonsumsi token input tambahan.

Mereka mengukur panjang output dalam token dan menambahkan biaya token input serta output untuk mendapatkan total biaya API.

Apa yang dikatakan angka-angka tersebut

  • Output bahasa Jepang turun sebesar 27,5% saat Genshijin aktif.
  • Output bahasa Inggris tumbuh sebesar 2,5% dalam kondisi yang sama.
  • Untuk kedua bahasa tersebut, total pengeluaran API meningkat.

Peningkatan biaya berasal dari instruksi ekstra yang disuntikkan oleh Genshijin. Instruksi tersebut menambah token bahkan sebelum model mulai menghasilkan kode. Dalam pengujian ini, penghematan token dari output bahasa Jepang yang lebih pendek tidak pernah mampu menutupi tambahan token input yang diperlukan.

Untuk mencapai titik impas, sebuah kueri bahasa Jepang perlu memangkas sekitar 479 token output, sementara kueri bahasa Inggris memerlukan pengurangan sebesar 435 token. Penghematan yang terukur tidak mencapai ambang batas tersebut.

Mengapa ada kesenjangan bahasa?

Bahasa Jepang sering kali mengandung padding dalam bentuk honorifik dan frasa yang bertele-tele. Penyesuaian prompt Genshijin menargetkan padding tersebut, menghapus kata-kata yang tidak perlu dan mengompresi respons. Sebaliknya, bahasa Inggris cenderung sudah lebih ringkas, sehingga prompt yang sama secara tidak sengaja dapat menambahkan boilerplate yang memperpanjang jawaban.

Apa yang harus diperhatikan oleh pengembang

  • Penjelasan bahasa Jepang yang panjang: Jika Anda rutin meminta catatan desain yang mendetail atau komentar luas dalam bahasa Jepang, Genshijin dapat memangkas basa-basi dan menurunkan jumlah token output.
  • Kueri singkat: Untuk pertanyaan singkat, instruksi sederhana seperti “jawab dengan ringkas” lebih baik daripada menggunakan skill Genshijin secara penuh, karena menghasilkan balasan yang lebih pendek dan biaya yang lebih rendah.
  • Alur kerja yang didominasi bahasa Inggris: Harapkan output yang lebih panjang. Ukur dampaknya sebelum berasumsi bahwa ini akan menghemat biaya.
  • Ukur sendiri: Penggunaan token bervariasi tergantung pada gaya prompt, versi model, dan kompleksitas tugas. Jalankan benchmark Anda sendiri daripada mengandalkan persentase yang diiklankan.

Pengurangan 75% yang dibanggakan dalam beberapa dokumentasi hanya mengacu pada jumlah token output, bukan total tagihan. Pengembang yang hanya berfokus pada angka tersebut mungkin akan terkejut ketika tagihan mereka tetap sama atau bahkan meningkat.

Apa yang perlu diperhatikan selanjutnya

Kesimpulan: Genshijin dapat memperkecil output kode bahasa Jepang secara signifikan, tetapi tambahan token prompt yang disuntikkannya menghapus manfaat biaya langsung apa pun—bahkan dapat memperpanjang respons bahasa Inggris. Gunakan secara selektif, dan selalu verifikasi dampak token pada beban kerja Anda sendiri.

Sumber: https://dev.to/anicca_301094325e/coding-assistant-tests-japanese-28-shorter-english-3-longer-4f83