Trợ lý lập trình Genshijin đã rút ngắn các phản hồi mã nguồn bằng tiếng Nhật khoảng 28%, nhưng lại khiến các câu trả lời bằng tiếng Anh dài thêm 2,5%, và trong cả hai trường hợp, tổng hóa đơn API đều tăng lên.

Bất kỳ ai đang trả tiền cho mã nguồn do AI tạo ra đều cảm nhận được tác động này. Cách tính giá dựa trên token biến mỗi từ thừa trong câu lệnh (prompt) hoặc đầu ra (output) thành số tiền thực tế phải chi trả. Một công cụ rút ngắn một ngôn ngữ trong khi lại làm tăng ngôn ngữ khác có thể làm thay đổi đáng kể các tính toán về chi phí.

Cách thức thực hiện thử nghiệm

Thử nghiệm bao gồm 192 câu lệnh kỹ thuật phần mềm bằng tiếng Nhật và tiếng Anh. Các nhà nghiên cứu đã gửi từng truy vấn đến mô hình theo bốn cấu hình phản hồi: một mốc cơ sở (baseline) thông thường và ba biến thể sử dụng kỹ năng Genshijin với các bộ hướng dẫn khác nhau. Kỹ năng này hoạt động bằng cách chèn thêm các chỉ dẫn bổ sung vào câu lệnh, điều này làm tiêu tốn thêm các token đầu vào.

Họ đã đo độ dài đầu ra bằng token và cộng thêm chi phí của các token đầu vào và đầu ra để tính tổng chi phí API.

Các con số cho thấy điều gì

  • Đầu ra tiếng Nhật giảm 27,5% khi kích hoạt Genshijin.
  • Đầu ra tiếng Anh tăng 2,5% trong cùng điều kiện.
  • Đối với cả hai ngôn ngữ, tổng chi tiêu API đều tăng.

Việc tăng chi phí đến từ các hướng dẫn bổ sung mà Genshijin chèn vào. Những hướng dẫn đó thêm các token ngay cả trước khi mô hình bắt đầu tạo mã. Trong thử nghiệm này, lượng token tiết kiệm được từ đầu ra tiếng Nhật ngắn hơn không bao giờ bù đắp được lượng token đầu vào bổ sung cần thiết.

Để đạt được điểm hòa vốn, một truy vấn tiếng Nhật cần phải cắt giảm khoảng 479 token đầu ra, trong khi một truy vấn tiếng Anh cần giảm 435 token. Mức tiết kiệm đo được đã không đạt tới các ngưỡng đó.

Tại sao lại có sự chênh lệch ngôn ngữ?

Tiếng Nhật thường có các phần thừa dưới dạng kính ngữ và cách diễn đạt rườm rà. Các tinh chỉnh câu lệnh của Genshijin nhắm vào phần thừa đó, loại bỏ các từ không cần thiết và nén phản hồi lại. Ngược lại, tiếng Anh vốn đã có xu hướng súc tích hơn, vì vậy cùng một câu lệnh có thể vô tình thêm vào các phần rập khuôn làm kéo dài câu trả lời.

Những điều nhà phát triển cần lưu ý

  • Giải thích tiếng Nhật dài: Nếu bạn thường xuyên yêu cầu các ghi chú thiết kế chi tiết hoặc các chú thích (comment) dài bằng tiếng Nhật, Genshijin có thể cắt tỉa những phần rườm rà và giảm số lượng token đầu ra.
  • Truy vấn ngắn: Đối với các câu hỏi ngắn, một chỉ dẫn đơn giản như “trả lời súc tích” sẽ hiệu quả hơn kỹ năng Genshijin đầy đủ, giúp mang lại các phản hồi ngắn hơn và chi phí thấp hơn.
  • Quy trình làm việc chủ yếu bằng tiếng Anh: Hãy chuẩn bị cho các đầu ra dài hơn. Hãy đo lường tác động trước khi giả định rằng sẽ tiết kiệm được chi phí.
  • Tự đo lường: Việc sử dụng token thay đổi tùy theo phong cách câu lệnh, phiên bản mô hình và độ phức tạp của tác vụ. Hãy tự chạy các bài kiểm tra chuẩn (benchmark) của riêng bạn thay vì tin vào các tỷ lệ phần trăm được quảng cáo.

Mức giảm 75% mà một số tài liệu quảng cáo chỉ đề cập đến số lượng token đầu ra, chứ không phải tổng hóa đơn. Những nhà phát triển chỉ tập trung vào con số đó có thể sẽ ngạc nhiên khi hóa đơn của họ vẫn giữ nguyên hoặc thậm chí tăng lên.

Điều cần theo dõi tiếp theo

Kết luận: Genshijin có thể thu nhỏ đáng kể đầu ra mã nguồn tiếng Nhật, nhưng các token câu lệnh bổ sung mà nó thêm vào sẽ xóa bỏ bất kỳ lợi ích chi phí tức thì nào—và nó thậm chí có thể làm tăng các phản hồi tiếng Anh. Hãy sử dụng nó một cách có chọn lọc và luôn xác minh tác động của token đối với khối lượng công việc của chính bạn.

Nguồn: https://dev.to/anicca_301094325e/coding-assistant-tests-japanese-28-shorter-english-3-longer-4f83