ผู้ช่วยเขียนโค้ด Genshijin ช่วยลดความยาวของคำตอบโค้ดภาษาญี่ปุ่นลงได้ประมาณ 28% แต่กลับทำให้คำตอบภาษาอังกฤษยาวขึ้น 2.5% และในทั้งสองกรณี ค่าใช้จ่าย API รวมกลับเพิ่มสูงขึ้น

ใครก็ตามที่ต้องจ่ายเงินสำหรับโค้ดที่สร้างโดย AI จะสัมผัสได้ถึงผลกระทบนี้ การคิดราคาตามจำนวน Token เปลี่ยนทุกคำที่เพิ่มขึ้นใน prompt หรือ output ให้กลายเป็นค่าใช้จ่ายในรูปแบบดอลลาร์ เครื่องมือที่ช่วยย่อภาษาหนึ่งแต่กลับทำให้ภาษาอื่นยาวขึ้นสามารถส่งผลต่อการคำนวณต้นทุนได้อย่างมหาศาล

วิธีการทดสอบ

การทดลองนี้ครอบคลุม prompt ด้านวิศวกรรมซอฟต์แวร์จำนวน 192 รายการ ทั้งในภาษาญี่ปุ่นและภาษาอังกฤษ นักวิจัยส่งแต่ละคำถามไปยังโมเดลภายใต้การตั้งค่าคำตอบ 4 รูปแบบ ได้แก่ แบบพื้นฐาน (baseline) และอีก 3 รูปแบบที่เรียกใช้ทักษะของ Genshijin ด้วยชุดคำสั่งที่แตกต่างกัน ทักษะนี้ทำงานโดยการเพิ่มคำแนะนำพิเศษเข้าไปใน prompt ซึ่งจะใช้ input tokens เพิ่มขึ้น

พวกเขาทำการวัดความยาวของ output เป็นจำนวน token และนำต้นทุนของทั้ง input และ output tokens มารวมกันเพื่อให้ได้ค่าใช้จ่าย API ทั้งหมด

ข้อมูลจากตัวเลขบอกอะไรเรา

  • output ภาษาญี่ปุ่นลดลง 27.5% เมื่อเปิดใช้งาน Genshijin
  • output ภาษาอังกฤษเพิ่มขึ้น 2.5% ภายใต้เงื่อนไขเดียวกัน
  • สำหรับทั้งสองภาษา ค่าใช้จ่าย API รวมเพิ่มสูงขึ้น

ต้นทุนที่เพิ่มขึ้นมาจากคำสั่งพิเศษที่ Genshijin ใส่เข้าไป คำสั่งเหล่านั้นจะเพิ่มจำนวน token ก่อนที่โมเดลจะเริ่มสร้างโค้ดเสียด้วยซ้ำ ในการทดสอบนี้ จำนวน token ที่ประหยัดได้จากการที่ output ภาษาญี่ปุ่นสั้นลงนั้น ไม่สามารถชดเชยจำนวน input tokens ที่ต้องใช้เพิ่มขึ้นได้เลย

เพื่อให้ถึงจุดคุ้มทุน คำถามภาษาญี่ปุ่นจำเป็นต้องลดจำนวน output tokens ลงให้ได้ประมาณ 479 tokens ในขณะที่คำถามภาษาอังกฤษต้องลดลงถึง 435 tokens ซึ่งผลการประหยัดที่วัดได้นั้นยังไม่ถึงเกณฑ์ดังกล่าว

ทำไมถึงมีความแตกต่างระหว่างภาษา?

ภาษาญี่ปุ่นมักจะมีส่วนขยายที่เกินความจำเป็นในรูปแบบของคำสุภาพและการใช้สำนวนที่เยิ่นเย้อ การปรับแต่ง prompt ของ Genshijin มุ่งเป้าไปที่ส่วนขยายเหล่านั้น โดยการตัดคำที่ไม่จำเป็นออกและบีบอัดคำตอบให้สั้นลง ในทางตรงกันข้าม ภาษาอังกฤษมักจะมีความกระชับอยู่แล้ว ดังนั้น prompt แบบเดียวกันอาจเป็นการเพิ่มข้อความส่วนเกิน (boilerplate) เข้าไปโดยไม่ตั้งใจ ซึ่งทำให้คำตอบยาวขึ้น

สิ่งที่นักพัฒนาควรคำนึงถึง

  • การอธิบายภาษาญี่ปุ่นที่ยาว: หากคุณมักจะขอโน้ตการออกแบบที่ละเอียดหรือคอมเมนต์ที่ยาวเหยียดเป็นภาษาญี่ปุ่น Genshijin สามารถช่วยตัดส่วนที่ไม่จำเป็นออกและลดจำนวน token ของ output ลงได้
  • คำถามสั้นๆ: สำหรับคำถามที่สั้นและกระชับ การใช้คำสั่งง่ายๆ อย่าง “answer concisely” (ตอบอย่างกระชับ) ให้ผลลัพธ์ที่ดีกว่าการใช้ทักษะ Genshijin แบบเต็มรูปแบบ เพราะจะได้คำตอบที่สั้นกว่าและต้นทุนต่ำกว่า
  • เวิร์กโฟลว์ที่เน้นภาษาอังกฤษ: เตรียมใจรับ output ที่ยาวขึ้น ควรวัดผลกระทบก่อนที่จะสรุปว่าช่วยประหยัดต้นทุนได้
  • วัดผลด้วยตัวเอง: การใช้งาน token จะแตกต่างกันไปตามสไตล์ของ prompt, เวอร์ชันของโมเดล และความซับซ้อนของงาน ควรทำการทดสอบ (benchmark) ด้วยตัวเอง แทนที่จะเชื่อตัวเลขเปอร์เซ็นต์ที่โฆษณาไว้

การลดลง 75% ที่เอกสารบางฉบับกล่าวอ้างนั้น หมายถึงจำนวน token ของ output เท่านั้น ไม่ใช่ค่าใช้จ่ายรวม นักพัฒนาที่โฟกัสเพียงแค่ตัวเลขนั้นอาจต้องประหลาดใจเมื่อพบว่าใบแจ้งหนี้ของพวกเขายังคงเท่าเดิมหรือแม้แต่เพิ่มสูงขึ้น

สิ่งที่ควรจับตามองต่อไป

สรุปประเด็นสำคัญ: Genshijin สามารถลดขนาด output ของโค้ดภาษาญี่ปุ่นได้อย่างมีนัยสำคัญ แต่จำนวน prompt tokens ที่เพิ่มเข้ามานั้นได้ลบเลือนผลประโยชน์ด้านต้นทุนที่ควรจะได้ในทันที และยังอาจทำให้คำตอบภาษาอังกฤษยาวขึ้นด้วย ควรเลือกใช้เฉพาะกรณีที่จำเป็น และตรวจสอบผลกระทบต่อจำนวน token ในเวิร์กโฟลว์ของคุณเสมอ

ที่มา: https://dev.to/anicca_301094325e/coding-assistant-tests-japanese-28-shorter-english-3-longer-4f83