עוזר התכנות Genshijin קיצר תגובות קוד ביפנית בכ-28%, אך הפך את התגובות באנגלית לארוכות יותר ב-2.5%, ובשני המקרים חשבון ה-API הכולל עלה.

כל מי שמשלם עבור קוד שנוצר על ידי AI מרגיש את ההשפעה. תמחור מבוסס טוקנים הופך כל מילה נוספת ב-prompt או בפלט להוצאה כספית. כלי שמקצר שפה אחת תוך שהוא מנפח אחרת יכול לשנות את חישובי העלות באופן דרמטי.

איך הניסוי נערך

הניסוי כלל 192 prompts של הנדסת תוכנה ביפנית ובאנגלית. החוקרים שלחו כל שאילתה למודל תחת ארבעה תצורות תגובה: baseline פשוט ושלוש וריאציות שהפעילו את ה-skill של Genshijin עם סטים שונים של הנחיות. ה-skill פועל על ידי הוספת הנחיות נוספות ל-prompt, מה שצורך טוקנים נוספים של קלט.

הם מדדו את אורך הפלט בטוקנים והוסיפו את עלות טוקני הקלט והפלט כדי לקבל את עלות ה-API הכוללת.

מה המספרים אומרים

  • הפלט ביפנית ירד ב-27.5% כאשר Genshijin היה פעיל.
  • הפלט באנגלית גדל ב-2.5% תחת אותם תנאים.
  • בשתי השפות, ההוצאה הכוללת על ה-API עלתה.

עליית העלות נובעת מההנחיות הנוספות ש-Genshijin מזריק. ההנחיות הללו מוסיפות טוקנים עוד לפני שהמודל מתחיל לייצר קוד. בניסוי זה, החיסכון בטוקנים מהפלט היפני הקצר יותר מעולם לא פיצה על טוקני הקלט הנוספים שנדרשו.

כדי להגיע לנקודת איזון, שאילתה ביפנית הייתה צריכה לקצץ כ-479 טוקנים מהפלט, בעוד ששאילתה באנגלית הייתה זקוקה להפחתה של 435 טוקנים. החיסכון שנמדד היה נמוך מסף זה.

למה קיים פער שפות?

יפנית כוללת לעיתים קרובות "ריפוד" (padding) בצורה של מילות כבוד וניסוחים מילוליים. התאמות ה-prompt של Genshijin מתמקדות בריפוד הזה, מסירות מילים מיותרות ודוחסות את התגובה. אנגלית, לעומת זאת, נוטה להיות תמציתית יותר ממילא, ולכן אותם prompts עלולים להוסיף בטעות boilerplate שמאריך את התשובה.

מה מפתחים צריכים לקחת בחשבון

  • הסברים ארוכים ביפנית: אם אתם מבקשים באופן קבוע הערות עיצוב מפורטות או הערות קוד נרחבות ביפנית, Genshijin יכול לקצץ בתוכן מיותר ולהוריד את מספר הטוקנים בפלט.
  • שאילתות קצרות: עבור שאלות קצרות, הנחיה פשוטה של "ענה בתמציתיות" עדיפה על ה-skill המלא של Genshijin, ומניבה תגובות קצרות יותר ועלויות נמוכות יותר.
  • סביבות עבודה מבוססות אנגלית: צפו לפלטים ארוכים יותר. מדדו את ההשפעה לפני שתניחו שמדובר בחיסכון בעלויות.
  • מדדו בעצמכם: השימוש בטוקנים משתנה בהתאם לסגנון ה-prompt, גרסת המודל ומורכבות המשימה. הריצו benchmarks משלכם במקום להסתמך על אחוזים שפורסמו.

הפחתה של 75% שמוזכרת בחלק מהתיעוד מתייחסת רק למספר טוקני ה-output, ולא לחשבון הכולל. מפתחים שמתמקדים רק בנתון הזה עלולים להיות מופתעים כשהחשבוניות שלהם נשארות ללא שינוי או אפילו עולות.

מה כדאי לעקוב אחריו בהמשך

שורה תחתונה: Genshijin יכול לצמצם משמעותית את פלט הקוד ביפנית, אך טוקני ה-prompt הנוספים שהוא מוסיף מבטלים כל תועלת מיידית בעלות — והוא אף עלול לנפח תגובות באנגלית. השתמשו בו באופן סלקטיבי, ותמיד ודאו את השפעת הטוקנים על עומס העבודה שלכם.

מקור: https://dev.to/anicca_301094325e/coding-assistant-tests-japanese-28-shorter-english-3-longer-4f83