Genshijin कोडिंग असिस्टेंट ने जापानी कोड रिस्पॉन्स को लगभग 28% कम कर दिया, लेकिन अंग्रेजी जवाबों को 2.5% लंबा कर दिया, और दोनों ही मामलों में कुल API बिल बढ़ गया।

AI-जनरेटेड कोड के लिए भुगतान करने वाले किसी भी व्यक्ति को इसका प्रभाव महसूस होता है। टोकन-आधारित मूल्य निर्धारण (pricing) प्रॉम्प्ट या आउटपुट में प्रत्येक अतिरिक्त शब्द को खर्च किए गए डॉलर में बदल देता है। एक ऐसा टूल जो एक भाषा को छोटा करता है जबकि दूसरी को बढ़ा देता है, लागत गणना (cost calculations) को नाटकीय रूप से बदल सकता है।

परीक्षण कैसे किया गया

इस प्रयोग में जापानी और अंग्रेजी में 192 सॉफ्टवेयर-इंजीनियरिंग प्रॉम्प्ट शामिल थे। शोधकर्ताओं ने प्रत्येक क्वेरी को चार रिप्लाई कॉन्फ़िगरेशन के तहत मॉडल को भेजा: एक साधारण बेसलाइन और तीन बदलाव (variations) जिन्होंने अलग-अलग निर्देश सेटों के साथ Genshijin स्किल का उपयोग किया। यह स्किल प्रॉम्प्ट में अतिरिक्त मार्गदर्शन जोड़कर काम करती है, जिससे अतिरिक्त इनपुट टोकन खर्च होते हैं।

उन्होंने आउटपुट की लंबाई को टोकन में मापा और कुल API लागत प्राप्त करने के लिए इनपुट और आउटपुट टोकन की लागत को जोड़ा।

आंकड़े क्या कहते हैं

  • जब Genshijin सक्रिय था, तो जापानी आउटपुट में 27.5% की गिरावट आई।
  • समान परिस्थितियों में अंग्रेजी आउटपुट में 2.5% की वृद्धि हुई।
  • दोनों भाषाओं के लिए, कुल API खर्च बढ़ गया।

लागत में वृद्धि Genshijin द्वारा डाले गए अतिरिक्त निर्देशों के कारण होती है। वे निर्देश मॉडल द्वारा कोड जेनरेट करना शुरू करने से पहले ही टोकन जोड़ देते हैं। इस परीक्षण में, छोटे जापानी आउटपुट से होने वाली टोकन की बचत कभी भी आवश्यक अतिरिक्त इनपुट टोकन की भरपाई नहीं कर पाई।

ब्रेक-ईवन (break even) होने के लिए, एक जापानी क्वेरी को लगभग 479 आउटपुट टोकन कम करने की आवश्यकता होगी, जबकि एक अंग्रेजी क्वेरी को 435-टोकन की कमी की आवश्यकता होगी। मापी गई बचत उन सीमाओं (thresholds) से कम रही।

भाषा का अंतर क्यों?

जापानी भाषा में अक्सर सम्मानजनक शब्दों (honorifics) और विस्तृत वाक्यांशों के रूप में अतिरिक्त शब्द (padding) होते हैं। Genshijin के प्रॉम्प्ट ट्वीक्स उसी पैडिंग को लक्षित करते हैं, अनावश्यक शब्दों को हटाते हैं और रिस्पॉन्स को कंप्रेस करते हैं। इसके विपरीत, अंग्रेजी पहले से ही अधिक संक्षिप्त होती है, इसलिए वही प्रॉम्प्ट अनजाने में ऐसा बॉयलरप्लेट (boilerplate) जोड़ सकते हैं जो उत्तर को लंबा कर देता है।

डेवलपर्स को क्या ध्यान में रखना चाहिए

  • लंबे जापानी स्पष्टीकरण: यदि आप नियमित रूप से जापानी में विस्तृत डिज़ाइन नोट्स या व्यापक टिप्पणियाँ (comments) मांगते हैं, तो Genshijin फालतू बातों को कम कर सकता है और आउटपुट के टोकन काउंट को घटा सकता है।
  • छोटे प्रश्न (Short queries): संक्षिप्त प्रश्नों के लिए, एक साधारण "संक्षेप में उत्तर दें" (answer concisely) निर्देश पूर्ण Genshijin स्किल से बेहतर है, जिससे छोटे जवाब और कम लागत मिलती है।
  • अंग्रेजी-प्रधान वर्कफ़्लो: लंबे आउटपुट की अपेक्षा करें। लागत में बचत मान लेने से पहले प्रभाव को मापें।
  • स्वयं मापें: टोकन का उपयोग प्रॉम्प्ट शैली, मॉडल संस्करण और कार्य की जटिलता के साथ बदलता रहता है। विज्ञापित प्रतिशतों पर भरोसा करने के बजाय अपने स्वयं के बेंचमार्क चलाएं।

कुछ दस्तावेज़ों में दावा की गई 75% की कमी केवल आउटपुट टोकन काउंट को संदर्भित करती है, कुल बिल को नहीं। जो डेवलपर्स केवल उस आंकड़े पर ध्यान केंद्रित करते हैं, वे तब हैरान हो सकते हैं जब उनके इनवॉइस (invoices) समान रहते हैं या बढ़ जाते हैं।

आगे क्या देखें

निष्कर्ष (Takeaway): Genshijin जापानी कोड आउटपुट को सार्थक रूप से छोटा कर सकता है, लेकिन इसके द्वारा जोड़े गए अतिरिक्त प्रॉम्प्ट टोकन किसी भी तत्काल लागत लाभ को खत्म कर देते हैं—और यह अंग्रेजी रिस्पॉन्स को बढ़ा भी सकता है। इसका चयनात्मक रूप से उपयोग करें, और हमेशा अपने वर्कलोड पर टोकन के प्रभाव को सत्यापित करें।

स्रोत: https://dev.to/anicca_301094325e/coding-assistant-tests-japanese-28-shorter-english-3-longer-4f83