Kimi K3 तीन भारी-भरकम प्रॉम्प्ट्स—एक प्रायिकता (probability) समस्या, एक पुली-जड़त्व (pulley-inertia) परिदृश्य, और एक जटिल Python बैकपैक स्क्रिप्ट—पर संघर्ष करता रह गया, जबकि GPT-5.6-SOL ने सफलतापूर्वक उन्हें पूरा कर लिया। यह अंतर दर्शाता है कि जब आपको ऐसे मॉडल की आवश्यकता हो जो बिना रुके बहु-चरणीय गणित, भौतिकी और कोड के माध्यम से तर्क (reasoning) कर सके, तो टोकन बजटिंग और लेटेंसी (latency) क्यों महत्वपूर्ण हैं।

बेंचमार्क क्यों महत्वपूर्ण है

डेवलपर्स और शोधकर्ता अक्सर LLM का चुनाव हेडलाइन स्कोर के आधार पर करते हैं, न कि इस आधार पर कि वह वास्तविक दुनिया के दबाव में कैसा व्यवहार करता है। इस तुलनात्मक परीक्षण में, प्रत्येक मॉडल ने ऐसी समस्या का सामना किया जिसमें तर्क की एक लंबी श्रृंखला की आवश्यकता थी। GPT-5.6-SOL ने तीनों क्षेत्रों में पूर्ण और सही उत्तर दिए; जबकि Kimi K3 ने कुछ भी उपयोगी परिणाम देने से पहले ही अपना टोकन बजट समाप्त कर दिया या टाइम-आउट हो गया।

परीक्षण सेटअप

  • Math – एक प्रायिकता प्रश्न जिसमें पैटर्न-ओवरलैप प्रायिकता और प्रत्याशा (expectation) एवं विचरण (variance - second moments) दोनों की गणना करना आवश्यक था।
  • Physics – एक पुली के जड़त्व (inertia) और स्प्रिंग-तनाव वाले केबल के ढीला होने पर होने वाली ऊर्जा हानि का मॉडलिंग करना।
  • Programming – जटिल निर्भरताओं (dependencies) और टाई-ब्रेक नियमों वाले बैकपैक-पैकिंग समस्या के लिए एक Python समाधान लिखना, और फिर छह स्वतंत्र टेस्ट केस के विरुद्ध आउटपुट की जाँच करना।

आंकड़े क्या कहते हैं

GPT-5.6-SOL

  • Math – अपेक्षित मान (expected value) और विचरण (variance) को स्पष्ट रूप से प्रस्तुत करते हुए एक पूर्ण और सही समाधान दिया।
  • Physics – जड़त्व मॉडल को सही ढंग से बनाया और ऊर्जा हानि का हिसाब रखा, जो विश्लेषणात्मक उत्तर (analytical answer) से मेल खाता था।
  • Programming – ऐसा कोड जनरेट किया जो कंपाइल हुआ, चला और सभी छह बाहरी जाँचों में सफल रहा। एक आंतरिक टेस्ट एसर्शन (assertion) गलत था, जो हमें याद दिलाता है कि मॉडल द्वारा जनरेट किए गए टेस्ट अचूक नहीं होते हैं।

Kimi K3

  • Math – अपनी टोकन सीमा (पहले 6,500 टोकन पर, फिर 10,000 टोकन पर) तक पहुँच गया और बिना कोई उत्तर दिखाए रुक गया।
  • Physics – कोई भी दृश्य आउटपुट दिखने से पहले ही टोकन समाप्त हो गए।
  • Programming – 245 सेकंड के बाद टाइम-आउट हो गया, जिससे मूल्यांकन के लिए कुछ भी प्राप्त नहीं हुआ।

रीजनिंग दक्षता बनाम कच्ची शक्ति (raw power)

प्रोडक्शन पाइपलाइन बनाने वाले किसी भी व्यक्ति के लिए इसका निहितार्थ स्पष्ट है: जो मॉडल आउटपुट दिए बिना टोकन खर्च कर देता है, वह डाउनस्ट्रीम प्रक्रियाओं को रोक सकता है, लागत बढ़ा सकता है और उपयोगकर्ताओं को निराश कर सकता है।

विश्वसनीयता और "परफेक्ट" कोड की छिपी हुई लागत

यहाँ तक कि विजेता मॉडल से भी चूक हुई: GPT-5.6-SOL के स्व-जनरेटेड टेस्ट केस में एक दोषपूर्ण एसर्शन (assertion) था। यह दर्शाता है कि मॉडल द्वारा निर्मित सत्यापन (validation), मानवीय समीक्षा का विकल्प नहीं है। जब कोई मॉडल कोड लिखता है, तो आपको अभी भी स्वतंत्र जाँच करने की आवश्यकता होती है।

आगे क्या देखें

  • Finish reason tracking – लॉग करें कि क्या कोई प्रतिक्रिया टोकन सीमा तक पहुँचने, टाइम-आउट होने या स्वाभाविक रूप से रुकने के कारण समाप्त होती है।
  • Reasoning token count – तुलना करें कि प्रत्येक मॉडल अंतिम आउटपुट की तुलना में आंतरिक विचार-विमर्श (internal deliberation) पर कितने टोकन खर्च करता है।
  • Latency monitoring – प्रत्येक चरण के लिए वॉल-क्लॉक समय (wall-clock time) मापें; जो मॉडल प्रति क्वेरी मिनटों का समय लेता है, वह इंटरैक्टिव ऐप्स के लिए अनुपयुक्त हो सकता है।

डेवलपर्स को इन मेट्रिक्स को केवल अंतिम उत्तर के रूप में नहीं, बल्कि प्राथमिक संकेतों (first-class signals) के रूप में देखना चाहिए।

निष्कर्ष

पूर्णता (completeness) के मामले में GPT-5.6-SOL, Kimi K3 से बेहतर प्रदर्शन करता है। यह परीक्षण हमें यह भी याद दिलाता है कि जो मॉडल "सही करता है" वह भी त्रुटिपूर्ण आंतरिक जाँच उत्पन्न कर सकता है, इसलिए मानवीय निरीक्षण (human oversight) आवश्यक बना हुआ है। फिनिश कारणों (finish reasons), टोकन उपयोग और लेटेंसी को ट्रैक करने से आपको बिना किसी साइलेंट टाइम-आउट में फंसे काम के लिए सही टूल चुनने में मदद मिलेगी।