साइबर एक्सप्लॉइट्स में Kimi K3 अमेरिकी फ्रंटियर मॉडल्स से पीछे: डिस्टिलेशन गैप

ब्रिटिश AI सिक्योरिटी इंस्टीट्यूट (UK AISI) और यू.एस. सेंटर फॉर AI स्टैंडर्ड्स एंड इनोवेशन (CAISI) के एक संयुक्त मूल्यांकन ने चीनी और अमेरिकी AI मॉडल्स के बीच आक्रामक साइबर ऑपरेशन्स (offensive cyber operations) में क्षमता का एक बड़ा अंतर उजागर किया है। हालांकि Moonshot AI का Kimi K3 आशाजनक है, लेकिन जटिल सॉफ्टवेयर एक्सप्लॉइटेशन और नेटवर्क हमलों के कार्यों में यह अग्रणी अमेरिकी फ्रंटियर मॉडल्स से काफी पीछे है।

ExploitBench: वल्नरेबिलिटी रिसर्च में अंतर

एक्सप्लॉइट डेवलपमेंट कौशल को मापने के लिए, शोधकर्ताओं ने ExploitBench का उपयोग किया, जो कार्नेगी मेलन यूनिवर्सिटी का एक बेंचमार्क है जिसमें 2023 के बाद Chrome के V8 इंजन में पाई गई 41 वल्नरेबिलिटीज़ (vulnerabilities) शामिल हैं। परिणामों ने प्रदर्शन के एक बड़े अंतर को उजागर किया। अग्रणी अमेरिकी मॉडल्स ने औसतन 76.2% स्कोर प्राप्त किया, जबकि Kimi K3 का स्कोर काफी कम 32.2% रहा। हालांकि Kimi K3 ने चीन के GLM-5.2 (24.4%) से बेहतर प्रदर्शन किया, लेकिन यह एक्सप्लॉइटेशन के उच्चतम स्तर: आर्बिट्रेरी कोड एक्जीक्यूशन (Arbitrary Code Execution - ACE) तक पहुँचने में विफल रहा।

इसके विपरीत, शीर्ष स्तर के अमेरिकी मॉडल्स ने परीक्षण किए गए 41 कार्यों में से 20 में सफलतापूर्वक ACE हासिल किया, जिससे लक्षित सिस्टम पर पूर्ण नियंत्रण मिल गया—यह परिष्कार (sophistication) का एक ऐसा स्तर है जिसे Kimi K3 दोहरा नहीं सका।

"The Last Ones" के माध्यम से नेटवर्क हमलों का अनुकरण

मूल्यांकन में "The Last Ones" (TLO) का उपयोग करके भी मॉडल्स का परीक्षण किया गया, जो चार सबनेट्स में 20 होस्ट्स वाले एक जटिल 32-चरणीय कॉर्पोरेट नेटवर्क हमले का सिमुलेशन है। यह परीक्षण मल्टी-स्टेज घुसपैठ पथों (multi-stage intrusion paths) को नेविगेट करने की एक एजेंट की क्षमता को मापने के लिए डिज़ाइन किया गया है।

Kimi K3 32 में से औसतन 17 चरणों तक पहुँच पाया, जो मध्यम स्तर की क्षमता को दर्शाता है। हालांकि इसने दस में से एक प्रयास में पूरा अटैक पाथ पूरा किया, लेकिन इसमें अमेरिकी मॉडल्स जैसी निरंतरता (consistency) की कमी थी, जिन्होंने औसतन 28.5 चरणों का प्रदर्शन किया। निष्कर्ष बताते हैं कि हालांकि Kimi K3 कमजोर रूप से सुरक्षित एंटरप्राइज सिस्टम पर स्वायत्त रूप से हमला करने में सक्षम है, लेकिन इसमें परिष्कृत, लंबी श्रृंखला वाले ऑपरेशन्स (long-chain operations) को निष्पादित करने के लिए पश्चिमी फ्रंटियर मॉडल्स जैसी विश्वसनीयता की कमी है।

डिस्टिलेशन थ्योरी: यह अंतर क्यों है?

एक महत्वपूर्ण प्रश्न बना हुआ है: चीनी मॉडल्स साइबर कार्यों में पीछे क्यों रह जाते हैं, भले ही वे सामान्य बेंचमार्क पर अच्छा प्रदर्शन करते हों? रिपोर्ट का सुझाव है कि यह "डिस्टिलेशन" (distillation) के कारण हो सकता है—फ्रंटियर मॉडल्स (जैसे Anthropic का Claude) के उच्च गुणवत्ता वाले आउटपुट का प्रशिक्षण डेटा के रूप में उपयोग करने की प्रथा।

यदि Moonshot AI ने Kimi K3 को प्रशिक्षित करने के लिए डिस्टिलेशन का उपयोग किया है, तो संभवतः उन्होंने महत्वपूर्ण साइबर-ऑफेंसिव डेटा को छोड़ दिया होगा। अग्रणी अमेरिकी मॉडल्स सख्त सेफ्टी क्लासिफायर (safety classifiers) का उपयोग करते हैं जो उन्नत आक्रामक प्रश्नों (offensive queries) को ब्लॉक कर देते हैं। परिणामस्वरूप, इन मॉडल्स के सार्वजनिक आउटपुट से बना डेटासेट स्वाभाविक रूप से उसी ज्ञान से रहित होगा जो उच्च-स्तरीय एक्सप्लॉइटेशन के लिए आवश्यक है। यह समझाता है कि कैसे Kimi K3 सामान्य प्रोग्रामिंग और रीजनिंग में पश्चिमी मॉडल्स का मुकाबला कर सकता है, जबकि विशेष आक्रामक साइबर कार्यों में काफी विफल रहता है।

बढ़ती क्षमताएं और निरंतर जोखिम

वर्तमान अंतर के बावजूद, CAISI का टाइम-सीरीज विश्लेषण दिखाता है कि अमेरिकी और चीनी दोनों मॉडल्स एक ऊपर की ओर बढ़ते Elo-आधारित प्रक्षेपवक्र (trajectory) पर हैं। ओपन मॉडल्स के लिए प्रदर्शन का अंतर 2025 की शुरुआत में छह से दस महीने से घटकर हाल ही में केवल चार से सात महीने रह गया है। UK AISI चेतावनी देता है कि इस घटते अंतर का मतलब सुरक्षा नहीं है; ओपन-वेट मॉडल्स की बढ़ती क्षमताएं वैश्विक साइबर सुरक्षा परिदृश्य में "दुरुपयोग का एक निरंतर और अपरिवर्तनीय जोखिम" पैदा करती हैं।

मुख्य बातें

• साइबर प्रदर्शन अंतराल: Kimi K3 ने ExploitBench पर 32.2% स्कोर किया, जो अग्रणी अमेरिकी मॉडल्स के 76.2% औसत से काफी पीछे है, और आर्बिट्रेरी कोड एक्जीक्यूशन (ACE) हासिल करने में विफल रहा।
• नेटवर्क अटैक क्षमता: TLO सिमुलेशन में, Kimi K3 ने 32-चरणीय अटैक पाथ में औसतन 17 चरणों का प्रदर्शन किया, जिससे यह साबित होता है कि यह कमजोर सिस्टम को निशाना बना सकता है लेकिन इसमें शीर्ष स्तर के अमेरिकी मॉडल्स जैसी विश्वसनीयता की कमी है।
• डिस्टिलेशन की भूमिका: साइबर कौशल की कमी डिस्टिलेशन प्रथाओं से उत्पन्न हो सकती है, क्योंकि Claude जैसे मॉडल्स के सेंसर किए गए सार्वजनिक आउटपुट पर प्रशिक्षण देने में उन्नत एक्सप्लॉइटेशन के लिए आवश्यक आक्रामक डेटा की कमी होती है।