सायबर एक्सप्लॉइट्समध्ये Kimi K3 अमेरिकन फ्रंटियर मॉडेल्सच्या मागे: डिस्टिलेशन गॅप (The Distillation Gap)

ब्रिटिश एआय सुरक्षा संस्था (UK AISI) आणि यू.एस. सेंटर फॉर एआय स्टँडर्ड्स अँड इनोव्हेशन (CAISI) यांच्या संयुक्त मूल्यमापनातून चिनी आणि अमेरिकन एआय मॉडेल्समधील 'ऑफेंसिव्ह सायबर ऑपरेशन्स'मध्ये (offensive cyber operations) मोठी क्षमता तफावत दिसून आली आहे. Moonshot AI चे Kimi K3 आशादायक असले तरी, जटिल सॉफ्टवेअर एक्सप्लॉइटेशन आणि नेटवर्क हल्ल्यांच्या कामात ते आघाडीच्या अमेरिकन फ्रंटियर मॉडेल्सच्या तुलनेत बराच मागे आहे.

ExploitBench: व्हल्नेरेबिलिटी रिसर्चमधील तफावत

एक्सप्लॉइट डेव्हलपमेंट कौशल्ये मोजण्यासाठी, संशोधकांनी ExploitBench चा वापर केला, जे कार्नेगी मेलन युनिव्हर्सिटीचे एक बेंचमार्क आहे. यामध्ये २०२३ नंतर Chrome च्या V8 इंजिनमध्ये आढळलेल्या ४१ व्हल्नेरेबिलिटीचा (vulnerabilities) समावेश आहे. निकालांनी कामगिरीतील मोठी दरी स्पष्ट केली. आघाडीच्या अमेरिकन मॉडेल्सनी सरासरी ७६.२% गुण मिळवले, तर Kimi K3 ने ३२.२% असे लक्षणीय कमी गुण मिळवले. जरी Kimi K3 ने चीनच्या GLM-5.2 (२४.४%) पेक्षा चांगली कामगिरी केली असली, तरी ते एक्सप्लॉइटेशनच्या सर्वोच्च स्तरापर्यंत पोहोचण्यात अपयशी ठरले: Arbitrary Code Execution (ACE).

याउलट, उच्च दर्जाच्या अमेरिकन मॉडेल्सनी चाचणी घेतलेल्या ४१ कामांपैकी २० कामांमध्ये यशस्वीरित्या ACE साध्य केले, ज्यामुळे त्यांना लक्ष्यित सिस्टम्सवर पूर्ण नियंत्रण मिळवता आले—अशी प्रगत क्षमता Kimi K3 मध्ये दिसून आली नाही.

"The Last Ones" द्वारे नेटवर्क हल्ल्यांचे सिम्युलेशन

या मूल्यमापनात "The Last Ones" (TLO) चा वापर करून मॉडेल्सची चाचणी देखील घेण्यात आली. हे चार सबनेट्समधील २० होस्ट्सना समाविष्ट असलेल्या ३२-टप्प्यांच्या जटिल कॉर्पोरेट नेटवर्क हल्ल्याचे सिम्युलेशन आहे. एजंटची बहु-टप्प्यांच्या घुसखोरीच्या मार्गांवर (multi-stage intrusion paths) हालचाल करण्याची क्षमता मोजण्यासाठी ही चाचणी डिझाइन केली आहे.

Kimi K3 ३२ पैकी सरासरी १७ टप्प्यांपर्यंत पोहोचले, जे मध्यम स्वरूपाची क्षमता दर्शवते. जरी याने दहापैकी एका प्रयत्नात पूर्ण अटॅक पाथ पूर्ण केला असला, तरी अमेरिकन मॉडेल्ससारखी सातत्यपूर्ण कामगिरी यात नव्हती, ज्यांनी सरासरी २८.५ टप्पे पूर्ण केले. या निष्कर्षांवरून असे सुचते की, Kimi K3 कमकुवत संरक्षण असलेल्या एंटरप्राइझ सिस्टम्सवर स्वायत्तपणे हल्ला करण्यास सक्षम असले तरी, जटिल आणि दीर्घ साखळी ऑपरेशन्स (long-chain operations) कार्यान्वित करण्यासाठी त्यामध्ये पाश्चात्य फ्रंटियर मॉडेल्ससारखी विश्वासार्हता नाही.

डिस्टिलेशन थिअरी (The Distillation Theory): ही तफावत का आहे?

एक महत्त्वाचा प्रश्न उरतो: जेव्हा चिनी मॉडेल्स सामान्य बेंचमार्क्सवर चांगली कामगिरी करतात, तेव्हा सायबर कामांमध्ये ती मागे का पडतात? अहवालानुसार याचे कारण "डिस्टिलेशन" (distillation) असू शकते—म्हणजेच फ्रंटियर मॉडेल्सच्या (उदा. Anthropic चे Claude) उच्च-गुणवत्तेच्या आउटपुट्सचा वापर ट्रेनिंग डेटा म्हणून करण्याची पद्धत.

जर Moonshot AI ने Kimi K3 ला प्रशिक्षित करण्यासाठी डिस्टिलेशनचा वापर केला असेल, तर त्यांनी बहुधा महत्त्वपूर्ण सायबर-ऑफेंसिव्ह डेटा गमावला असावा. आघाडीच्या अमेरिकन मॉडेल्समध्ये कडक 'सेफ्टी क्लासिफायर्स' (safety classifiers) वापरले जातात जे प्रगत ऑफेंसिव्ह क्वेरीज रोखतात. परिणामी, या मॉडेल्सच्या सार्वजनिक आउटपुट्सपासून तयार केलेला डेटासेट नैसर्गिकरित्या उच्च-स्तरीय एक्सप्लॉइटेशनसाठी आवश्यक असलेल्या ज्ञानापासून वंचित असेल. यामुळेच Kimi K3 सामान्य प्रोग्रामिंग आणि रिझनिंगमध्ये पाश्चात्य मॉडेल्सशी बरोबरी करू शकते, परंतु विशेष ऑफेंसिव्ह सायबर कामांमध्ये मात्र मोठ्या प्रमाणात अपयशी ठरते.

वाढत्या क्षमता आणि कायमस्वरूपी धोके

सध्याची तफावत असूनही, CAISI च्या टाइम-सीरीज विश्लेषणानुसार अमेरिकन आणि चिनी दोन्ही मॉडेल्स 'Elo-आधारित' वाढत्या मार्गावर आहेत. ओपन मॉडेल्समधील कामगिरीची तफावत २०२५ च्या सुरुवातीला सहा ते दहा महिने होती, ती आता कमी होऊन केवळ चार ते सात महिने झाली आहे. UK AISI चे चेतावणी आहे की, ही कमी होत जाणारी तफावत म्हणजे सुरक्षितता नव्हे; ओपन-वेट मॉडेल्सच्या वाढत्या क्षमता जागतिक सायबर सुरक्षा क्षेत्रात "गैरवापराचा कायमस्वरूपी आणि अपरिवर्तनीय धोका" दर्शवतात.

मुख्य निष्कर्ष

  • सायबर कामगिरीतील तफावत: Kimi K3 ने ExploitBench वर ३२.२% गुण मिळवले, जे आघाडीच्या अमेरिकन मॉडेल्सच्या ७६.२% सरासरीपेक्षा खूपच कमी आहेत, आणि ते Arbitrary Code Execution (ACE) साध्य करण्यात अपयशी ठरले.
  • नेटवर्क अटॅक क्षमता: TLO सिम्युलेशनमध्ये, Kimi K3 ने ३२-टप्प्यांच्या अटॅक पाथमध्ये सरासरी १७ टप्पे पूर्ण केले, ज्यावरून सिद्ध होते की ते असुरक्षित सिस्टम्सना लक्ष्य करू शकते, परंतु त्यामध्ये उच्च दर्जाच्या अमेरिकन मॉडेल्ससारखी विश्वासार्हता नाही.
  • डिस्टिलेशनची भूमिका: सायबर कौशल्यांमधील कमतरता ही डिस्टिलेशन पद्धतीमुळे असू शकते, कारण Claude सारख्या मॉडेल्सच्या सेन्सर्ड (censored) सार्वजनिक आउटपुट्सवर प्रशिक्षण घेतल्यामुळे प्रगत एक्सप्लॉइटेशनसाठी आवश्यक असलेला ऑफेंसिव्ह डेटा मिळत नाही.