Kimi K3 हे डिस्टिलेशनचे उत्पादन आहे का? तज्ज्ञांनी आरोपांना आव्हान दिले

कृत्रिम बुद्धिमत्तेभोवतीचे (AI) भू-राजकीय तणाव आता टोकाला पोहोचले असून, अमेरिकन अधिकाऱ्यांनी चिनी कंपन्यांवर औद्योगिक हेरगिरीचे आरोप केले आहेत. Moonshot AI ने त्यांच्या Kimi K3 मॉडेलला प्रशिक्षित करण्यासाठी Anthropic च्या Fable चा वापर केल्याचे आरोप होत असले तरी, आघाडीचे AI संशोधक असा युक्तिवाद करत आहेत की लार्ज लँग्वेज मॉडेल (LLM) विकासाचे तांत्रिक वास्तव यापेक्षा कितीतरी अधिक गुंतागुंतीचे आहे.

मॉडेल डिस्टिलेशन आणि बौद्धिक संपदा (IP) चोरीचे आरोप

व्हाईट हाऊसचे विज्ञान सल्लागार मायकल क्रॅटसिओस यांनी Kimi K3 च्या मागे असलेली कंपनी Moonshot वर गंभीर आरोप केले आहेत—जे सध्या उपलब्ध असलेले सर्वात मोठे ओपन-वेट (open-weight) LLM आहे. क्रॅटसिओस यांचा असा आरोप आहे की Moonshot ने अमेरिकेचे मालकीचे तंत्रज्ञान चोरण्यासाठी "मोठ्या प्रमाणावर, गुप्त औद्योगिक डिस्टिलेशन" केले आहे. या दाव्याला ट्रेझरी सचिव स्कॉट बेसेन्ट यांचेही समर्थन मिळाले असून, त्यांनी नमूद केले की चिनी मॉडेल्समध्ये अमेरिकन LLMs चे "वॉटरमार्क्स" (watermarks) दिसून येत आहेत.

डिस्टिलेशन ही अशी प्रक्रिया आहे जिथे एका मोठ्या, "फ्रंटियर" (frontier) मॉडेलला प्रश्न विचारून त्यातून त्याची तर्क करण्याची क्षमता आणि ज्ञान मिळवून एक लहान मॉडेल प्रशिक्षित केले जाते. यामध्ये अनेकदा सुपरवाइज्ड फाईन-ट्यूनिंग (SFT) समाविष्ट असते, जिथे एका लक्ष्यित मॉडेलचे प्रॉम्प्ट्स (prompts) आणि प्रतिसाद वापरून नवीन मॉडेल प्रशिक्षित केले जाते, ज्यामुळे कधीकधी नवीन मॉडेल मूळ मॉडेलची "वागणूक" किंवा विशिष्ट संवादात्मक शैली आत्मसात करते.

तज्ज्ञांना डिस्टिलेशन सिद्धांतावर शंका का आहे?

या दाव्यांचे राजकीय महत्त्व असूनही, AI संशोधन समुदाय संशयास्पद आहे. Laude Institute मधील संशोधक आणि Snorkel AI चे सह-संस्थापक ब्रॅडेन हँकॉक यांनी वेळेच्या एका महत्त्वाच्या मुद्द्याकडे लक्ष वेधले आहे: Anthropic चे Fable १ जुलैपासूनच सार्वजनिकरित्या उपलब्ध आहे. हँकॉक यांनी नमूद केले की, "तुम्ही इतका डेटा डिस्टिल करू शकत नाही, मॉडेल प्रशिक्षित करू शकत नाही आणि दोन आठवड्यांत ते प्रदर्शित करू शकत नाही."

शिवाय, Allen Institute for AI मधील नॅथन लॅम्बर्ट यांचा असा युक्तिवाद आहे की मॉडेल्स जसजशी 'फ्रंटियर' स्तराकडे सरकत आहेत, तसतसे SFT द्वारे डिस्टिलेशन कमी प्रभावी होत आहे. Kimi K3 मध्ये दिसण्याइतले कामगिरीचे स्तर गाठण्यासाठी, मॉडेलला बहुधा मोठ्या प्रमाणावर रिइन्फोर्समेंट लर्निंग (RL) रनची आवश्यकता असेल. या प्रक्रियेसाठी प्रतिसादांचे मूल्यांकन करण्यासाठी करोडो एजंट्सची आवश्यकता असते—जर हे एखाद्या स्पर्धकाच्या API द्वारे केले गेले, तर ते अत्यंत महागडे आणि संथ काम असेल.

हार्डवेअर आणि तांत्रिक कौशल्याची भूमिका

हा वाद केवळ सॉफ्टवेअरपुरता मर्यादित नाही. क्रॅटसिओस यांनी असाही आरोप केला की Moonshot ने प्रगत Nvidia हार्डवेअर मिळवण्यासाठी निर्यात नियंत्रणाचे (export controls) उल्लंघन केले, ज्यामध्ये विशेषतः Grace Blackwell 300 चिप्स आणि GB300-सज्ज सर्व्हरचा उल्लेख केला आहे. जरी या चिप्स चीनला निर्यात करण्यास बंदी असली, तरी जॉर्जटाउनमधील सॅम ब्रेस्निक यांसारख्या तज्ज्ञांचे असे मत आहे की काळाबाजार आणि जटिल जागतिक पुरवठा साखळीमुळे या हार्डवेअरच्या प्रवासावर लक्ष ठेवणे अत्यंत कठीण आहे.

तथापि, अनेक संशोधकांचा असा युक्तिवाद आहे की डिस्टिलेशनवर लक्ष केंद्रित केल्यामुळे चिनी AI टीम्सच्या तांत्रिक वैधतेला धक्का पोहोचतो. Carnegie Mellon University सारख्या प्रतिष्ठित संस्थांमधून आलेल्या संस्थापकांमुळे, तज्ज्ञांचे असे मत आहे की Moonshot केवळ "दुसऱ्यांच्या यशावर अवलंबून राहण्याऐवजी" मूळ संशोधन करण्यास सक्षम आहे.

जागतिक AI शर्यतीसाठी परिणाम

हा वाद राजकीय कथानक आणि तांत्रिक वास्तव यातील वाढती दरी अधोरेखित करतो. जसजसे उद्योग प्रगत रिइन्फोर्समेंट लर्निंग आणि प्रचंड कॉम्प्युट (compute) गरजांकडे वळत आहेत, तसतसे कंपन्या बुद्धिमत्ता "चोरत" आहेत की केवळ उत्कृष्ट अभियांत्रिकीद्वारे प्रगती करत आहेत, यावरील वाद आंतरराष्ट्रीय व्यापार धोरण आणि AI नियमन ठरवत राहतील.

मुख्य निष्कर्ष

  • तांत्रिक संशय: तज्ज्ञांचा असा युक्तिवाद आहे की Kimi K3 चे जलद प्रकाशन हे गणितीयदृष्ट्या अशक्य करते की ते केवळ Anthropic च्या Fable च्या डिस्टिलेशनद्वारे तयार करण्यात आले आहे.
  • फाईन-ट्यूनिंगच्या पलीकडे: जरी सुपरवाइज्ड फाईन-ट्यूनिंगद्वारे डिस्टिलेशन अस्तित्वात असले, तरी फ्रंटियर-स्तरीय कामगिरी गाठण्यासाठी बहुधा प्रगत रिइन्फोर्समेंट लर्निंगची आवश्यकता असते, जे सहजपणे "कॉपी" करता येत नाही.
  • हार्डवेअर संबंधी चिंता: बंदी घातलेल्या Nvidia Blackwell चिप्सचा बेकायदेशीर वापर केल्याचे आरोप चिनी AI प्रगतीवरील वादात भू-राजकीय गुंतागुंत वाढवतात.