શું Kimi K3 ડિસ્ટિલેશનનું પરિણામ છે? નિષ્ણાતો આ આરોપોને પડકાર ફેંકે છે

આર્ટિફિશિયલ ઇન્ટેલિજન્સ (AI) ને લઈને ચાલી રહેલી ભૌગોલિક રાજકીય તણાવ અત્યંત વકર્યો છે, કારણ કે યુએસ અધિકારીઓએ ચીની કંપનીઓ પર ઔદ્યોગિક જાસૂસીના આરોપો લગાવ્યા છે. જોકે, આરોપો સૂચવે છે કે Moonshot AI એ તેના Kimi K3 મોડેલને તાલીમ આપવા માટે Anthropic ના Fable નો ઉપયોગ કર્યો છે, પરંતુ અગ્રણી AI સંશોધકો દલીલ કરે છે કે લાર્જ લેંગ્વેજ મોડેલ (LLM) ના વિકાસની તકનીકી વાસ્તવિકતા કંઈક વધુ જટિલ વાર્તા કહે છે.

મોડેલ ડિસ્ટિલેશન અને IP ચોરીના આરોપો

વ્હાઇટ હાઉસના સાયન્સ એડવાઈઝર માઈકલ ક્રાત્સિયોસે Kimi K3 પાછળની કંપની Moonshot સામે ગંભીર આરોપો લગાવ્યા છે—જે હાલમાં ઉપલબ્ધ સૌથી મોટું ઓપન-વેઇટ LLM છે. ક્રાત્સિયોસનો આરોપ છે કે Moonshot એ અમેરિકાની માલિકીની ટેકનોલોજી ચોરવા માટે "મોટા પાયે, ગુપ્ત ઔદ્યોગિક ડિસ્ટિલેશન" કર્યું છે. આ દાવાને ટ્રેઝરી સેક્રેટરી સ્કોટ બેસેન્ટનો ટેકો મળ્યો છે, જેમણે નોંધ્યું હતું કે ચીની મોડેલોમાં યુએસ LLMs ના "વોટરમાર્ક" જોવા મળી રહ્યા છે.

ડિસ્ટિલેશન એ એક એવી પ્રક્રિયા છે જેમાં મોટા, "ફ્રન્ટિયર" મોડેલ પાસેથી તેની તર્કશક્તિ અને જ્ઞાન મેળવવા માટે તેને ક્વેરી કરીને એક નાનું મોડેલ તાલીમબદ્ધ કરવામાં આવે છે. આમાં ઘણીવાર સુપરવાઇઝ્ડ ફાઇન-ટ્યુનિંગ (SFT) સામેલ હોય છે, જ્યાં લક્ષ્ય મોડેલના પ્રોમ્પ્ટ્સ અને પ્રતિસાદોનો ઉપયોગ નવા મોડેલને તાલીમ આપવા માટે કરવામાં આવે છે, જેના કારણે ક્યારેક નવું મોડેલ મૂળ મોડેલના "વર્તન" અથવા ચોક્કસ વાતચીતની શૈલી અપનાવી લે છે.

નિષ્ણાતો ડિસ્ટિલેશન સિદ્ધાંત પર શંકા કેમ કરે છે

આ દાવાઓના રાજકીય મહત્વ હોવા છતાં, AI સંશોધન સમુદાય શંકાશીલ છે. Laude Institute ના સંશોધક અને Snorkel AI ના સહ-સ્થાપક બ્રેડેન હેનકોકે સમયરેખાની એક મોટી સમસ્યા તરફ ધ્યાન દોર્યું છે: Anthropic નું Fable માત્ર 1 જુલાઈથી જ જાહેરમાં ઉપલબ્ધ છે. હેનકોકે નોંધ્યું હતું કે, "તમે આટલો બધો ડેટા ડિસ્ટિલ કરી શકતા નથી, મોડેલને તાલીમ આપી શકતા નથી અને બે અઠવાડિયામાં તેને રિલીઝ કરી શકતા નથી."

વધુમાં, Allen Institute for AI ના નેથન લેમ્બર્ટ દલીલ કરે છે કે જેમ જેમ મોડેલો ફ્રન્ટિયર તરફ આગળ વધી રહ્યા છે તેમ તેમ SFT દ્વારા ડિસ્ટિલેશન ઓછું અસરકારક બની રહ્યું છે. Kimi K3 માં જોવા મળતું પ્રદર્શન હાંસલ કરવા માટે, મોડેલને કદાચ મોટા પાયે રિઇન્ફોર્સમેન્ટ લર્નિંગ (RL) રન requer (જરૂરિયાત) હશે. આ પ્રક્રિયામાં પ્રતિસાદોને ગ્રેડ કરવા માટે કરોડો એજન્ટોની જરૂર પડે છે—જો સ્પર્ધકની API દ્વારા કરવામાં આવે તો આ કાર્ય અત્યંત ખર્ચાળ અને ધીમું બની જાય.

હાર્ડવેર અને તકનીકી કુશળતાની ભૂમિકા

આ વિવાદ માત્ર સોફ્ટવેર પૂરતો મર્યાદિત નથી. ક્રાત્સિયોસે એવો પણ આરોપ લગાવ્યો હતો કે Moonshot એ અદ્યતન Nvidia હાર્ડવેર મેળવવા માટે નિકાસ નિયંત્રણોનું ઉલ્લંઘન કર્યું છે, જેમાં ખાસ કરીને Grace Blackwell 300 ચિપ્સ અને GB300-સજ્જ સર્વર્સનો ઉલ્લેખ કર્યો છે. જોકે આ ચિપ્સ ચીન માટે નિકાસ કરવા પર પ્રતિબંધ છે, તેમ છતાં જ્યોર્જટાઉનના સેમ બ્રેસનિક જેવા નિષ્ણાતો સૂચવે છે કે કાળાબજાર અને જટિલ વૈશ્વિક સપ્લાય ચેઇનને કારણે આ હાર્ડવેરના પ્રવાહ પર દેખરેખ રાખવી અત્યંત મુશ્કેલ છે.

જોકે, ઘણા સંશોધકો દલીલ કરે છે કે ડિસ્ટિલેશન પર ધ્યાન કેન્દ્રિત કરવાથી ચીની AI ટીમોની તકનીકી વિશ્વસનીયતાને નુકસાન થાય છે. Carnegie Mellon University જેવી પ્રતિષ્ઠિત સંસ્થાઓના સ્થાપકો હોવાથી, નિષ્ણાતો સૂચવે છે કે Moonshot માત્ર "બીજાના ખ્યાતિ પર સવારી કરવા" ને બદલે મૂળ સંશોધન કરવા માટે સક્ષમ છે.

વૈશ્વિક AI સ્પર્ધા માટે અસરો

આ વિવાદ રાજકીય વિગતો અને તકનીકી વાસ્તવિકતા વચ્ચે વધતા અંતરને પ્રકાશિત કરે છે. જેમ જેમ ઉદ્યોગ અત્યાધુનિક રિઇન્ફોર્સમેન્ટ લર્નિંગ અને વિશાળ કમ્પ્યુટ જરૂરિયાતો તરફ આગળ વધી રહ્યો છે, તેમ તેમ કંપનીઓ બુદ્ધિ "ચોરી" કરી રહી છે કે માત્ર શ્રેષ્ઠ એન્જિનિયરિંગ દ્વારા આગળ વધી રહી છે તે અંગેની ચર્ચા આંતરરાષ્ટ્રીય વ્યાપાર નીતિ અને AI નિયમનકારીઓને ઘડવાનું ચાલુ રાખશે.

મુખ્ય મુદ્દાઓ

• તકનીકી શંકા: નિષ્ણાતો દલીલ કરે છે કે Kimi K3 ના ઝડપી રિલીઝને કારણે ગાણિતિક રીતે એ અસંભવિત છે કે તે માત્ર Anthropic ના Fable ના ડિસ્ટિલેશન દ્વારા બનાવવામાં આવ્યું હતું.
• ફાઇન-ટ્યુનિંગથી આગળ: જોકે સુપરવાઇઝ્ડ ફાઇન-ટ્યુનિંગ દ્વારા ડિસ્ટિલેશન અસ્તિત્વમાં છે, પરંતુ ફ્રન્ટિયર-સ્તરનું પ્રદર્શન હાંસલ કરવા માટે કદાચ અદ્યતન રિઇન્ફોર્સમેન્ટ લર્નિંગની જરૂર પડે છે જેને સરળતાથી "કોપી" કરી શકાતું નથી.
• હાર્ડવેરની ચિંતાઓ: પ્રતિબંધિત Nvidia Blackwell ચિપ્સના ગેરકાયદેસર ઉપયોગના આરોપો ચીની AI પ્રગતિ અંગેની ચર્ચામાં ભૌગોલિક રાજકીય જટિલતાનો એક સ્તર ઉમેરે છે.