Kimi K3 ഒരു ഡിസ്റ്റിലേഷൻ (Distillation) ഉൽപ്പന്നമാണോ? ആരോപണങ്ങളെ വെല്ലുവിളിച്ചുകൊണ്ട് വിദഗ്ധർ

ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസിനെ (AI) ചുറ്റിപ്പറ്റിയുള്ള ഭൗമരാഷ്ട്രീയ സംഘർഷങ്ങൾ കടുപ്പമേറിയ ഘട്ടത്തിലെത്തിയിരിക്കുകയാണ്; ചൈനീസ് കമ്പനികൾ വ്യവസായ ചാരവൃത്തിയിൽ ഏർപ്പെടുന്നുണ്ടെന്ന് യുഎസ് ഉദ്യോഗസ്ഥർ ആരോപിക്കുന്നു. Moonshot AI തങ്ങളുടെ Kimi K3 മോഡൽ പരിശീലിപ്പിക്കാൻ Anthropic-ന്റെ Fable ഉപയോഗിച്ചു എന്ന ആരോപണങ്ങൾ നിലനിൽക്കുന്നുണ്ടെങ്കിലും, ലാർജ് ലാംഗ്വേജ് മോഡൽ (LLM) വികസനത്തിന്റെ സാങ്കേതിക യാഥാർത്ഥ്യം ഇതിലും സങ്കീർണ്ണമായ ഒരു കഥയാണ് പറയുന്നത് എന്ന് പ്രമുഖ AI ഗവേഷകർ വാദിക്കുന്നു.

മോഡൽ ഡിസ്റ്റിലേഷനും (Model Distillation) ബൗദ്ധിക സ്വത്തവകാശ (IP) മോഷണവും സംബന്ധിച്ച ആരോപണങ്ങൾ

നിലവിൽ ലഭ്യമായതിൽ വെച്ച് ഏറ്റവും വലിയ ഓപ്പൺ-വെയിറ്റ് (open-weight) LLM ആയ Kimi K3-ന്റെ പിന്നിലെ കമ്പനിയായ Moonshot-നെതിരെ വൈറ്റ് ഹൗസ് സയൻസ് അഡൈ്വസർ മൈക്കൽ ക്രാറ്റ്‌സിയോസ് ഗുരുതരമായ ആരോപണങ്ങൾ ഉന്നയിച്ചിട്ടുണ്ട്. അമേരിക്കയുടെ ഉടമസ്ഥതയിലുള്ള സാങ്കേതികവിദ്യ മോഷ്ടിക്കുന്നതിനായി Moonshot "വലിയ തോതിലുള്ള, രഹസ്യമായ വ്യവസായ ഡിസ്റ്റിലേഷൻ" (large-scale, covert industrial distillation) നടത്തി എന്ന് ക്രാറ്റ്‌സിയോസ് ആരോപിക്കുന്നു. അമേരിക്കൻ LLM-കളുടെ "വാട്ടർമാർക്കുകൾ" ചൈനീസ് മോഡലുകളിൽ പ്രത്യക്ഷപ്പെടുന്നുണ്ടെന്ന് ട്രഷറി സെക്രട്ടറി സ്കോട്ട് ബെസെന്റ് ചൂണ്ടിക്കാട്ടിയത് ഈ വാദത്തിന് പിന്തുണ നൽകുന്നു.

ഒരു വലിയ "ഫ്രോണ്ടിയർ" (frontier) മോഡലിൽ നിന്ന് അതിന്റെ യുക്തിചിന്താശേഷിയും അറിവും വേർതിരിച്ചെടുക്കുന്നതിനായി അതിനോട് ചോദ്യങ്ങൾ ചോദിച്ചുകൊണ്ട് ഒരു ചെറിയ മോഡലിനെ പരിശീലിപ്പിക്കുന്ന പ്രക്രിയയാണ് ഡിസ്റ്റിലേഷൻ. ഇതിൽ പലപ്പോഴും സൂപ്പർവൈസ്ഡ് ഫൈൻ ട്യൂണിംഗ് (SFT) ഉൾപ്പെടുന്നു; അതായത്, ഒരു ലക്ഷ്യ മോഡലിന്റെ പ്രോംപ്റ്റുകളും (prompts) പ്രതികരണങ്ങളും ഉപയോഗിച്ച് പുതിയ മോഡലിനെ പരിശീലിപ്പിക്കുന്നു. ഇത് ചിലപ്പോൾ പുതിയ മോഡൽ യഥാർത്ഥ മോഡലിന്റെ "പെരുമാറ്റരീതികളോ" അല്ലെങ്കിൽ പ്രത്യേക സംഭാഷണ ശൈലികളോ സ്വീകരിക്കാൻ കാരണമാകാറുണ്ട്.

എന്തുകൊണ്ടാണ് വിദഗ്ധർ ഡിസ്റ്റിലേഷൻ സിദ്ധാന്തത്തിൽ സംശയം പ്രകടിപ്പിക്കുന്നത്?

ഈ ആരോപണങ്ങൾക്ക് രാഷ്ട്രീയമായ പ്രാധാന്യമുണ്ടെങ്കിലും, AI ഗവേഷക സമൂഹത്തിന് ഇതിൽ സംശയമുണ്ട്. Laude ഇൻസ്റ്റിറ്റ്യൂട്ടിലെ ഗവേഷകനും Snorkel AI-യുടെ സഹസ്ഥാപകനുമായ ബ്രാഡൻ ഹാൻകോക്ക് ഒരു പ്രധാന സമയക്രമ പ്രശ്നത്തിലേക്ക് വിരൽ ചൂണ്ടുന്നു: Anthropic-ന്റെ Fable ജൂലൈ 1 മുതൽ മാത്രമേ പരസ്യമായി ലഭ്യമായിട്ടുള്ളൂ. "ഇത്രയധികം ഡാറ്റ ഡിസ്റ്റിൽ ചെയ്യാനും, ഒരു മോഡൽ പരിശീലിപ്പിക്കാനും, അത് വെറും രണ്ടാഴ്ചയ്ക്കുള്ളിൽ പുറത്തിറക്കാനും കഴിയില്ല," ഹാൻകോക്ക് പറഞ്ഞു.

കൂടാതെ, മോഡലുകൾ കൂടുതൽ പരിഷ്കൃതമാകുമ്പോൾ (frontier), SFT വഴിയുള്ള ഡിസ്റ്റിലേഷൻ ഫലപ്രാപ്തി കുറഞ്ഞുവരികയാണെന്ന് Allen Institute for AI-യിലെ നഥാൻ ലാംബർട്ട് വാദിക്കുന്നു. Kimi K3-ൽ കാണപ്പെടുന്ന പ്രകടനം കൈവരിക്കാൻ ഒരു മോഡലിന് വൻതോതിലുള്ള റൈൻഫോഴ്‌സ്‌മെന്റ് ലേണിംഗ് (RL) ആവശ്യമായി വരും. ഈ പ്രക്രിയയിൽ പ്രതികരണങ്ങൾ വിലയിരുത്തുന്നതിനായി ദശലക്ഷക്കണക്കിന് ഏജന്റുകൾ ആവശ്യമാണ്—ഒരു എതിരാളിയുടെ API ഉപയോഗിച്ച് ഇത് ചെയ്യുന്നത് അമിത ചിലവുള്ളതും സാവധാനത്തിലുള്ളതുമായ കാര്യമായിരിക്കും.

ഹാർഡ്‌വെയറിന്റെയും സാങ്കേതിക വൈദഗ്ധ്യത്തിന്റെയും പങ്ക്

ഈ തർക്കം സോഫ്റ്റ്‌വെയറിൽ മാത്രം ഒതുങ്ങുന്നില്ല. Moonshot, അത്യാധുനിക Nvidia ഹാർഡ്‌വെയറുകൾ—പ്രത്യേകിച്ച് Grace Blackwell 300 ചിപ്പുകളും GB300 സജ്ജീകരിച്ച സെർവറുകളും—ലഭിക്കുന്നതിനായി കയറ്റുമതി നിയന്ത്രണങ്ങൾ മറികടന്നു എന്ന് ക്രാറ്റ്‌സിയോസ് ആരോപിച്ചു. ഈ ചിപ്പുകൾ ചൈനയിലേക്കുള്ള കയറ്റുമതിക്ക് നിരോധനമുണ്ടെങ്കിലും, കരിഞ്ചന്തകളും സങ്കീർണ്ണമായ ആഗോള വിതരണ ശൃംഖലകളും കാരണം ഇത്തരം ഹാർഡ്‌വെയർ നീക്കങ്ങൾ നിരീക്ഷിക്കുന്നത് അതീവ പ്രയാസകരമാണെന്ന് ജോർജ്ജ്ടൗണിലെ സാം ബ്രെസ്നിക് പോലുള്ള വിദഗ്ധർ സൂചിപ്പിക്കുന്നു.

എന്നിരുന്നാലും, ഡിസ്റ്റിലേഷനിലുള്ള ശ്രദ്ധ ചൈനീസ് AI ടീമുകളുടെ സാങ്കേതികമായ വിശ്വാസ്യതയെ തകർക്കുന്നുണ്ടെന്ന് പല ഗവേഷകരും വാദിക്കുന്നു. Carnegie Mellon University പോലുള്ള പ്രമുഖ സ്ഥാപനങ്ങളിൽ നിന്നുള്ള സ്ഥാപകർ ഉള്ളതിനാൽ, Moonshot വെറുമൊരു "അനുകരണമല്ല" (riding coattails), മറിച്ച് സ്വന്തമായി ഗവേഷണം നടത്താൻ ശേഷിയുള്ളതാണെന്ന് വിദഗ്ധർ അഭിപ്രായപ്പെടുന്നു.

ആഗോള AI മത്സരത്തിനുള്ള പ്രത്യാഘാതങ്ങൾ

രാഷ്ട്രീയമായ വിവരണങ്ങളും സാങ്കേതിക യാഥാർത്ഥ്യങ്ങളും തമ്മിലുള്ള വർദ്ധിച്ചുവരുന്ന വ്യത്യാസത്തെ ഈ തർക്കം എടുത്തുകാണിക്കുന്നു. വ്യവസായം കൂടുതൽ സങ്കീർണ്ണമായ റൈൻഫോഴ്‌സ്‌മെന്റ് ലേണിംഗിലേക്കും വൻതോതിലുള്ള കമ്പ്യൂട്ട് ആവശ്യകതകളിലേക്കും നീങ്ങുമ്പോൾ, കമ്പനികൾ ബുദ്ധിശക്തി "മോഷണം" നടത്തുകയാണോ അതോ മികച്ച എഞ്ചിനീയറിംഗിലൂടെ മുന്നേറുകയാണോ എന്ന തർക്കം അന്താരാഷ്ട്ര വ്യാപാര നയങ്ങളെയും AI നിയന്ത്രണങ്ങളെയും സ്വാധീനിച്ചുകൊണ്ടേയിരിക്കും.

പ്രധാന കാര്യങ്ങൾ

• സാങ്കേതികമായ സംശയം: Kimi K3 ഇത്ര വേഗത്തിൽ പുറത്തിറങ്ങിയതിനാൽ, അത് Anthropic-ന്റെ Fable ഡിസ്റ്റിലേഷൻ വഴി മാത്രം നിർമ്മിക്കപ്പെട്ടതാകാൻ ഗണിതശാസ്ത്രപരമായി സാധ്യതയില്ലെന്ന് വിദഗ്ധർ വാദിക്കുന്നു.
• ഫൈൻ ട്യൂണിംഗിന് അപ്പുറം: സൂപ്പർവൈസ്ഡ് ഫൈൻ ട്യൂണിംഗ് വഴിയുള്ള ഡിസ്റ്റിലേഷൻ നിലവിലുണ്ടെങ്കിലും, ഫ്രോണ്ടിയർ-ലെവൽ പ്രകടനം കൈവരിക്കാൻ എളുപ്പത്തിൽ "പകർത്തിയെടുക്കാൻ" കഴിയാത്ത അത്യാധുനിക റൈൻഫോഴ്‌സ്‌മെന്റ് ലേണിംഗ് ആവശ്യമായി വരും.
• ഹാർഡ്‌വെയർ ആശങ്കകൾ: നിരോധിത Nvidia Blackwell ചിപ്പുകൾ നിയമവിരുദ്ധമായി ഉപയോഗിച്ചു എന്ന ആരോപണം ചൈനീസ് AI പുരോഗതിയെക്കുറിച്ചുള്ള ചർച്ചകളിൽ ഭൗമരാഷ്ട്രീയ സങ്കീർണ്ണതകൾ വർദ്ധിപ്പിക്കുന്നു.