Je, Kimi K3 ni Matokeo ya Distillation? Wataalamu Wanapinga Madai Hayo
Msukosuko wa kijiopolitiki unaozunguka akili mnemba (AI) umefikia hatua ya kuchemka huku maafisa wa Marekani wakizituhumu kampuni za China kwa ujasusi wa kiviwanda. Ingawa madai yanadai kuwa Moonshot AI ilitumia Fable ya Anthropic kufundisha modeli yake ya Kimi K3, watafiti mashuhuri wa AI wanahoji kuwa ukweli wa kiufundi wa maendeleo ya modeli kubwa za lugha (LLM) unaelezea hadithi tata zaidi.
Madai ya Distillation ya Modeli na Wizi wa IP
Mshauri wa sayansi wa White House, Michael Kratsios, ametoa tuhuma nzito dhidi ya Moonshot, kampuni iliyo nyuma ya Kimi K3—ambayo kwa sasa ndiyo LLM kubwa zaidi ya open-weight inayopatikana. Kratsios anadai kuwa Moonshot ilijihusisha na "distillation ya kiviwanda ya siri na ya kiwango kikubwa" ili kuiba teknolojia ya miliki ya Marekani. Dai hili linatolewa na Waziri wa Hazina Scott Bessent, ambaye alibainisha kuwa "alama za maji" (watermarks) za LLM za Marekani zimekuwa zikitokea kwenye modeli za Kichina.
Distillation ni mchakato ambapo modeli ndogo hufundishwa kwa kuuliza modeli kubwa zaidi ya "frontier" ili kutoa uwezo wake wa kufikiri na maarifa yake. Hii mara nyingi hujumuisha supervised fine-tuning (SFT), ambapo maelekezo (prompts) na majibu ya modeli inayolengwa hutumiwa kufundisha modeli mpya, jambo ambalo wakati mwingine husababisha modeli mpya kuiga "tabia" au mbinu fulani za mazungumzo za ile ya awali.
Kwa Nini Wataalamu Wanatilia Shaka Nadharia ya Distillation
Licha ya uzito wa kisiasa wa madai haya, jumuiya ya utafiti wa AI bado ina shaka. Braden Hancock, mtafiti katika Laude Institute na mwanzilishi mwenza wa Snorkel AI, anaashiria suala muhimu la muda: Fable ya Anthropic imekuwa inapatikana hadharani tangu Julai 1 pekee. "Huwezi kufanya distillation ya data nyingi kiasi hicho, kufundisha modeli, na kuitoa ndani ya wiki mbili," Hancock alibainisha.
Aidha, Nathan Lambert kutoka Allen Institute for AI anahoji kuwa distillation kupitia SFT inazidi kupoteza ufanisi kadiri modeli zinavyoelekea kwenye kiwango cha juu (frontier). Ili kufikia kiwango cha utendaji kinachoonekana katika Kimi K3, modeli pengine ingehitaji mchakato mkubwa wa reinforcement learning (RL). Mchakato huu unahitaji mamilioni ya mawakala (agents) kupima majibu—kazi ambayo ingekuwa ghali sana na ya polepole ikiwa ingefanywa kupitia API ya mshindani.
Nafasi ya Vifaa na Utaalamu wa Kiufundi
Mgogoro huu haujazuiliwa kwenye programu (software) pekee. Kratsios pia alidai kuwa Moonshot iliepuka udhibiti wa usafirishaji ili kupata vifaa vya hali ya juu vya Nvidia, akitaja mahususi chips za Grace Blackwell 300 na seva zenye GB300. Ingawa chips hizi zimepigwa marufuku kusafirishwa kwenda China, wataalamu kama Sam Bresnick kutoka Georgetown wanapendekeza kuwa masoko ya siri na mnyororo tata wa ugavi wa kimataifa hufanya ufuatiliaji wa mtiririko huu wa vifaa kuwa mgumu sana.
Hata hivyo, watafiti wengi wanahoji kuwa mkazo kwenye distillation unadhoofisha uhalali wa kiufundi wa timu za AI za China. Kwa kuwa waanzilishi wanatoka katika taasisi mashuhuri kama Carnegie Mellon University, wataalamu wanapendekeza kuwa Moonshot ina uwezo wa kufanya utafiti wa asili badala ya tu "kuiga mafanikio ya wengine."
Athari kwa Mashindano ya AI ya Kimataifa
Mgogoro huu unaonyesha pengo linalozidi kuwa kubwa kati ya simulizi za kisiasa na ukweli wa kiufundi. Kadiri sekta inavyoelekea kwenye reinforcement learning ya kisasa na mahitaji makubwa ya kompyuta (compute), mjadala kuhusu ikiwa kampuni "zinaiba" akili au zinapiga hatua tu kupitia uhandisi bora utaendelea kuunda sera za biashara za kimataifa na kanuni za AI.
Mambo Muhimu ya Kuzingatia
- Shaka ya Kiufundi: Wataalamu wanahoji kuwa utoaji wa haraka wa Kimi K3 unafanya iwe vigumu kimahesabu kwamba ilijengwa kupitia distillation ya Fable ya Anthropic pekee.
- Zaidi ya Fine-Tuning: Ingawa distillation kupitia supervised fine-tuning ipo, kufikia utendaji wa kiwango cha juu (frontier-level) pengine kunahitaji reinforcement learning ya hali ya juu ambayo haiwezi "kunakiliwa" kwa urahisi.
- Hofu za Vifaa: Madai ya upatikanaji haramu wa chips za Nvidia Blackwell zilizopigwa marufuku yanaongeza ngazi ya utata wa kijiopolitiki katika mjadala kuhusu maendeleo ya AI ya China.