Czy Kimi K3 jest produktem destylacji? Eksperci kwestionują oskarżenia

Napięcia geopolityczne wokół sztucznej inteligencji osiągnęły punkt wrzenia, gdy urzędnicy USA oskarżają chińskie firmy o szpiegostwo przemysłowe. Choć oskarżenia sugerują, że Moonshot AI wykorzystało model Fable firmy Anthropic do wytrenowania swojego modelu Kimi K3, czołowi badacze AI twierdzą, że techniczna rzeczywistość rozwoju dużych modeli językowych (LLM) przedstawia znacznie bardziej złożony obraz.

Oskarżenia o destylację modeli i kradzież własności intelektualnej

Doradca ds. nauki w Białym Domu, Michael Kratsios, wysunął poważne oskarżenia wobec Moonshot, firmy stojącej za Kimi K3 — obecnie największym dostępnym modelem LLM typu open-weight. Kratsios twierdzi, że Moonshot zaangażowało się w „wielkoskalową, zakrytą destylację przemysłową”, aby ukraść zastrzeżoną technologię USA. Twierdzenie to wspiera sekretarz skarbu Scott Bessent, który zauważył, że w chińskich modelach pojawiają się „znaki wodne” amerykańskich LLM.

Destylacja to proces, w którym mniejszy model jest trenowany poprzez odpytywanie większego modelu typu „frontier” w celu wydobycia jego zdolności rozumowania i wiedzy. Często wiąże się to z nadzorowanym dostrajaniem (SFT – supervised fine-tuning), gdzie prompty i odpowiedzi modelu docelowego są wykorzystywane do trenowania nowego, co czasem powoduje, że nowy model przejmuje „maniery” lub specyficzne cechy konwersacyjne oryginału.

Dlaczego eksperci wątpią w teorię destylacji

Mimo politycznego ciężaru tych oskarżeń, społeczność badaczy AI pozostaje sceptyczna. Braden Hancock, badacz w Laude Institute i współzałożyciel Snorkel AI, wskazuje na istotny problem z harmonogramem: model Fable firmy Anthropic jest publicznie dostępny dopiero od 1 lipca. „Nie można w dwa tygodnie poddać destylacji tak dużej ilości danych, wytrenować modelu i go udostępnić” — zauważył Hancock.

Co więcej, Nathan Lambert z Allen Institute for AI argumentuje, że destylacja poprzez SFT staje się coraz mniej skuteczna, w miarę jak modele zbliżają się do poziomu „frontier”. Aby osiągnąć poziom wydajności widoczny w Kimi K3, model prawdopodobnie wymagałby masowych procesów uczenia ze wzmocnieniem (RL – reinforcement learning). Proces ten wymaga dziesiątek milionów agentów do oceniania odpowiedzi — zadanie, które byłoby niebotycznie drogie i powolne, gdyby przeprowadzano je za pośrednictwem API konkurenta.

Rola sprzętu i wiedzy technicznej

Kontrowersje nie ograniczają się tylko do oprogramowania. Kratsios zarzucił również, że Moonshot ominęło kontrole eksportowe, aby uzyskać dostęp do zaawansowanego sprzętu Nvidia, wspominając konkretnie o chipach Grace Blackwell 300 i serwerach wyposażonych w GB300. Choć eksport tych chipów do Chin jest zabroniony, eksperci tacy jak Sam Bresnick z Georgetown sugerują, że czarny rynek i złożone globalne łańcuchy dostaw sprawiają, że monitorowanie przepływów tego sprzętu jest niezwykle trudne.

Wielu badaczy twierdzi jednak, że skupienie się na destylacji podważa techniczne kompetencje chińskich zespołów AI. Biorąc pod uwagę, że założyciele wywodzą się z elitarnych instytucji, takich jak Carnegie Mellon University, eksperci sugerują, że Moonshot jest zdolne do prowadzenia oryginalnych badań, a nie tylko do „podczepiania się” pod cudze osiągnięcia.

Implikacje dla globalnego wyścigu AI

Spór ten uwypukla pogłębiającą się przepaść między narracjami politycznymi a rzeczywistością techniczną. W miarę jak branża zmierza w stronę zaawansowanego uczenia ze wzmocnieniem i ogromnych wymagań obliczeniowych, debata nad tym, czy firmy „kradną” inteligencję, czy po prostu rozwijają się dzięki doskonałej inżynierii, będzie nadal kształtować międzynarodową politykę handlową i regulacje dotyczące AI.

Kluczowe wnioski

• Sceptycyzm techniczny: Eksperci argumentują, że szybkie wydanie Kimi K3 sprawia, iż matematycznie mało prawdopodobne jest, aby model został zbudowany wyłącznie poprzez destylację Fable od Anthropic.
• Więcej niż dostrajanie: Choć destylacja poprzez nadzorowane dostrajanie istnieje, osiągnięcie wydajności na poziomie „frontier” prawdopodobnie wymaga zaawansowanego uczenia ze wzmocnieniem, którego nie da się łatwo „skopiować”.
• Obawy dotyczące sprzętu: Oskarżenia o nielegalny dostęp do zakazanych chipów Nvidia Blackwell dodają warstwę geopolitycznej złożoności do debaty na temat postępów Chin w dziedzinie AI.