Чи є Kimi K3 продуктом дистиляції? Експерти ставлять під сумнів звинувачення

Геополітична напруженість навколо штучного інтелекту досягла точки кипіння, оскільки офіційні особи США звинувачують китайські фірми в промисловому шпигунстві. Хоча звинувачення свідчать про те, що Moonshot AI використовувала Anthropic’s Fable для навчання своєї моделі Kimi K3, провідні дослідники ШІ стверджують, що технічна реальність розробки великих мовних моделей (LLM) описує набагато складнішу картину.

Звинувачення в дистиляції моделей та крадіжці інтелектуальної власності

Порадник Білого дому з питань науки Майкл Краціос висунув серйозні звинувачення проти Moonshot — компанії, що стоїть за Kimi K3, яка наразі є найбільшою доступною LLM з відкритими вагами. Краціос стверджує, що Moonshot займалася «масштабною та прихованою промисловою дистиляцією» з метою викрадення запатентованих технологій США. Це твердження підтримує міністр фінансів Скотт Бессент, який зазначив, що в китайських моделях з'являються «водяні знаки» американських LLM.

Дистиляція — це процес, за якого менша модель навчається шляхом запитів до більшої «передової» (frontier) моделі для вилучення її когнітивних здібностей та знань. Це часто передбачає кероване тонке налаштування (supervised fine-tuning, SFT), коли підказки (prompts) та відповіді цільової моделі використовуються для навчання нової, що іноді змушує нову модель переймати «манери» або специфічні особливості спілкування оригіналу.

Чому експерти сумніваються в теорії дистиляції

Попри політичну вагу цих заяв, спільнота дослідників ШІ залишається скептичною. Брейден Ганкок, дослідник Інституту Лауда та співзасновник Snorkel AI, вказує на суттєву проблему з часовими рамками: модель Anthropic’s Fable стала публічно доступною лише з 1 липня. «Неможливо дистилювати такий обсяг даних, навчити модель і випустити її за два тижні», — зазначив Ганкок.

Крім того, Нейтан Ламберт з Інституту ШІ Аллена стверджує, що дистиляція через SFT стає менш ефективною, оскільки моделі наближаються до рівня «frontier». Щоб досягти рівня продуктивності, який демонструє Kimi K3, моделі, ймовірно, знадобиться масивне навчання з підкріпленням (reinforcement learning, RL). Цей процес потребує десятків мільйонів агентів для оцінювання відповідей — завдання, яке було б надзвичайно дорогим і повільним, якби воно проводилося через API конкурента.

Роль апаратного забезпечення та технічної експертизи

Суперечка не обмежується лише програмним забезпеченням. Краціос також заявив, що Moonshot обходила експортний контроль для доступу до передового обладнання Nvidia, зокрема згадав чипи Grace Blackwell 300 та сервери, оснащені GB300. Хоча експорт цих чипів до Китаю заборонено, експерти, такі як Сем Бреснік з Джорджтаунського університету, припускають, що чорні ринки та складні глобальні ланцюги постачання роблять моніторинг цих потоків обладнання надзвичайно складним.

Проте багато дослідників стверджують, що зосередженість на дистиляції підриває технічну легітимність китайських команд ШІ. Оскільки засновники походять з елітних закладів, таких як Університет Карнегі-Меллона, експерти припускають, що Moonshot здатна на оригінальні дослідження, а не просто на «використання чужих досягнень».

Наслідки для глобальної гонки ШІ

Ця суперечка підкреслює зростаючий розрив між політичними наративами та технічними реаліями. Оскільки галузь рухається в бік складного навчання з підкріпленням і величезних обчислювальних потреб, дебати про те, чи «крадуть» компанії інтелект, чи просто просуваються завдяки кращій інженерії, продовжуватимуть формувати міжнародну торговельну політику та регулювання ШІ.

Основні висновки

• Технічний скептицизм: Експерти стверджують, що швидкий випуск Kimi K3 робить математично малоймовірним те, що вона була побудована виключно шляхом дистиляції Anthropic's Fable.
• Більше, ніж просто тонке налаштування: Хоча дистиляція через кероване тонке налаштування існує, досягнення продуктивності рівня frontier, ймовірно, потребує передового навчання з підкріпленням, яке неможливо легко «скопіювати».
• Побоювання щодо обладнання: Звинувачення в незаконному доступі до заборонених чипів Nvidia Blackwell додають рівень геополітичної складності до дебатів про прогрес китайського ШІ.