Kimi K3 поступається передовим моделям США у кіберексплойтах: розрив через дистиляцію

Спільне оцінювання, проведене Британським інститутом безпеки ШІ (UK AISI) та Центром стандартів і інновацій у сфері ШІ США (CAISI), виявило значний розрив у можливостях наступальних кібероперацій між китайськими та американськими моделями ШІ. Хоча Kimi K3 від Moonshot AI виглядає перспективно, вона суттєво відстає від провідних американських передових моделей у завданнях, пов'язаних зі складними експлойтами програмного забезпечення та мережевими атаками.

ExploitBench: розрив у дослідженні вразливостей

Щоб виміряти навички розробки експлойтів, дослідники використали ExploitBench — бенчмарк від Університету Карнегі-Меллона, що охоплює 41 вразливість, виявлену в двигуні Chrome V8 після 2023 року. Результати продемонстрували різкий поділ у продуктивності. Провідні моделі США досягли середнього бала 76,2%, тоді як Kimi K3 показала значно нижчий результат — 32,2%. Хоча Kimi K3 перевершила китайську GLM-5.2 (24,4%), вона не змогла досягти найвищого рівня експлуатації: довільного виконання коду (Arbitrary Code Execution, ACE).

Натомість топові моделі США успішно досягли ACE у 20 з 41 протестованих завдань, що дало їм повний контроль над цільовими системами — рівень складності, який Kimi K3 не змогла повторити.

Симуляція мережевих атак за допомогою "The Last Ones"

Під час оцінювання також тестувалися моделі за допомогою "The Last Ones" (TLO) — симуляції складної 32-етапної атаки на корпоративну мережу, що охоплює 20 хостів у чотирьох підмережах. Цей тест розроблений для вимірювання здатності агента проходити багатоетапні шляхи вторгнення.

Kimi K3 пройшла в середньому 17 кроків із 32, продемонструвавши середній рівень можливостей. Хоча вона завершила повний шлях атаки в одному випадку з десяти спроб, їй бракувало стабільності, притаманної моделям США, які проходили в середньому 28,5 кроків. Результати свідчать про те, що хоча Kimi K3 здатна автономно атакувати слабко захищені корпоративні системи, їй бракує надійності західних передових моделей для виконання складних багатоланкових операцій.

Теорія дистиляції: чому існує цей розрив

Залишається критичне питання: чому китайські моделі відстають у кіберзавданнях, навіть коли вони добре показують себе в загальних бенчмарках? У звіті припускається, що це може бути пов'язано з «дистиляцією» — практикою використання високоякісних результатів роботи передових моделей (таких як Claude від Anthropic) як навчальних даних.

Якщо Moonshot AI використовувала дистиляцію для навчання Kimi K3, вони, ймовірно, пропустили критично важливі дані щодо кібератак. Провідні моделі США використовують суворі класифікатори безпеки, які блокують складні наступальні запити. Як наслідок, набір даних, побудований на основі публічних відповідей цих моделей, природним чином позбавлений саме тих знань, які необхідні для експлуатації високого рівня. Це пояснює, як Kimi K3 може зрівнятися із західними моделями в загальному програмуванні та міркуванні, але значно програвати у спеціалізованих наступальних кіберзавданнях.

Зростання можливостей та постійні ризики

Попри поточний розрив, часовий аналіз CAISI показує, що і американські, і китайські моделі перебувають на траєкторії зростання за рейтингом Elo. Розрив у продуктивності відкритих моделей скоротився з шести-десяти місяців на початку 2025 року до всього чотирьох-семи місяців останнім часом. UK AISI попереджає, що це скорочення розриву не означає безпеки; зростання можливостей моделей із відкритими вагами становить «постійний і незворотний ризик зловживання» у глобальному ландшафті кібербезпеки.

Основні висновки

• Розрив у кіберпродуктивності: Kimi K3 набрала 32,2% в ExploitBench, значно відстаючи від середнього показника 76,2% провідних моделей США, і не змогла досягти довільного виконання коду (ACE).
• Здатність до мережевих атак: У симуляціях TLO Kimi K3 пройшла в середньому 17 кроків із 32-етапного шляху атаки, що доводить її здатність атакувати вразливі системи, але їй бракує надійності топових моделей США.
• Роль дистиляції: Дефіцит кібернавичок може бути наслідком практики дистиляції, оскільки навчання на цензурованих публічних відповідях таких моделей, як Claude, не забезпечує наступальними даними, необхідними для складних експлойтів.