Kimi K3 Tertinggal dari Model Frontier AS dalam Eksploitasi Siber: Kesenjangan Distilasi

Evaluasi bersama oleh British AI Security Institute (UK AISI) dan U.S. Center for AI Standards and Innovation (CAISI) telah mengungkapkan kesenjangan kemampuan yang signifikan dalam operasi siber ofensif antara model AI Tiongkok dan AS. Meskipun Kimi K3 dari Moonshot AI menunjukkan potensi, model ini masih tertinggal jauh dari model frontier Amerika terkemuka saat ditugaskan untuk eksploitasi perangkat lunak yang kompleks dan serangan jaringan.

ExploitBench: Kesenjangan dalam Riset Kerentanan

Untuk mengukur keterampilan pengembangan eksploitasi, para peneliti menggunakan ExploitBench, sebuah tolok ukur dari Carnegie Mellon University yang melibatkan 41 kerentanan yang ditemukan pada mesin V8 Chrome pasca-2023. Hasilnya menyoroti perbedaan performa yang mencolok. Model-model terkemuka AS mencapai skor rata-rata 76,2%, sedangkan Kimi K3 mencatat skor yang jauh lebih rendah yaitu 32,2%. Meskipun Kimi K3 mengungguli GLM-5.2 milik Tiongkok (24,4%), model ini gagal mencapai tingkat eksploitasi tertinggi: Arbitrary Code Execution (ACE).

Sebaliknya, model-model kelas atas AS berhasil mencapai ACE dalam 20 dari 41 tugas yang diuji, yang memberikan kendali penuh atas sistem target—sebuah tingkat kecanggihan yang tidak dapat ditiru oleh Kimi K3.

Mensimulasikan Serangan Jaringan melalui "The Last Ones"

Evaluasi tersebut juga menguji model menggunakan "The Last Ones" (TLO), sebuah simulasi serangan jaringan perusahaan yang kompleks sebanyak 32 langkah yang melibatkan 20 host di empat subnet. Pengujian ini dirancang untuk mengukur kemampuan agen dalam menavigasi jalur intrusi multi-tahap.

Kimi K3 mencapai rata-rata 17 langkah dari 32 langkah, menunjukkan kemampuan tingkat menengah. Meskipun berhasil menyelesaikan jalur serangan penuh dalam satu dari sepuluh percobaan, model ini kurang memiliki konsistensi seperti model AS, yang rata-rata mencapai 28,5 langkah. Temuan ini menunjukkan bahwa meskipun Kimi K3 mampu menyerang sistem perusahaan dengan pertahanan lemah secara otonom, ia kurang memiliki keandalan model frontier Barat untuk mengeksekusi operasi rantai panjang yang canggih.

Teori Distilasi: Mengapa Kesenjangan Ini Terjadi

Sebuah pertanyaan kritis muncul: mengapa model Tiongkok tertinggal dalam tugas-tugas siber meskipun mereka berkinerja baik pada tolok ukur umum? Laporan tersebut menunjukkan bahwa hal ini mungkin disebabkan oleh "distilasi"—praktik menggunakan output berkualitas tinggi dari model frontier (seperti Claude milik Anthropic) sebagai data pelatihan.

Jika Moonshot AI menggunakan distilasi untuk melatih Kimi K3, mereka kemungkinan besar melewatkan data ofensif siber yang kritis. Model-model terkemuka AS menggunakan pengklasifikasi keamanan yang ketat yang memblokir kueri ofensif tingkat lanjut. Akibatnya, kumpulan data yang dibangun dari output publik model-model ini secara alami akan kekurangan pengetahuan yang diperlukan untuk eksploitasi tingkat tinggi. Hal ini menjelaskan bagaimana Kimi K3 dapat menandingi model Barat dalam pemrograman dan penalaran umum, namun gagal secara signifikan dalam tugas siber ofensif khusus.

Kemampuan yang Berkembang dan Risiko yang Persisten

Terlepas dari kesenjangan saat ini, analisis deret waktu CAISI menunjukkan bahwa model AS dan Tiongkok berada pada lintasan berbasis Elo yang meningkat. Kesenjangan performa untuk model terbuka telah menyempit dari enam hingga sepuluh bulan pada awal 2025 menjadi hanya empat hingga tujuh bulan baru-baru ini. UK AISI memperingatkan bahwa menyempitnya kesenjangan ini tidak berarti aman; meningkatnya kemampuan model open-weight mewakili "risiko penyalahgunaan yang persisten dan tidak dapat diubah" dalam lanskap keamanan siber global.

Poin-Poin Penting

  • Kesenjangan Performa Siber: Kimi K3 mencetak skor 32,2% pada ExploitBench, tertinggal jauh dari rata-rata 76,2% model terkemuka AS, dan gagal mencapai Arbitrary Code Execution (ACE).
  • Kemampuan Serangan Jaringan: Dalam simulasi TLO, Kimi K3 rata-rata mencapai 17 langkah dalam jalur serangan 32 langkah, membuktikan bahwa ia dapat menargetkan sistem yang rentan tetapi kurang memiliki keandalan model kelas atas AS.
  • Peran Distilasi: Defisit dalam keterampilan siber mungkin berasal dari praktik distilasi, karena pelatihan pada output publik yang disensor dari model seperti Claude kekurangan data ofensif yang diperlukan untuk eksploitasi tingkat lanjut.