Kimi K3 Siber İstismarlarda ABD'nin Sınır Modellerinin Gerisinde Kalıyor: Damıtma Boşluğu

İngiliz Yapay Zeka Güvenlik Enstitüsü (UK AISI) ve ABD Yapay Zeka Standartları ve İnovasyon Merkezi (CAISI) tarafından yapılan ortak bir değerlendirme, Çin ve ABD yapay zeka modelleri arasında ofansif siber operasyonlarda önemli bir yetenek boşluğu olduğunu ortaya koydu. Moonshot AI'nın Kimi K3 modeli gelecek vaat etse de, karmaşık yazılım istismarı ve ağ saldırılarıyla görevlendirildiğinde önde gelen Amerikan sınır modellerinin önemli ölçüde gerisinde kalıyor.

ExploitBench: Zafiyet Araştırmasındaki Boşluk

İstismar geliştirme becerilerini ölçmek için araştırmacılar, Carnegie Mellon Üniversitesi tarafından geliştirilen ve 2023 sonrası Chrome'un V8 motorunda bulunan 41 zafiyeti içeren bir kıyaslama noktası olan ExploitBench'i kullandılar. Sonuçlar, keskin bir performans ayrımını ortaya koydu. Önde gelen ABD modelleri %76,2'lik bir ortalama puan elde ederken, Kimi K3 %32,2 ile önemli ölçüde daha düşük bir puan aldı. Kimi K3, Çin'in GLM-5.2 modelinden (%24,4) daha iyi performans gösterse de, istismarın en yüksek seviyesi olan Arbitrary Code Execution (ACE - Rastgele Kod Çalıştırma) seviyesine ulaşamadı.

Buna karşılık, üst düzey ABD modelleri test edilen 41 görevin 20'sinde ACE'yi başarıyla gerçekleştirerek hedef sistemler üzerinde tam kontrol sağladı; bu, Kimi K3'ün taklit edemediği bir sofistike düzeydir.

"The Last Ones" Aracılığıyla Ağ Saldırılarını Simüle Etmek

Değerlendirme ayrıca, dört alt ağdaki 20 ana bilgisayarı içeren karmaşık, 32 adımlık bir kurumsal ağ saldırısı simülasyonu olan "The Last Ones" (TLO) kullanılarak modelleri test etti. Bu test, bir ajanın çok aşamalı sızma yollarında gezinme yeteneğini ölçmek için tasarlandı.

Kimi K3, 32 adımın ortalama 17 adımına ulaşarak orta düzeyde bir yetenek sergiledi. On denemeden birinde tam saldırı yolunu tamamlamış olsa da, ortalama 28,5 adıma ulaşan ABD modellerinin tutarlılığından yoksundu. Bulgular, Kimi K3'ün zayıf korunan kurumsal sistemlere otonom olarak saldırma yeteneğine sahip olsa da, karmaşık ve uzun zincirli operasyonları yürütmek için Batılı sınır modellerinin güvenilirliğine sahip olmadığını gösteriyor.

Damıtma Teorisi: Boşluk Neden Var?

Kritik bir soru baki kalıyor: Çin modelleri genel kıyaslama testlerinde iyi performans gösterdikleri halde neden siber görevlerde geride kalıyor? Rapor, bunun "damıtma" (distillation) uygulamasından kaynaklanabileceğini öne sürüyor; yani sınır modellerinden (Anthropic'in Claude'u gibi) alınan yüksek kaliteli çıktıların eğitim verisi olarak kullanılması.

Eğer Moonshot AI, Kimi K3'ü eğitmek için damıtma yöntemini kullandıysa, muhtemelen kritik siber ofansif verileri kaçırmışlardır. Önde gelen ABD modelleri, gelişmiş ofansif sorguları engelleyen katı güvenlik sınıflandırıcıları kullanır. Sonuç olarak, bu modellerin halka açık çıktıları üzerine inşa edilen bir veri seti, yüksek düzeyde istismar için gereken bilgiden doğal olarak yoksun olacaktır. Bu durum, Kimi K3'ün genel programlama ve akıl yürütmede Batılı modellerle eşleşebilirken, uzmanlaşmış ofansif siber görevlerde neden önemli ölçüde başarısız olduğunu açıklıyor.

Büyüyen Yetenekler ve Süregelen Riskler

Mevcut boşluğa rağmen, CAISI'nin zaman serisi analizi hem ABD hem de Çin modellerinin Elo tabanlı yukarı yönlü bir ivme içinde olduğunu gösteriyor. Açık modeller için performans boşluğu, 2025'in başında altı ila on ay arasındayken, son zamanlarda sadece dört ila yedi aya geriledi. UK AISI, bu daralan boşluğun güvenlik anlamına gelmediği konusunda uyarıyor; açık ağırlıklı (open-weight) modellerin artan yetenekleri, küresel siber güvenlik ortamında "süregelen ve geri döndürülemez bir kötüye kullanım riski" teşkil ediyor.

Önemli Çıkarımlar

• Siber Performans Boşluğu: Kimi K3, ExploitBench'te %32,2 puan alarak önde gelen ABD modellerinin %76,2'lik ortalamasının önemli ölçüde gerisinde kaldı ve Arbitrary Code Execution (ACE) gerçekleştiremedi.
• Ağ Saldırısı Yeteneği: TLO simülasyonlarında Kimi K3, 32 adımlık bir saldırı yolunda ortalama 17 adıma ulaştı; bu da savunmasız sistemleri hedefleyebileceğini ancak üst düzey ABD modellerinin güvenilirliğine sahip olmadığını kanıtladı.
• Damıtmanın Rolü: Siber becerilerdeki eksiklik, damıtma uygulamalarından kaynaklanıyor olabilir; zira Claude gibi modellerin sansürlenmiş halka açık çıktıları üzerinde eğitim yapmak, gelişmiş istismar için gerekli olan ofansif verilerden yoksundur.