Kimi K3 zostaje w tyle za amerykańskimi modelami typu frontier w cyberwyzysku: Luka wynikająca z destylacji

Wspólna ocena przeprowadzona przez brytyjski British AI Security Institute (UK AISI) oraz amerykański Center for AI Standards and Innovation (CAISI) ujawniła znaczącą lukę w możliwościach operacji ofensywnych w cyberprzestrzeni między chińskimi a amerykańskimi modelami AI. Choć Kimi K3 od Moonshot AI wykazuje obiecujące rezultaty, pozostaje znacznie w tyle za wiodącymi amerykańskimi modelami typu frontier w zadaniach związanych ze złożonym wykorzystywaniem oprogramowania i atakami sieciowymi.

ExploitBench: Luka w badaniach nad podatnościami

Aby zmierzyć umiejętności tworzenia exploitów, badacze wykorzystali ExploitBench – benchmark z Carnegie Mellon University obejmujący 41 podatności znalezionych w silniku V8 przeglądarki Chrome po 2023 roku. Wyniki uwypukliły wyraźny podział w wydajności. Wiodące modele amerykańskie osiągnęły średni wynik 76,2%, podczas gdy Kimi K3 uzyskał znacznie niższy wynik, wynoszący 32,2%. Choć Kimi K3 poradził sobie lepiej niż chiński GLM-5.2 (24,4%), nie zdołał osiągnąć najwyższego poziomu eksploatacji: Arbitrary Code Execution (ACE).

W przeciwieństwie do niego, modele amerykańskie najwyższej klasy z sukcesem osiągnęły ACE w 20 z 41 testowanych zadań, uzyskując pełną kontrolę nad systemami docelowymi – poziom zaawansowania, którego Kimi K3 nie był w stanie powtórzyć.

Symulowanie ataków sieciowych za pomocą „The Last Ones”

W ramach oceny przetestowano również modele przy użyciu „The Last Ones” (TLO) – symulacji złożonego, 32-etapowego ataku na sieć korporacyjną, obejmującego 20 hostów w czterech podsieciach. Test ten został zaprojektowany, aby zmierzyć zdolność agenta do poruszania się po wieloetapowych ścieżkach infiltracji.

Kimi K3 osiągnął średnio 17 z 32 kroków, wykazując przeciętne możliwości. Choć udało mu się przejść pełną ścieżkę ataku w jednym na dziesięć prób, zabrakło mu powtarzalności modeli amerykańskich, które osiągały średnio 28,5 kroku. Wyniki sugerują, że choć Kimi K3 potrafi autonomicznie atakować słabo zabezpieczone systemy korporacyjne, brakuje mu niezawodności zachodnich modeli typu frontier, niezbędnej do przeprowadzania wyrafinowanych operacji wieloetapowych.

Teoria destylacji: Dlaczego istnieje ta luka?

Pozostaje kluczowe pytanie: dlaczego chińskie modele odstają w zadaniach cybernetycznych, nawet jeśli radzą sobie dobrze w ogólnych benchmarkach? Raport sugeruje, że może to wynikać z „destylacji” – praktyki wykorzystywania wysokiej jakości wyników generowanych przez modele typu frontier (takich jak Claude od Anthropic) jako danych treningowych.

Jeśli Moonshot AI wykorzystało destylację do trenowania Kimi K3, prawdopodobnie pominęło krytyczne dane dotyczące ofensywy cybernetycznej. Wiodące modele amerykańskie stosują rygorystyczne klasyfikatory bezpieczeństwa, które blokują zaawansowane zapytania o charakterze ofensywnym. W rezultacie zbiór danych zbudowany na podstawie publicznych wyników tych modeli byłby naturalnie pozbawiony wiedzy niezbędnej do eksploatacji na wysokim poziomie. Wyjaśnia to, w jaki sposób Kimi K3 może dorównywać zachodnim modelom w ogólnym programowaniu i rozumowaniu, jednocześnie znacząco zawodząc w specjalistycznych zadaniach ofensywnych.

Rosnące możliwości i trwałe ryzyka

Mimo obecnej luki, analiza szeregów czasowych przeprowadzona przez CAISI pokazuje, że zarówno modele amerykańskie, jak i chińskie znajdują się na rosnącej trajektorii opartej na rankingu Elo. Luka wydajnościowa w przypadku modeli typu open-source zmniejszyła się z sześciu–dziesięciu miesięcy na początku 2025 roku do zaledwie czterech–siedmiu miesięcy w ostatnim czasie. UK AISI ostrzega, że zmniejszająca się luka nie oznacza bezpieczeństwa; rosnące możliwości modeli o otwartych wagach (open-weight) stanowią „trwałe i nieodwracalne ryzyko nadużyć” w globalnym krajobrazie cyberbezpieczeństwa.

Kluczowe wnioski

• Luka w wydajności cybernetycznej: Kimi K3 uzyskał wynik 32,2% w ExploitBench, znacząco odstając od średniej 76,2% wiodących modeli amerykańskich, i nie zdołał osiągnąć Arbitrary Code Execution (ACE).
• Zdolność do ataków sieciowych: W symulacjach TLO Kimi K3 osiągnął średnio 17 kroków w 32-etapowej ścieżce ataku, co dowodzi, że może on atakować podatne systemy, ale brakuje mu niezawodności modeli amerykańskich najwyższej klasy.
• Rola destylacji: Deficyt umiejętności cybernetycznych może wynikać z praktyk destylacji, ponieważ trenowanie na ocenzurowanych, publicznych wynikach modeli takich jak Claude pozbawione jest danych ofensywnych niezbędnych do zaawansowanej eksploatacji.