సైబర్ ఎక్స్‌ప్లాయిట్స్‌లో US ఫ్రంటియర్ మోడల్స్ కంటే వెనుకబడిన Kimi K3: డిస్టిలేషన్ గ్యాప్

బ్రిటిష్ AI సెక్యూరిటీ ఇన్‌స్టిట్యూట్ (UK AISI) మరియు U.S. సెంటర్ ఫర్ AI స్టాండర్డ్స్ అండ్ ఇన్నోవేషన్ (CAISI) చేసిన ఉమ్మడి మూల్యాంకనం, చైనా మరియు అమెరికా AI మోడళ్ల మధ్య ఆఫెన్సివ్ సైబర్ ఆపరేషన్లలో గణనీయమైన సామర్థ్య వ్యత్యాసాన్ని (capability gap) వెల్లడించింది. Moonshot AI యొక్క Kimi K3 ఆశాజనకమైన ఫలితాలను చూపుతున్నప్పటికీ, సంక్లిష్టమైన సాఫ్ట్‌వేర్ ఎక్స్‌ప్లాయిటేషన్ మరియు నెట్‌వర్క్ దాడుల వంటి పనుల్లో ఇది అమెరికాలోని అగ్రగామి ఫ్రంటియర్ మోడల్స్ కంటే చాలా వెనుకబడి ఉంది.

ExploitBench: వల్నరబిలిటీ రీసెర్చ్‌లో ఉన్న వ్యత్యాసం

ఎక్స్‌ప్లాయిట్ డెవలప్‌మెంట్ నైపుణ్యాలను కొలవడానికి, పరిశోధకులు ExploitBenchని ఉపయోగించారు. ఇది కార్నెగీ మెల్లన్ యూనివర్సిటీ రూపొందించిన బెంచ్‌మార్క్, ఇందులో 2023 తర్వాత Chrome యొక్క V8 ఇంజిన్‌లో కనుగొనబడిన 41 వల్నరబిలిటీలను (vulnerabilities) పరిగణనలోకి తీసుకున్నారు. ఫలితాలు పనితీరులో స్పష్టమైన తేడాను చూపించాయి. అగ్రగామి అమెరికన్ మోడల్స్ సగటున 76.2% స్కోరు సాధించగా, Kimi K3 మాత్రం 32.2% తో గణనీయంగా తక్కువ స్కోరు సాధించింది. Kimi K3 చైనాకు చెందిన GLM-5.2 (24.4%) కంటే మెరుగ్గా పనిచేసినప్పటికీ, అత్యున్నత స్థాయి ఎక్స్‌ప్లాయిటేషన్ అయిన Arbitrary Code Execution (ACE) స్థాయిని చేరుకోలేకపోయింది.

దీనికి విరుద్ధంగా, టాప్-టియర్ అమెరికన్ మోడల్స్ పరీక్షించిన 41 పనులలో 20 పనులలో విజయవంతంగా ACEని సాధించాయి, తద్వారా టార్గెట్ సిస్టమ్స్‌పై పూర్తి నియంత్రణను పొందాయి—ఈ స్థాయి నైపుణ్యాన్ని Kimi K3 సాధించలేకపోయింది.

"The Last Ones" ద్వారా నెట్‌వర్క్ దాడుల అనుకరణ (Simulation)

ఈ మూల్యాంకనంలో "The Last Ones" (TLO) అనే పద్ధతిని ఉపయోగించి మోడళ్లను పరీక్షించారు. ఇది నాలుగు సబ్‌నెట్‌లలో 20 హోస్ట్‌లను కలిగి ఉన్న సంక్లిష్టమైన 32-స్టెప్ కార్పొరేట్ నెట్‌వర్క్ దాడుల అనుకరణ. మల్టీ-స్టేజ్ ఇంట్రూజన్ పాత్‌లను (multi-stage intrusion paths) నావిగేట్ చేయడంలో ఏజెంట్ యొక్క సామర్థ్యాన్ని కొలవడానికి ఈ పరీక్ష రూపొందించబడింది.

Kimi K3 32 స్టెప్పులలో సగటున 17 స్టెప్పుల వరకు చేరుకోగలిగింది, ఇది మధ్యస్థ స్థాయి సామర్థ్యాన్ని చూపుతుంది. పది ప్రయత్నాలలో ఒకసారి ఇది పూర్తి అటాక్ పాత్‌ను పూర్తి చేసినప్పటికీ, సగటున 28.5 స్టెప్పులు సాధించిన అమెరికన్ మోడల్స్ వంటి స్థిరత్వం (consistency) దీనికి లేదు. బలహీనంగా రక్షించబడిన ఎంటర్‌ప్రైజ్ సిస్టమ్స్‌పై స్వయంప్రతిపత్తితో (autonomously) దాడి చేయగల సామర్థ్యం Kimi K3కి ఉన్నప్పటికీ, సంక్లిష్టమైన, లాంగ్-చైన్ ఆపరేషన్లను నిర్వహించడంలో వెస్ట్రన్ ఫ్రంటియర్ మోడల్స్ వంటి విశ్వసనీయత దీనికి లేదని ఈ ఫలితాలు సూచిస్తున్నాయి.

డిస్టిలేషన్ థియరీ: ఈ వ్యత్యాసం ఎందుకు ఉంది?

ఒక ముఖ్యమైన ప్రశ్న మిగిలి ఉంది: సాధారణ బెంచ్‌మార్క్‌లలో బాగా పనిచేస్తున్నప్పటికీ, సైబర్ పనుల్లో చైనా మోడల్స్ ఎందుకు వెనుకబడి ఉన్నాయి? ఫ్రంటియర్ మోడల్స్ (Anthropic యొక్క Claude వంటివి) నుండి వచ్చిన అధిక నాణ్యత కలిగిన అవుట్‌పుట్‌లను శిక్షణ డేటాగా ఉపయోగించే "డిస్టిలేషన్" (distillation) ప్రక్రియ వల్ల ఇది జరిగి ఉండవచ్చని నివేదిక సూచిస్తోంది.

Moonshot AI, Kimi K3ని శిక్షణ ఇవ్వడానికి డిస్టిలేషన్‌ను ఉపయోగించి ఉంటే, వారు కీలకమైన సైబర్-ఆఫెన్సివ్ డేటాను కోల్పోయి ఉండవచ్చు. అగ్రగామి అమెరికన్ మోడల్స్ అధునాతన ఆఫెన్సివ్ క్వెరీలను నిరోధించే కఠినమైన సేఫ్టీ క్లాసిఫైయర్లను (safety classifiers) ఉపయోగిస్తాయి. తత్ఫలితంగా, ఈ మోడళ్ల పబ్లిక్ అవుట్‌పుట్‌ల నుండి రూపొందించబడిన డేటాసెట్‌లో, ఉన్నత స్థాయి ఎక్స్‌ప్లాయిటేషన్‌కు అవసరమైన జ్ఞానం సహజంగానే తక్కువగా ఉంటుంది. దీనివల్లనే Kimi K3 జనరల్ ప్రోగ్రామింగ్ మరియు రీజనింగ్‌లో వెస్ట్రన్ మోడల్స్‌తో పోటీ పడగలిగినా, ప్రత్యేకమైన ఆఫెన్సివ్ సైబర్ పనుల్లో మాత్రం విఫలమవుతోంది.

పెరుగుతున్న సామర్థ్యాలు మరియు నిరంతర ప్రమాదాలు

ప్రస్తుత వ్యత్యాసం ఉన్నప్పటికీ, CAISI యొక్క టైమ్-సిరీస్ అనాలిసిస్ ప్రకారం అమెరికా మరియు చైనా మోడల్స్ రెండూ కూడా అభివృద్ధి చెందుతున్న క్రమంలో (upward Elo-based trajectory) ఉన్నాయి. ఓపెన్ మోడల్స్ మధ్య ఉన్న పనితీరు వ్యత్యాసం 2025 ప్రారంభంలో ఆరు నుండి పది నెలలు ఉండగా, ఇటీవల అది కేవలం నాలుగు నుండి ఏడు నెలలకు తగ్గింది. ఈ వ్యత్యాసం తగ్గడం అంటే భద్రత పెరగడం కాదని UK AISI హెచ్చరిస్తోంది; ఓపెన్-వెయిట్ మోడల్స్ యొక్క పెరుగుతున్న సామర్థ్యాలు గ్లోబల్ సైబర్‌సెక్యూరిటీ రంగంలో "దుర్వినియోగం అయ్యే నిరంతర మరియు తిరుగులేని ప్రమాదాన్ని" (persistent and irreversible risk of misuse) సూచిస్తున్నాయి.

ముఖ్య అంశాలు

  • సైబర్ పనితీరు వ్యత్యాసం: ExploitBenchలో Kimi K3 32.2% స్కోరు సాధించింది, ఇది అగ్రగామి అమెరికన్ మోడల్స్ సగటు 76.2% కంటే చాలా తక్కువ మరియు ఇది Arbitrary Code Execution (ACE) సాధించడంలో విఫలమైంది.
  • నెట్‌వర్క్ అటాక్ సామర్థ్యం: TLO సిమ్యులేషన్స్‌లో, Kimi K3 32-స్టెప్ అటాక్ పాత్‌లో సగటున 17 స్టెప్పులను పూర్తి చేసింది, ఇది బలహీనమైన సిస్టమ్స్‌ను లక్ష్యంగా చేసుకోవగలదని నిరూపించినప్పటికీ, టాప్-టియర్ అమెరికన్ మోడల్స్ వంటి విశ్వసనీయతను కలిగి లేదని తేలింది.
  • డిస్టిలేషన్ పాత్ర: సైబర్ నైపుణ్యాలలో లోపం డిస్టిలేషన్ పద్ధతుల వల్ల ఉండవచ్చు, ఎందుకంటే Claude వంటి మోడళ్ల నుండి వచ్చే సెన్సార్ చేయబడిన పబ్లిక్ అవుట్‌పుట్‌లపై శిక్షణ ఇవ్వడం వల్ల అధునాతన ఎక్స్‌ప్లాయిటేషన్‌కు అవసరమైన ఆఫెన్సివ్ డేటా లభించదు.