Kimi K3 ਸਾਈਬਰ ਐਕਸਪਲੋਇਟਸ ਵਿੱਚ US ਫਰੰਟੀਅਰ ਮਾਡਲਾਂ ਤੋਂ ਪਿੱਛੇ ਹੈ: ਡਿਸਟੀਲੇਸ਼ਨ ਗੈਪ

ਬ੍ਰਿਟਿਸ਼ AI ਸੁਰੱਖਿਆ ਸੰਸਥਾ (UK AISI) ਅਤੇ U.S. ਸੈਂਟਰ ਫਾਰ AI ਸਟੈਂਡਰਡਸ ਐਂਡ ਇਨੋਵੇਸ਼ਨ (CAISI) ਦੁਆਰਾ ਕੀਤੇ ਗਏ ਇੱਕ ਸਾਂਝੇ ਮੁਲਾਂਕਣ ਨੇ ਚੀਨੀ ਅਤੇ ਅਮਰੀਕੀ AI ਮਾਡਲਾਂ ਵਿਚਕਾਰ ਹਮਲਾਵਰ ਸਾਈਬਰ ਕਾਰਵਾਈਆਂ (offensive cyber operations) ਵਿੱਚ ਇੱਕ ਵੱਡਾ ਸਮਰੱਥਾ ਅੰਤਰ ਸਾਹਮਣੇ ਲਿਆਂਦਾ ਹੈ। ਹਾਲਾਂਕਿ Moonshot AI ਦਾ Kimi K3 ਉਮੀਦ ਜਗਾਉਂਦਾ ਹੈ, ਪਰ ਜਦੋਂ ਗੁੰਝਲਦਾਰ ਸੌਫਟਵੇਅਰ ਐਕਸਪਲੋਇਟੇਸ਼ਨ ਅਤੇ ਨੈੱਟਵਰਕ ਹਮਲਿਆਂ ਦੀ ਗੱਲ ਆਉਂਦੀ ਹੈ, ਤਾਂ ਇਹ ਅਮਰੀਕੀ ਫਰੰਟੀਅਰ ਮਾਡਲਾਂ ਤੋਂ ਕਾਫੀ ਪਿੱਛੇ ਹੈ।

ExploitBench: ਕਮਜ਼ੋਰੀਆਂ ਦੀ ਖੋਜ ਵਿੱਚ ਅੰਤਰ

ਐਕਸਪਲੋਇਟ ਵਿਕਾਸ ਹੁਨਰ ਨੂੰ ਮਾਪਣ ਲਈ, ਖੋਜਕਰਤਾਵਾਂ ਨੇ ExploitBench ਦੀ ਵਰਤੋਂ ਕੀਤੀ, ਜੋ Carnegie Mellon ਯੂਨੀਵਰਸਿਟੀ ਦਾ ਇੱਕ ਬੈਂਚਮਾਰਕ ਹੈ। ਇਸ ਵਿੱਚ 2023 ਤੋਂ ਬਾਅਦ Chrome ਦੇ V8 ਇੰਜਣ ਵਿੱਚ ਪਾਈਆਂ ਗਈਆਂ 41 ਕਮਜ਼ੋਰੀਆਂ (vulnerabilities) ਨੂੰ ਸ਼ਾਮਲ ਕੀਤਾ ਗਿਆ ਸੀ। ਨਤੀਜਿਆਂ ਨੇ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਇੱਕ ਵੱਡਾ ਫਰਕ ਦਿਖਾਇਆ। ਅਗਾਂਹਵਧੂ ਅਮਰੀਕੀ ਮਾਡਲਾਂ ਨੇ 76.2% ਦਾ ਔਸਤ ਸਕੋਰ ਪ੍ਰਾਪਤ ਕੀਤਾ, ਜਦੋਂ ਕਿ Kimi K3 ਦਾ ਸਕੋਰ ਕਾਫੀ ਘੱਟ 32.2% ਰਿਹਾ। ਹਾਲਾਂਕਿ Kimi K3 ਨੇ ਚੀਨ ਦੇ GLM-5.2 (24.4%) ਨਾਲੋਂ ਬਿਹਤਰ ਪ੍ਰਦਰਸ਼ਨ ਕੀਤਾ, ਪਰ ਇਹ ਐਕਸਪਲੋਇਟੇਸ਼ਨ ਦੇ ਸਭ ਤੋਂ ਉੱਚ ਪੱਧਰ: Arbitrary Code Execution (ACE) ਤੱਕ ਪਹੁੰਚਣ ਵਿੱਚ ਅਸਫਲ ਰਿਹਾ।

ਇਸ ਦੇ ਉਲਟ, ਉੱਚ-ਪੱਧਰੀ ਅਮਰੀਕੀ ਮਾਡਲਾਂ ਨੇ 41 ਟੈਸਟ ਕੀਤੇ ਗਏ ਕੰਮਾਂ ਵਿੱਚੋਂ 20 ਵਿੱਚ ਸਫਲਤਾਪੂਰਵਕ ACE ਪ੍ਰਾਪਤ ਕੀਤਾ, ਜਿਸ ਨਾਲ ਟਾਰਗੇਟ ਸਿਸਟਮਾਂ 'ਤੇ ਪੂਰਾ ਕੰਟਰੋਲ ਮਿਲ ਗਿਆ—ਇੱਕ ਅਜਿਹੀ ਗੁੰਝਲਦਾਰਤਾ ਜਿਸ ਦੀ Kimi K3 ਨਕਲ ਨਹੀਂ ਕਰ ਸਕਿਆ।

"The Last Ones" ਰਾਹੀਂ ਨੈੱਟਵਰਕ ਹਮਲਿਆਂ ਦਾ ਸਿਮੂਲੇਸ਼ਨ

ਮੁਲਾਂਕਣ ਵਿੱਚ "The Last Ones" (TLO) ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਮਾਡਲਾਂ ਦਾ ਟੈਸਟ ਵੀ ਕੀਤਾ ਗਿਆ, ਜੋ ਕਿ ਚਾਰ ਸਬਨੇਟਾਂ ਵਿੱਚ 20 ਹੋਸਟਾਂ ਵਾਲੇ ਇੱਕ ਗੁੰਝਲਦਾਰ 32-ਸਟੈਪ ਕਾਰਪੋਰੇਟ ਨੈੱਟਵਰਕ ਹਮਲੇ ਦਾ ਇੱਕ ਸਿਮੂਲੇਸ਼ਨ ਹੈ। ਇਹ ਟੈਸਟ ਮਲਟੀ-ਸਟੇਜ ਇੰਟਰੂਜ਼ਨ ਪਾਥਾਂ (multi-stage intrusion paths) ਵਿੱਚ ਨੈਵੀਗੇਟ ਕਰਨ ਦੀ ਇੱਕ ਏਜੰਟ ਦੀ ਯੋਗਤਾ ਨੂੰ ਮਾਪਣ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ।

Kimi K3 32 ਵਿੱਚੋਂ ਔਸਤ 17 ਸਟੈਪ ਤੱਕ ਪਹੁੰਚਿਆ, ਜੋ ਇੱਕ ਦਰਮਿਆਨੀ ਸਮਰੱਥਾ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਹਾਲਾਂਕਿ ਇਸਨੇ ਦਸ ਵਿੱਚੋਂ ਇੱਕ ਕੋਸ਼ਿਸ਼ ਵਿੱਚ ਪੂਰਾ ਹਮਲਾ ਪਾਥ ਪੂਰਾ ਕੀਤਾ, ਪਰ ਇਸ ਵਿੱਚ ਅਮਰੀਕੀ ਮਾਡਲਾਂ ਵਰਗੀ ਨਿਰੰਤਰਤਾ (consistency) ਦੀ ਕਮੀ ਸੀ, ਜਿਨ੍ਹਾਂ ਦਾ ਔਸਤ 28.5 ਸਟੈਪ ਸੀ। ਖੋਜ ਤੋਂ ਪਤਾ ਲੱਗਦਾ ਹੈ ਕਿ ਹਾਲਾਂਕਿ Kimi K3 ਕਮਜ਼ੋਰ ਰੱਖਿਆ ਵਾਲੇ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਸਿਸਟਮਾਂ 'ਤੇ ਖੁਦਮੁਖਤਿਆਰ ਹੋ ਕੇ ਹਮਲਾ ਕਰਨ ਦੇ ਯੋਗ ਹੈ, ਪਰ ਇਸ ਵਿੱਚ ਗੁੰਝਲਦਾਰ, ਲੰਬੀ-ਚੇਨ ਵਾਲੀਆਂ ਕਾਰਵਾਈਆਂ ਨੂੰ ਅੰਜਾਮ ਦੇਣ ਲਈ ਪੱਛਮੀ ਫਰੰਟੀਅਰ ਮਾਡਲਾਂ ਵਰਗੀ ਭਰੋਸੇਯੋਗਤਾ ਦੀ ਕਮੀ ਹੈ।

ਡਿਸਟੀਲੇਸ਼ਨ ਸਿਧਾਂਤ (The Distillation Theory): ਇਹ ਅੰਤਰ ਕਿਉਂ ਹੈ?

ਇੱਕ ਅਹਿਮ ਸਵਾਲ ਬਾਕੀ ਹੈ: ਜਦੋਂ ਚੀਨੀ ਮਾਡਲ ਆਮ ਬੈਂਚਮਾਰਕਸ 'ਤੇ ਵਧੀਆ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦੇ ਹਨ, ਤਾਂ ਉਹ ਸਾਈਬਰ ਕੰਮਾਂ ਵਿੱਚ ਪਿੱਛੇ ਕਿਉਂ ਰਹਿ ਜਾਂਦੇ ਹਨ? ਰਿਪੋਰਟ ਸੁਝਾਅ ਦਿੰਦੀ ਹੈ ਕਿ ਇਹ "ਡਿਸਟੀਲੇਸ਼ਨ" (distillation) ਕਾਰਨ ਹੋ ਸਕਦਾ ਹੈ—ਜੋ ਕਿ ਫਰੰਟੀਅਰ ਮਾਡਲਾਂ (ਜਿਵੇਂ ਕਿ Anthropic ਦੇ Claude) ਤੋਂ ਉੱਚ-ਗੁਣਵੱਤਾ ਵਾਲੇ ਆਉਟਪੁੱਟ ਨੂੰ ਟ੍ਰੇਨਿੰਗ ਡੇਟਾ ਵਜੋਂ ਵਰਤਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਹੈ।

ਜੇਕਰ Moonshot AI ਨੇ Kimi K3 ਨੂੰ ਟ੍ਰੇਨ ਕਰਨ ਲਈ ਡਿਸਟੀਲੇਸ਼ਨ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਹੈ, ਤਾਂ ਸੰਭਵ ਹੈ ਕਿ ਉਹ ਮਹੱਤਵਪੂਰਨ ਸਾਈਬਰ-ਹਮਲਾਵਰ ਡੇਟਾ ਨੂੰ ਮਿਸ ਕਰ ਗਏ ਹਨ। ਅਗਾਂਹਵਧੂ ਅਮਰੀਕੀ ਮਾਡਲ ਸਖ਼ਤ ਸੁਰੱਖਿਆ ਕਲਾਸੀਫਾਇਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ ਜੋ ਉੱਨਤ ਹਮਲਾਵਰ ਕੁਐਰੀਆਂ (offensive queries) ਨੂੰ ਰੋਕਦੇ ਹਨ। ਨਤੀਜੇ ਵਜੋਂ, ਇਹਨਾਂ ਮਾਡਲਾਂ ਦੇ ਜਨਤਕ ਆਉਟਪੁੱਟ ਤੋਂ ਬਣਾਇਆ ਗਿਆ ਡੇਟਾ ਸੈੱਟ ਕੁਦਰਤੀ ਤੌਰ 'ਤੇ ਉਸੇ ਗਿਆਨ ਤੋਂ ਖਾਲੀ ਹੋਵੇਗਾ ਜੋ ਉੱਚ-ਪੱਧਰੀ ਐਕਸਪਲੋਇਟੇਸ਼ਨ ਲਈ ਲੋੜੀਂਦਾ ਹੈ। ਇਹ ਸਮਝਾਉਂਦਾ ਹੈ ਕਿ ਕਿਵੇਂ Kimi K3 ਆਮ ਪ੍ਰੋਗਰਾਮਿੰਗ ਅਤੇ ਤਰਕ (reasoning) ਵਿੱਚ ਪੱਛਮੀ ਮਾਡਲਾਂ ਦੇ ਬਰਾਬਰ ਹੋ ਸਕਦਾ ਹੈ, ਪਰ ਵਿਸ਼ੇਸ਼ ਹਮਲਾਵਰ ਸਾਈਬਰ ਕੰਮਾਂ ਵਿੱਚ ਕਾਫੀ ਅਸਫਲ ਰਹਿੰਦਾ ਹੈ।

ਵਧਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਅਤੇ ਲਗਾਤਾਰ ਬਣੇ ਰਹਿੰਦੇ ਜੋਖਮ

ਮੌਜੂਦਾ ਅੰਤਰ ਦੇ ਬਾਵਜੂਦ, CAISI ਦਾ ਟਾਈਮ-ਸੀਰੀਜ਼ ਵਿਸ਼ਲੇਸ਼ਣ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਅਮਰੀਕੀ ਅਤੇ ਚੀਨੀ ਦੋਵੇਂ ਮਾਡਲ ਉੱਪਰ ਵੱਲ ਜਾਂਦੇ ਹੋਏ Elo-ਅਧਾਰਤ ਰੇਖਾਗ੍ਰਾਫ (trajectory) 'ਤੇ ਹਨ। ਓਪਨ ਮਾਡਲਾਂ ਲਈ ਪ੍ਰਦਰਸ਼ਨ ਦਾ ਅੰਤਰ 2025 ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਛੇ ਤੋਂ ਦਸ ਮਹੀਨਿਆਂ ਤੋਂ ਘਟ ਕੇ ਹਾਲ ਹੀ ਵਿੱਚ ਸਿਰਫ ਚਾਰ ਤੋਂ ਸੱਤ ਮਹੀਨਿਆਂ ਦਾ ਰਹਿ ਗਿਆ ਹੈ। UK AISI ਚੇਤਾਵਨੀ ਦਿੰਦਾ ਹੈ ਕਿ ਇਹ ਘਟਦਾ ਅੰਤਰ ਸੁਰੱਖਿਆ ਦੀ ਗਰੰਟੀ ਨਹੀਂ ਹੈ; ਓਪਨ-ਵੇਟ ਮਾਡਲਾਂ ਦੀਆਂ ਵਧਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਵਿਸ਼ਵਵਿਆਪੀ ਸਾਈਬਰ ਸੁਰੱਖਿਆ ਲੈਂਡਸਕੇਪ ਵਿੱਚ "ਦੁਰਵਰਤੋਂ ਦਾ ਇੱਕ ਲਗਾਤਾਰ ਅਤੇ ਅਟੱਲ ਜੋਖਮ" ਪੇਸ਼ ਕਰਦੀਆਂ ਹਨ।

ਮੁੱਖ ਨੁਕਤੇ

• ਸਾਈਬਰ ਪ੍ਰਦਰਸ਼ਨ ਅੰਤਰ: Kimi K3 ਨੇ ExploitBench 'ਤੇ 32.2% ਸਕੋਰ ਕੀਤਾ, ਜੋ ਕਿ ਅਗਾਂਹਵਧੂ ਅਮਰੀਕੀ ਮਾਡਲਾਂ ਦੇ 76.2% ਔਸਤ ਤੋਂ ਕਾਫੀ ਪਿੱਛੇ ਹੈ, ਅਤੇ Arbitrary Code Execution (ACE) ਪ੍ਰਾਪਤ ਕਰਨ ਵਿੱਚ ਅਸਫਲ ਰਿਹਾ।
• ਨੈੱਟਵਰਕ ਹਮਲਾ ਸਮਰੱਥਾ: TLO ਸਿਮੂਲੇਸ਼ਨਾਂ ਵਿੱਚ, Kimi K3 ਨੇ 32-ਸਟੈਪ ਹਮਲਾ ਪਾਥ ਵਿੱਚ ਔਸਤ 17 ਸਟੈਪ ਪ੍ਰਾਪਤ ਕੀਤੇ, ਜੋ ਇਹ ਸਾਬਤ ਕਰਦਾ ਹੈ ਕਿ ਇਹ ਕਮਜ਼ੋਰ ਸਿਸਟਮਾਂ ਨੂੰ ਨਿਸ਼ਾਨਾ ਬਣਾ ਸਕਦਾ ਹੈ ਪਰ ਇਸ ਵਿੱਚ ਉੱਚ-ਪੱਧਰੀ ਅਮਰੀਕੀ ਮਾਡਲਾਂ ਵਰਗੀ ਭਰੋਸੇਯੋਗਤਾ ਦੀ ਕਮੀ ਹੈ।
• ਡਿਸਟੀਲੇਸ਼ਨ ਦੀ ਭੂਮਿਕਾ: ਸਾਈਬਰ ਹੁਨਰਾਂ ਵਿੱਚ ਕਮੀ ਡਿਸਟੀਲੇਸ਼ਨ ਅਭਿਆਸਾਂ ਤੋਂ ਹੋ ਸਕਦੀ ਹੈ, ਕਿਉਂਕਿ Claude ਵਰਗੇ ਮਾਡਲਾਂ ਦੇ ਸੈਂਸਰ ਕੀਤੇ ਗਏ ਜਨਤਕ ਆਉਟਪੁੱਟ 'ਤੇ ਟ੍ਰੇਨਿੰਗ ਕਰਨ ਵਿੱਚ ਉੱਨਤ ਐਕਸਪਲੋਇਟੇਸ਼ਨ ਲਈ ਲੋੜੀਂਦੇ ਹਮਲਾਵਰ ਡੇਟਾ ਦੀ ਕਮੀ ਹੁੰਦੀ ਹੈ।