ਕੀ Kimi K3 ਡਿਸਟੀਲੇਸ਼ਨ (Distillation) ਦਾ ਉਤਪਾਦ ਹੈ? ਮਾਹਰਾਂ ਨੇ ਲਗਾਏ ਗਏ ਦੋਸ਼ਾਂ ਨੂੰ ਚੁਣੌਤੀ ਦਿੱਤੀ

ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ (AI) ਦੇ ਆਲੇ-ਦੁਆਲੇ ਭੂ-ਰਾਜਨੀਤਿਕ ਤਣਾਅ ਇੱਕ ਅਜਿਹੇ ਮੋੜ 'ਤੇ ਪਹੁੰਚ ਗਿਆ ਹੈ ਜਿੱਥੇ ਅਮਰੀਕੀ ਅਧਿਕਾਰੀਆਂ ਨੇ ਚੀਨੀ ਕੰਪਨੀਆਂ 'ਤੇ ਉਦਯੋਗਿਕ ਜਾਸੂਸੀ ਦੇ ਦੋਸ਼ ਲਗਾਏ ਹਨ। ਹਾਲਾਂਕਿ ਦੋਸ਼ ਲਗਾਏ ਜਾ ਰਹੇ ਹਨ ਕਿ Moonshot AI ਨੇ ਆਪਣੇ Kimi K3 ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ Anthropic ਦੇ Fable ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਹੈ, ਪਰ ਪ੍ਰਮੁੱਖ AI ਖੋਜਕਰਤਾਵਾਂ ਦਾ ਕਹਿਣਾ ਹੈ ਕਿ ਲਾਰਜ ਲੈਂਗੂਏਜ ਮਾਡਲ (LLM) ਵਿਕਾਸ ਦੀ ਤਕਨੀਕੀ ਹਕੀਕਤ ਇੱਕ ਬਹੁਤ ਹੀ ਗੁੰਝਲਦਾਰ ਕਹਾਣੀ ਦੱਸਦੀ ਹੈ।

ਮਾਡਲ ਡਿਸਟੀਲੇਸ਼ਨ ਅਤੇ IP ਚੋਰੀ ਦੇ ਦੋਸ਼

ਵ੍ਹਾਈਟ ਹਾਊਸ ਦੇ ਵਿਗਿਆਨ ਸਲਾਹਕਾਰ ਮਾਈਕਲ ਕ੍ਰੈਟਸੀਓਸ ਨੇ Kimi K3 ਦੇ ਪਿੱਛੇ ਕੰਮ ਕਰਨ ਵਾਲੀ ਕੰਪਨੀ Moonshot ਵਿਰੁੱਧ ਗੰਭੀਰ ਦੋਸ਼ ਲਗਾਏ ਹਨ—ਜੋ ਕਿ ਵਰਤਮਾਨ ਵਿੱਚ ਉਪਲਬਧ ਸਭ ਤੋਂ ਵੱਡਾ open-weight LLM ਹੈ। ਕ੍ਰੈਟਸੀਓਸ ਦਾ ਦੋਸ਼ ਹੈ ਕਿ Moonshot ਨੇ ਅਮਰੀਕੀ ਮਲਕੀਅਤ ਵਾਲੀ ਤਕਨਾਲੋਜੀ ਚੋਰੀ ਕਰਨ ਲਈ "ਵੱਡੇ ਪੱਧਰ 'ਤੇ, ਗੁਪਤ ਉਦਯੋਗਿਕ ਡਿਸਟੀਲੇਸ਼ਨ" ਵਿੱਚ ਹਿੱਸਾ ਲਿਆ ਹੈ। ਇਸ ਦਾ ਸਮਰਥਨ ਟ੍ਰੇਜ਼ਰੀ ਸਕੱਤਰ ਸਕੌਟ ਬੈਸੈਂਟ ਨੇ ਵੀ ਕੀਤਾ ਹੈ, ਜਿਨ੍ਹਾਂ ਨੇ ਨੋਟ ਕੀਤਾ ਕਿ ਚੀਨੀ ਮਾਡਲਾਂ ਵਿੱਚ ਅਮਰੀਕੀ LLMs ਦੇ "ਵਾਟਰਮਾਰਕਸ" (watermarks) ਦਿਖਾਈ ਦੇ ਰਹੇ ਹਨ।

ਡਿਸਟੀਲੇਸ਼ਨ ਇੱਕ ਅਜਿਹੀ ਪ੍ਰਕਿਰਿਆ ਹੈ ਜਿੱਥੇ ਇੱਕ ਵੱਡੇ, "ਫਰੰਟੀਅਰ" (frontier) ਮਾਡਲ ਤੋਂ ਉਸਦੀ ਤਰਕ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਅਤੇ ਗਿਆਨ ਕੱਢਣ ਲਈ ਉਸ ਨੂੰ ਪ੍ਰਸ਼ਨ ਪੁੱਛ ਕੇ ਇੱਕ ਛੋਟੇ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ। ਇਸ ਵਿੱਚ ਅਕਸਰ supervised fine-tuning (SFT) ਸ਼ਾਮਲ ਹੁੰਦਾ ਹੈ, ਜਿੱਥੇ ਇੱਕ ਨਵੇਂ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਇੱਕ ਟਾਰਗੇਟ ਮਾਡਲ ਦੇ ਪ੍ਰੋਂਪਟ (prompts) ਅਤੇ ਜਵਾਬਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਜਿਸ ਨਾਲ ਕਈ ਵਾਰ ਨਵਾਂ ਮਾਡਲ ਅਸਲ ਮਾਡਲ ਦੇ "ਵਿਹਾਰ" ਜਾਂ ਖਾਸ ਗੱਲਬਾਤ ਦੇ ਅੰਦਾਜ਼ ਨੂੰ ਅਪਣਾ ਲੈਂਦਾ ਹੈ।

ਮਾਹਰ ਡਿਸਟੀਲੇਸ਼ਨ ਸਿਧਾਂਤ 'ਤੇ ਸ਼ੱਕ ਕਿਉਂ ਕਰਦੇ ਹਨ

ਇਨ੍ਹਾਂ ਦਾਅਵਿਆਂ ਦੇ ਰਾਜਨੀਤਿਕ ਭਾਰ ਦੇ ਬਾਵਜੂਦ, AI ਖੋਜ ਭਾਈਚਾਰਾ ਸ਼ੱਕੀ ਬਣਿਆ ਹੋਇਆ ਹੈ। Laude Institute ਦੇ ਖੋਜਕਰਤਾ ਅਤੇ Snorkel AI ਦੇ ਸਹਿ-ਸੰਸਥਾਪਕ ਬ੍ਰਾਡਨ ਹੈਨਕਾਕ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਸਮੇਂ ਦੀ ਸਮੱਸਿਆ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦੇ ਹਨ: Anthropic ਦਾ Fable ਸਿਰਫ 1 ਜੁਲਾਈ ਤੋਂ ਜਨਤਕ ਤੌਰ 'ਤੇ ਉਪਲਬਧ ਹੈ। ਹੈਨਕਾਕ ਨੇ ਨੋਟ ਕੀਤਾ, "ਤੁਸੀਂ ਇੰਨਾ ਜ਼ਿਆਦਾ ਡਾਟਾ ਡਿਸਟਿਲ ਨਹੀਂ ਕਰ ਸਕਦੇ, ਇੱਕ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਨਹੀਂ ਦੇ ਸਕਦੇ, ਅਤੇ ਦੋ ਹਫ਼ਤਿਆਂ ਵਿੱਚ ਇਸਨੂੰ ਰਿਲੀਜ਼ ਨਹੀਂ ਕਰ ਸਕਦੇ।"

ਇਸ ਤੋਂ ਇਲਾਵਾ, Allen Institute for AI ਦੇ ਨੈਥਨ ਲੈਮਬਰਟ ਦਾ ਤਰਕ ਹੈ ਕਿ ਜਿਵੇਂ-ਜਿਵੇਂ ਮਾਡਲ ਫਰੰਟੀਅਰ ਵੱਲ ਵਧ ਰਹੇ ਹਨ, SFT ਰਾਹੀਂ ਡਿਸਟੀਲੇਸ਼ਨ ਘੱਟ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੁੰਦੀ ਜਾ ਰਹੀ ਹੈ। Kimi K3 ਵਿੱਚ ਦੇਖੇ ਗਏ ਪ੍ਰਦਰਸ਼ਨ ਦੇ ਪੱਧਰ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, ਇੱਕ ਮਾਡਲ ਨੂੰ ਸ਼ਾਇਦ ਵਿਸ਼ਾਲ reinforcement learning (RL) ਰਨਾਂ ਦੀ ਲੋੜ ਹੋਵੇਗੀ। ਇਸ ਪ੍ਰਕਿਰਿਆ ਲਈ ਜਵਾਬਾਂ ਨੂੰ ਗ੍ਰੇਡ ਕਰਨ ਲਈ ਦਸ ਲੱਖਾਂ ਏਜੰਟਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ—ਇੱਕ ਅਜਿਹਾ ਕੰਮ ਜੋ ਜੇਕਰ ਕਿਸੇ ਮੁਕਾਬਲੇਬਾਜ਼ ਦੀ API ਰਾਹੀਂ ਕੀਤਾ ਜਾਵੇ ਤਾਂ ਬਹੁਤ ਮਹਿੰਗਾ ਅਤੇ ਹੌਲੀ ਹੋਵੇਗਾ।

ਹਾਰਡਵੇਅਰ ਅਤੇ ਤਕਨੀਕੀ ਮੁਹਾਰਤ ਦੀ ਭੂਮਿਕਾ

ਇਹ ਵਿਵਾਦ ਸਿਰਫ ਸਾਫਟਵੇਅਰ ਤੱਕ ਸੀਮਤ ਨਹੀਂ ਹੈ। ਕ੍ਰੈਟਸੀਓਸ ਨੇ ਇਹ ਵੀ ਦੋਸ਼ ਲਗਾਇਆ ਕਿ Moonshot ਨੇ ਉੱਨਤ Nvidia ਹਾਰਡਵੇਅਰ ਤੱਕ ਪਹੁੰਚ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਨਿਰਯਾਤ ਨਿਯੰਤਰਣਾਂ (export controls) ਦੀ ਉਲੰਘਣਾ ਕੀਤੀ, ਖਾਸ ਤੌਰ 'ਤੇ Grace Blackwell 300 ਚਿਪਸ ਅਤੇ GB300-ਸੰਪੰਨ ਸਰਵਰਾਂ ਦਾ ਜ਼ਿਕਰ ਕੀਤਾ। ਹਾਲਾਂਕਿ ਇਹ ਚਿਪਸ ਚੀਨ ਨੂੰ ਨਿਰਯਾਤ ਕਰਨ ਲਈ ਬੈਨ ਹਨ, ਜਾਰਜਟਾਊਨ ਦੇ ਸਮ ਨੇ ਬ੍ਰੇਸਨਿਕ ਵਰਗੇ ਮਾਹਰਾਂ ਦਾ ਸੁਝਾਅ ਹੈ ਕਿ ਕਾਲੇ ਬਾਜ਼ਾਰ ਅਤੇ ਗੁੰਝਲਦਾਰ ਵਿਸ਼ਵਵਿਆਪੀ ਸਪਲਾਈ ਚੇਨਾਂ ਇਹਨਾਂ ਹਾਰਡਵੇਅਰ ਪ੍ਰਵਾਹਾਂ ਦੀ ਨਿਗਰਾਨੀ ਕਰਨਾ ਬਹੁਤ ਮੁਸ਼ਕਲ ਬਣਾ ਦਿੰਦੀਆਂ ਹਨ।

ਹਾਲਾਂਕਿ, ਬਹੁਤ ਸਾਰੇ ਖੋਜਕਰਤਾਵਾਂ ਦਾ ਤਰਕ ਹੈ ਕਿ ਡਿਸਟੀਲੇਸ਼ਨ 'ਤੇ ਧਿਆਨ ਦੇਣਾ ਚੀਨੀ AI ਟੀਮਾਂ ਦੀ ਤਕਨੀਕੀ ਜਾਇਜ਼ਤਾ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ। Carnegie Mellon University ਵਰਗੀਆਂ ਉੱਤਮ ਸੰਸਥਾਵਾਂ ਤੋਂ ਆਉਣ ਵਾਲੇ ਸੰਸਥਾਪਕਾਂ ਦੇ ਨਾਲ, ਮਾਹਰਾਂ ਦਾ ਸੁਝਾਅ ਹੈ ਕਿ Moonshot ਸਿਰਫ "ਦੂਜਿਆਂ ਦੀ ਸਫਲਤਾ ਦਾ ਫਾਇਦਾ ਉਠਾਉਣ" ਦੀ ਬਜਾਏ ਅਸਲ ਖੋਜ ਕਰਨ ਦੇ ਯੋਗ ਹੈ।

ਵਿਸ਼ਵਵਿਆਪੀ AI ਦੌੜ ਲਈ ਪ੍ਰਭਾਵ

ਇਹ ਵਿਵਾਦ ਰਾਜਨੀਤਿਕ ਬਿਰਤਾਂਤਾਂ ਅਤੇ ਤਕਨੀਕੀ ਹਕੀਕਤਾਂ ਵਿਚਕਾਰ ਵਧਦੀ ਦੂਰੀ ਨੂੰ ਉਜਾਗਰ ਕਰਦਾ ਹੈ। ਜਿਵੇਂ-ਜਿਵੇਂ ਉਦਯੋਗ ਉੱਨਤ reinforcement learning ਅਤੇ ਵਿਸ਼ਾਲ ਕੰਪਿਊਟਿੰਗ ਲੋੜਾਂ ਵੱਲ ਵਧ ਰਿਹਾ ਹੈ, ਇਹ ਬਹਿਸ ਕਿ ਕੀ ਕੰਪਨੀਆਂ ਬੁੱਧੀ "ਚੋਰੀ" ਕਰ ਰਹੀਆਂ ਹਨ ਜਾਂ ਸਿਰਫ ਬਿਹਤਰ ਇੰਜੀਨੀਅਰਿੰਗ ਰਾਹੀਂ ਅੱਗੇ ਵਧ ਰਹੀਆਂ ਹਨ, ਅੰਤਰਰਾਸ਼ਟਰੀ ਵਪਾਰ ਨੀਤੀ ਅਤੇ AI ਨਿਯਮਾਂ ਨੂੰ ਰੂਪ ਦਿੰਦੀ ਰਹੇਗੀ।

ਮੁੱਖ ਗੱਲਾਂ

• ਤਕਨੀਕੀ ਸ਼ੱਕ: ਮਾਹਰਾਂ ਦਾ ਤਰਕ ਹੈ ਕਿ Kimi K3 ਦੀ ਤੇਜ਼ ਰਿਲੀਜ਼ ਇਸ ਗੱਲ ਨੂੰ ਗਣਿਤਕ ਤੌਰ 'ਤੇ ਅਸੰਭਵ ਬਣਾਉਂਦੀ ਹੈ ਕਿ ਇਹ ਸਿਰਫ Anthropic ਦੇ Fable ਦੀ ਡਿਸਟੀਲੇਸ਼ਨ ਰਾਹੀਂ ਬਣਾਇਆ ਗਿਆ ਸੀ।
• Fine-Tuning ਤੋਂ ਪਰੇ: ਹਾਲਾਂਕਿ supervised fine-tuning ਰਾਹੀਂ ਡਿਸਟੀਲੇਸ਼ਨ ਹੁੰਦੀ ਹੈ, ਪਰ ਫਰੰਟੀਅਰ-ਪੱਧਰ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਸ਼ਾਇਦ ਉੱਨਤ reinforcement learning ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ ਜਿਸਦੀ ਆਸਾਨੀ ਨਾਲ "ਨਕਲ" ਨਹੀਂ ਕੀਤੀ ਜਾ ਸਕਦੀ।
• ਹਾਰਡਵੇਅਰ ਚਿੰਤਾਵਾਂ: ਬੈਨ ਕੀਤੇ ਗਏ Nvidia Blackwell ਚਿਪਸ ਤੱਕ ਗੈਰ-ਕਾਨੂੰਨੀ ਪਹੁੰਚ ਦੇ ਦੋਸ਼ ਚੀਨੀ AI ਪ੍ਰਗਤੀ ਬਾਰੇ ਬਹਿਸ ਵਿੱਚ ਭੂ-ਰਾਜਨੀਤਿਕ ਗੁੰਝਲਦਾਰਤਾ ਦਾ ਇੱਕ ਪੱਧਰ ਜੋੜਦੇ ਹਨ।