ਕੀ AI ਰੂਸੀ ਪ੍ਰਚਾਰ ਦਾ ਵਿਰੋਧ ਕਰ ਸਕਦਾ ਹੈ? ਨਵਾਂ ਬੈਂਚਮਾਰਕ ਜੇਤੂਆਂ ਦਾ ਖੁਲਾਸਾ ਕਰਦਾ ਹੈ

ਜਿਵੇਂ-ਜਿਵੇਂ ਗਲਤ ਜਾਣਕਾਰੀ ਦੀਆਂ ਮੁਹਿੰਮਾਂ ਵਧੇਰੇ ਗੁੰਝਲਦਾਰ ਹੁੰਦੀਆਂ ਜਾ ਰਹੀਆਂ ਹਨ, ਇੱਕ ਅਹਿਮ ਸਵਾਲ ਉੱਭਰਦਾ ਹੈ: ਕੀ ਲਾਰਜ ਲੈਂਗੂਏਜ ਮਾਡਲ (LLMs) ਤੱਥਾਂ ਅਤੇ ਰਾਜ-ਸਪਾਂਸਰਡ ਹੇਰਾਫੇਰੀ ਵਿਚਕਾਰ ਅੰਤਰ ਕਰ ਸਕਦੇ ਹਨ? Institute of the Estonian Language ਦੇ ਇੱਕ ਤਾਜ਼ਾ ਅਧਿਐਨ ਨੇ 60 ਵੱਖ-ਵੱਖ AI ਮਾਡਲਾਂ ਦੀ ਨਿਸ਼ਾਨਾ ਰੂਸੀ ਪ੍ਰਚਾਰ ਦੇ ਵਿਰੁੱਧ ਲਚਕੀਲੇਪਣ ਦੀ ਜਾਂਚ ਕਰਕੇ ਇੱਕ ਸਖ਼ਤ ਜਵਾਬ ਦਿੱਤਾ ਹੈ।

ਵਿਧੀ: ਵੈੱਬ ਐਕਸੈਸ ਤੋਂ ਬਿਨਾਂ ਲਚਕੀਲੇਪਣ ਦੀ ਜਾਂਚ ਕਰਨਾ

ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਕਿ ਨਤੀਜੇ ਮਾਡਲਾਂ ਦੀ ਲਾਈਵ ਵੈੱਬ ਸਰੋਤਾਂ ਨੂੰ ਬ੍ਰਾਊਜ਼ ਕਰਨ ਦੀ ਯੋਗਤਾ ਦੀ ਬਜਾਏ ਉਹਨਾਂ ਦੀ ਮੌਜੂਦਾ ਤਰਕਸ਼ੀਲਤਾ (reasoning capabilities) ਨੂੰ ਮਾਪਦੇ ਹਨ, ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਸਰਚ ਇੰਜਣਾਂ ਜਾਂ ਬਾਹਰੀ ਸਾਧਨਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੇ ਬਿਨਾਂ ਇਹ ਟੈਸਟ ਕੀਤੇ। ਇਸ ਬੈਂਚਮਾਰਕ ਵਿੱਚ ਤਿੰਨ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ 75 ਸਵਾਲਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਗਈ ਸੀ, ਜੋ ਖਾਸ ਤੌਰ 'ਤੇ 14 ਵੱਖ-ਵੱਖ ਪ੍ਰਚਾਰ ਕਥਾਨਕਾਂ (propaganda narratives) ਨੂੰ ਨਿਸ਼ਾਨਾ ਬਣਾਉਂਦੇ ਸਨ। ਇਹ ਕਥਾਨਕ ਵੱਖ-ਵੱਖ ਪੱਧਰਾਂ ਦੀ ਮੁਸ਼ਕਲ ਦੇ ਨਾਲ ਪੇਸ਼ ਕੀਤੇ ਗਏ ਸਨ, ਜਿਸ ਵਿੱਚ ਨਿਰਪੱਖ ਸ਼ਬਦਾਵਲੀ ਤੋਂ ਲੈ ਕੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਪੱਖਪਾਤੀ ਅਤੇ ਹੇਰਾਫੇਰੀ ਵਾਲੇ ਪ੍ਰੋਂਪਟ ਸ਼ਾਮਲ ਸਨ।

ਮੁਲਾਂਕਣ ਪ੍ਰਕਿਰਿਆ ਬਹੁਤ ਹੀ ਸੰਗਠਿਤ ਸੀ। ਹਰੇਕ ਜਵਾਬ ਨੂੰ 1 ਤੋਂ 5 ਦੇ ਪੈਮਾਨੇ 'ਤੇ ਸਕੋਰ ਦਿੱਤਾ ਗਿਆ ਸੀ, ਜਿੱਥੇ 1 ਦਾ ਸਕੋਰ ਇਹ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਮਾਡਲ ਰੂਸੀ ਮੁੱਖ ਨੁਕਤਿਆਂ (talking points) ਦੇ ਅੱਗੇ ਝੁਕ ਗਿਆ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਦੁਹਰਾਇਆ। ਉੱਚ ਸ਼ੁੱਧਤਾ ਬਣਾਈ ਰੱਖਣ ਲਈ, ਇੱਕ ਕੈਲੀਬਰੇਟਡ Claude Opus 4.5 ਨੇ ਜੱਜ ਵਜੋਂ ਕੰਮ ਕੀਤਾ, ਅਤੇ ਨਤੀਜਿਆਂ ਦੀ Propastop ਸੰਸਥਾ ਦੇ ਗਲਤ ਜਾਣਕਾਰੀ ਦੇ ਮਾਹਰਾਂ ਦੁਆਰਾ ਹੋਰ ਪੁਸ਼ਟੀ ਕੀਤੀ ਗਈ।

ਗਲਤ ਜਾਣਕਾਰੀ ਦੇ ਵਿਰੋਧ ਵਿੱਚ Anthropic ਸਭ ਤੋਂ ਅੱਗੇ

ਨਤੀਜੇ ਵੱਖ-ਵੱਖ AI ਪ੍ਰਦਾਤਾਵਾਂ ਵਿਚਕਾਰ ਕਾਰਗੁਜ਼ਾਰੀ ਦੇ ਇੱਕ ਵੱਡੇ ਪਾੜੇ ਨੂੰ ਉਜਾਗਰ ਕਰਦੇ ਹਨ। Anthropic ਦਾ Claude ਪਰਿਵਾਰ ਗਲਤ ਜਾਣਕਾਰੀ ਦਾ ਵਿਰੋਧ ਕਰਨ ਵਿੱਚ ਉਦਯੋਗ ਦਾ ਲੀਡਰ ਵਜੋਂ ਉਭਰਿਆ। ਖਾਸ ਤੌਰ 'ਤੇ, Claude Fable 5 (ਜੋ ਕਿ ਵਰਤਮਾਨ ਵਿੱਚ ਅਮਰੀਕਾ ਤੋਂ ਬਾਹਰ ਸੀਮਤ ਹੈ) ਨੇ 95.2 ਦਾ ਸ਼ਾਨਦਾਰ ਉੱਚ ਸਕੋਰ ਪ੍ਰਾਪਤ ਕੀਤਾ। ਇਸ ਤੋਂ ਬਾਅਦ Claude Opus 4.7 ਦਾ ਨੰਬਰ ਆਇਆ, ਜਿਸ ਨੇ ਸੁਰੱਖਿਆ ਅਤੇ ਤੱਥਾਂ ਦੀ ਇਮਾਨਦਾਰੀ ਲਈ Anthropic ਦੀ ਸਥਿਤੀ ਨੂੰ ਮੌਜੂਦਾ 'ਗੋਲਡ ਸਟੈਂਡਰਡ' ਵਜੋਂ ਮਜ਼ਬੂਤ ਕੀਤਾ।

ਹੋਰ ਪ੍ਰਮੁੱਖ ਕਾਰਗੁਜ਼ਾਰਾਂ ਵਿੱਚ Nvidia ਦਾ Nemotron 3 ਅਤੇ Alibaba ਦਾ Qwen 3.6 Plus ਸ਼ਾਮਲ ਸਨ, ਦੋਵਾਂ ਨੇ ਹੇਰਾਫੇਰੀ ਵਾਲੇ ਕਥਾਨਕਾਂ ਦੀ ਪਛਾਣ ਕਰਨ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਰੱਦ ਕਰਨ ਦੀ ਮਜ਼ਬੂਤ ਯੋਗਤਾ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕੀਤਾ।

Mistral ਦੀ ਕਮਜ਼ੋਰੀ ਅਤੇ ਯੂਰਪੀਅਨ AI ਲਈ ਖ਼ਤਰਾ

ਜਦੋਂ ਕਿ ਅਮਰੀਕੀ ਅਤੇ ਚੀਨੀ ਮਾਡਲਾਂ ਨੇ ਮਜ਼ਬੂਤੀ ਦਿਖਾਈ, ਨਤੀਜੇ ਫਰਾਂਸੀਸੀ AI ਸ਼ਕਤੀ Mistral ਲਈ ਇੱਕ ਝਟਕਾ ਸਨ। Mistral ਦੇ ਮਾਡਲ, ਜਿਸ ਵਿੱਚ ਹਾਲ ਹੀ ਵਿੱਚ ਆਇਆ Medium 3.5 ਸ਼ਾਮਲ ਹੈ, ਬੈਂਚਮਾਰਕ ਦੇ ਹੇਠਲੇ ਤੀਜੇ ਹਿੱਸੇ ਵਿੱਚ ਰਹੇ। ਇਹ ਖੋਜ ਪਿਛਲੇ Newsguard ਅਧਿਐਨ ਦੀ ਪੁਸ਼ਟੀ ਕਰਦੀ ਹੈ ਜਿਸ ਨੇ Mistral ਲਈ 36.67 ਪ੍ਰਤੀਸ਼ਤ ਗਲਤ ਜਾਣਕਾਰੀ ਦੀ ਦਰ ਦਰਜ ਕੀਤੀ ਸੀ।

Mistral ਦੀ ਰਣਨੀਤਕ ਸਥਿਤੀ ਨੂੰ ਦੇਖਦੇ ਹੋਏ ਇਹ ਕਮਜ਼ੋਰੀ ਖਾਸ ਤੌਰ 'ਤੇ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਅਮਰੀਕਾ-ਅਧਾਰਤ ਅਤੇ ਚੀਨੀ AI ਪ੍ਰਦਾਤਾਵਾਂ ਦੇ ਮੁੱਖ ਯੂਰਪੀਅਨ ਵਿਕਲਪ ਵਜੋਂ, ਕੰਪਨੀ ਇਸ ਸਮੇਂ €20 ਬਿਲੀਅਨ ਦੇ ਮੁਲਾਂਕਣ 'ਤੇ €3 ਬਿਲੀਅਨ ਦੇ ਫੰਡਿੰਗ ਰਾਊਂਡ ਲਈ ਗੱਲਬਾਤ ਕਰ ਰਹੀ ਹੈ। ਇੱਕ ਭਰੋਸੇਯੋਗ ਪ੍ਰਭੂਸੱਤਾ ਸੰਪੰਨ AI ਪ੍ਰਦਾਤਾ ਵਜੋਂ ਆਪਣੇ ਆਪ ਨੂੰ ਪੇਸ਼ ਕਰਨ ਵਾਲੀ ਕੰਪਨੀ ਲਈ, ਪ੍ਰਚਾਰ (propaganda) ਨੂੰ ਲਗਾਤਾਰ ਰੋਕਣ ਵਿੱਚ ਅਸਮਰੱਥਾ ਇੱਕ ਵੱਡੀ ਸਾਖੀ ਅਤੇ ਤਕਨੀਕੀ ਚੁਣੌਤੀ ਪੇਸ਼ ਕਰਦੀ ਹੈ।

ਇਹ AI ਲੈਂਡਸਕੇਪ ਲਈ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ

ਇਸ ਬੈਂਚਮਾਰਕ ਦਾ ਮਹੱਤਵ ਸਿਰਫ਼ ਸਹੀ ਸਕੋਰਾਂ ਤੱਕ ਹੀ ਸੀਮਤ ਨਹੀਂ ਹੈ। ਰੂਸੀ ਡਿਸਇਨਫੋਰਮੇਸ਼ਨ ਨੈੱਟਵਰਕ, ਜਿਵੇਂ ਕਿ "Pravda," ਭਵਿੱਖ ਦੇ ਮਾਡਲਾਂ ਦੇ ਤਰਕ ਨੂੰ "ਜ਼ਹਿਰੀਲਾ" ਕਰਨ ਲਈ ਲੱਖਾਂ ਬਣਾਵਟੀ ਲੇਖਾਂ ਨਾਲ AI ਟ੍ਰੇਨਿੰਗ ਸੈੱਟਾਂ ਨੂੰ ਭਰਨ ਲਈ ਸਰਗਰਮੀ ਨਾਲ ਕੰਮ ਕਰ ਰਹੇ ਹਨ। OpenAI ਪਹਿਲਾਂ ਹੀ ਜਰਮਨ ਸੰਘੀ ਚੋਣਾਂ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਨ ਲਈ ChatGPT ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਾਲੇ ਰੂਸੀ ਮੁਹਿੰਮਾਂ ਦੀ ਪਛਾਣ ਕਰਕੇ ਉਹਨਾਂ ਨੂੰ ਬੰਦ ਕਰ ਚੁੱਕਾ ਹੈ, ਜਿਸ ਕਾਰਨ LLMs ਦੀ ਅਖੰਡਤਾ ਲਈ ਲੜਾਈ ਗਲੋਬਲ ਜਾਣਕਾਰੀ ਸੁਰੱਖਿਆ ਵਿੱਚ ਇੱਕ ਮੂਹਰੇ ਦੀ ਸਮੱਸਿਆ ਬਣ ਰਹੀ ਹੈ।

ਮੁੱਖ ਨੁਕਤੇ