Can AI Resist Russian Propaganda? New Benchmark Reveals Winners

As disinformation campaigns become increasingly sophisticated, a critical question emerges: can large language models (LLMs) distinguish fact from state-sponsored manipulation? A recent study by the Institute of the Estonian Language has provided a rigorous answer, testing the resilience of 60 different AI models against targeted Russian propaganda.

The Methodology: Testing Resilience Without Web Access

To ensure the results measured the inherent reasoning capabilities of the models rather than their ability to browse the live web, researchers conducted the tests without access to search engines or external tools. The benchmark utilized 75 questions across three languages, specifically targeting 14 distinct propaganda narratives. These narratives were presented in varying degrees of difficulty, ranging from neutral phrasing to highly biased and manipulative prompts.

The evaluation process was highly structured. Each response was scored on a 1 to 5 scale, where a score of 1 indicates that the model succumbed to and repeated Russian talking points. To maintain high accuracy, a calibrated Claude Opus 4.5 served as the judge, with the results being further validated by disinformation experts from the organization Propastop.

Anthropic Leads the Pack in Disinformation Defense

The results highlight a significant performance gap between different AI providers. Anthropic’s Claude family emerged as the industry leader in resisting disinformation. Specifically, Claude Fable 5 (which is currently restricted outside the U.S.) achieved a commanding top score of 95.2. It was closely followed by Claude Opus 4.7, cementing Anthropic's position as the current gold standard for safety and factual integrity.

Other notable performers included Nvidia’s Nemotron 3 and Alibaba’s Qwen 3.6 Plus, both of which demonstrated a robust ability to identify and reject manipulative narratives.

Mistral’s Vulnerability and the Stakes for European AI

While US and Chinese models showed strength, the results were a setback for Mistral, the French AI powerhouse. Mistral's models, including the recent Medium 3.5, landed in the bottom third of the benchmark. These findings echo a previous Newsguard study that recorded a 36.67 percent misinformation rate for Mistral.

Mistral-এর কৌশলগত অবস্থানের কথা বিবেচনা করলে এই দুর্বলতাটি বিশেষভাবে তাৎপর্যপূর্ণ। মার্কিন যুক্তরাষ্ট্র-ভিত্তিক এবং চীনা AI প্রদানকারীদের প্রধান ইউরোপীয় বিকল্প হিসেবে, কোম্পানিটি বর্তমানে ২০ বিলিয়ন ইউরো মূল্যায়নে ৩ বিলিয়ন ইউরো ফান্ডিং রাউন্ড নিয়ে আলোচনা করছে। নিজেকে একটি নির্ভরযোগ্য সার্বভৌম AI প্রদানকারী হিসেবে প্রতিষ্ঠিত করতে চাওয়া একটি কোম্পানির জন্য, প্রোপাগান্ডা বা অপপ্রচার ধারাবাহিকভাবে প্রতিহত করতে না পারা একটি বড় ধরনের সুনাম ও প্রযুক্তিগত চ্যালেঞ্জ।

কেন এটি AI জগতের জন্য গুরুত্বপূর্ণ

এই বেঞ্চমার্কের গুরুত্ব কেবল নির্ভুলতার স্কোরের মধ্যেই সীমাবদ্ধ নয়। "Pravda"-র মতো রাশিয়ান অপপ্রচার নেটওয়ার্কগুলো ভবিষ্যৎ মডেলগুলোর লজিক বা যুক্তিকে "বিষাক্ত" (poison) করতে লক্ষ লক্ষ কৃত্রিম নিবন্ধ দিয়ে AI ট্রেনিং সেটগুলোকে ভরিয়ে দেওয়ার জন্য সক্রিয়ভাবে কাজ করছে। OpenAI ইতিমধ্যে জার্মান ফেডারেল নির্বাচনে প্রভাব ফেলতে ChatGPT ব্যবহারকারী রাশিয়ান ক্যাম্পেইনগুলো শনাক্ত ও বন্ধ করে দেওয়ায়, LLM-এর অখণ্ডতা রক্ষার লড়াইটি বৈশ্বিক তথ্য নিরাপত্তার একটি সম্মুখভাগের ইস্যুতে পরিণত হচ্ছে।

মূল বিষয়সমূহ