શું AI રશિયન પ્રચારનો સામનો કરી શકે છે? નવો બેન્ચમાર્ક વિજેતાઓને જાહેર કરે છે
જેમ જેમ ખોટી માહિતી (disinformation) ના અભિયાનો વધુ જટિલ બની રહ્યા છે, તેમ એક મહત્વપૂર્ણ પ્રશ્ન ઉભો થાય છે: શું લાર્જ લેંગ્વેજ મોડલ્સ (LLMs) તથ્યો અને રાજ્ય-પ્રાયોજિત હેરાફેરી વચ્ચેનો તફાવત પારખી શકે છે? એસ્ટોનિયન લેંગ્વેજ ઇન્સ્ટિટ્યૂટના તાજેતરના અભ્યાસે 60 અલગ-અલગ AI મોડલ્સની લક્ષિત રશિયન પ્રચાર સામેની સ્થિતિસ્થાપકતાનું પરીક્ષણ કરીને એક સચોટ જવાબ આપ્યો છે.
પદ્ધતિ: વેબ એક્સેસ વિના સ્થિતિસ્થાપકતાનું પરીક્ષણ
પરિણામો મોડલ્સની લાઈવ વેબ બ્રાઉઝ કરવાની ક્ષમતાને બદલે તેમની આંતરિક તર્કશક્તિનું માપન કરે છે તે સુનિશ્ચિત કરવા માટે, સંશોધકોએ સર્ચ એન્જિન અથવા બાહ્ય સાધનોના ઉપયોગ વિના આ પરીક્ષણો હાથ ધર્યા હતા. આ બેન્ચમાર્કમાં ત્રણ ભાષાઓમાં 75 પ્રશ્નોનો ઉપયોગ કરવામાં આવ્યો હતો, જે ખાસ કરીને 14 અલગ-અલગ પ્રચારના વિષયો (narratives) ને લક્ષિત કરે છે. આ વિષયોને તટસ્થ શબ્દપ્રયોગથી લઈને અત્યંત પક્ષપાતી અને હેરાફેરીભર્યા પ્રોમ્પ્ટ્સ સુધીની વિવિધ મુશ્કેલીના સ્તરોમાં રજૂ કરવામાં આવ્યા હતા.
મૂલ્યાંકન પ્રક્રિયા અત્યંત વ્યવસ્થિત હતી. દરેક પ્રતિસાદને 1 થી 5 ના સ્કેલ પર સ્કોર આપવામાં આવ્યો હતો, જ્યાં 1 સ્કોર સૂચવે છે કે મોડલ રશિયન દલીલોનો શિકાર બન્યું અને તેને દોહરાવ્યું. ઉચ્ચ ચોકસાઈ જાળવી રાખવા માટે, કેલિબ્રેટેડ Claude Opus 4.5 એ જજ તરીકે કામ કર્યું હતું, અને પરિણામોનું Propastop સંસ્થાના ડિસઇન્ફોર્મેશન નિષ્ણાતો દ્વારા વધુ પ્રમાણિત કરવામાં આવ્યું હતું.
ડિસઇન્ફોર્મેશન સામેના બચાવમાં Anthropic મોખરે
પરિણામો વિવિધ AI પ્રદાતાઓ વચ્ચેના નોંધપાત્ર કામગીરીના તફાવતને રેખાંકિત કરે છે. ડિસઇન્ફોર્મેશનનો પ્રતિકાર કરવામાં Anthropic નું Claude ફેમિલી ઉદ્યોગમાં લીડર તરીકે ઉભરી આવ્યું છે. ખાસ કરીને, Claude Fable 5 (જે હાલમાં યુએસની બહાર પ્રતિબંધિત છે) એ 95.2 નો શાનદાર ટોપ સ્કોર મેળવ્યો હતો. તેની તરત જ પાછળ Claude Opus 4.7 હતું, જે સુરક્ષા અને તથ્યપૂર્ણ અખંડિતતા માટે Anthropic ના વર્તમાન ગોલ્ડ સ્ટાન્ડર્ડ તરીકેના સ્થાનને મજબૂત બનાવે છે.
અન્ય નોંધપાત્ર કામગીરી કરનારાઓમાં Nvidia નું Nemotron 3 અને Alibaba નું Qwen 3.6 Plus સામેલ હતા, જે બંનેએ હેરાફેરીભર્યા વિષયોને ઓળખવા અને નકારવાની મજબૂત ક્ષમતા દર્શાવી હતી.
Mistral ની નબળાઈ અને યુરોપિયન AI માટેના જોખમો
જ્યારે યુએસ અને ચીની મોડલ્સમાં મજબૂતી જોવા મળી, ત્યારે પરિણામો ફ્રેન્ચ AI પાવરહાઉસ Mistral માટે એક આંચકો સમાન હતા. તાજેતરના Medium 3.5 સહિતના Mistral ના મોડલ્સ બેન્ચમાર્કના ત્રીજા ભાગમાં (bottom third) રહ્યા હતા. આ તારણો અગાઉના Newsguard અભ્યાસને પુનરાવર્તિત કરે છે, જેમાં Mistral માટે 36.67 ટકા ખોટી માહિતીનો દર નોંધવામાં આવ્યો હતો.
This vulnerability is particularly significant given Mistral's strategic position. As the primary European alternative to US-based and Chinese AI providers, the company is currently in the midst of negotiating a €3 billion funding round at a €20 billion valuation. For a company positioning itself as a reliable sovereign AI provider, the inability to consistently deflect propaganda presents a significant reputational and technical challenge.
Why This Matters for the AI Landscape
The stakes of this benchmark extend beyond simple accuracy scores. Russian disinformation networks, such as "Pravda," are actively working to flood AI training sets with millions of manufactured articles to "poison" the logic of future models. With OpenAI already having identified and shut down Russian campaigns using ChatGPT to influence German federal elections, the battle for the integrity of LLMs is becoming a frontline issue in global information security.
Key Takeaways
- Anthropic Dominance: Claude models, particularly Claude Fable 5, demonstrated superior resistance to propaganda compared to all other tested models.
- Mistral Under Pressure: Despite its high valuation and European importance, Mistral models struggled significantly with misinformation, trailing behind US and Chinese competitors.
- The Training Threat: The benchmark highlights the urgent need for robust defenses as state-sponsored actors actively attempt to manipulate LLM outputs through massive disinformation campaigns.