AI రష్యన్ ప్రచారాన్ని నిరోధించగలదా? కొత్త బెంచ్‌మార్క్ విజేతలను వెల్లడించింది

తప్పుడు సమాచార ప్రచారాలు (disinformation campaigns) రోజురోజుకూ మరింత సంక్లిష్టంగా మారుతున్న కొద్దీ, ఒక కీలకమైన ప్రశ్న తలెత్తుతోంది: లార్జ్ లాంగ్వేజ్ మోడల్స్ (LLMs) వాస్తవాలను, ప్రభుత్వ మద్దతు ఉన్న తప్పుడు ప్రచారాలను వేరు చేయగలవా? ఎస్టోనియన్ లాంగ్వేజ్ ఇన్‌స్టిట్యూట్ చేసిన ఇటీవలి అధ్యయనం, లక్షిత రష్యన్ ప్రచారానికి వ్యతిరేకంగా 60 రకాల AI మోడళ్ల యొక్క స్థితిస్థాపకతను పరీక్షించి, దీనికి ఖచ్చితమైన సమాధానాన్ని అందించింది.

పద్ధతి: వెబ్ యాక్సెస్ లేకుండా స్థితిస్థాపకతను పరీక్షించడం

ఫలితాలు వెబ్ బ్రౌజింగ్ సామర్థ్యాన్ని కాకుండా, మోడళ్ల యొక్క సహజమైన తార్కిక సామర్థ్యాలను (reasoning capabilities) కొలిచేలా చూడటానికి, పరిశోధకులు సెర్చ్ ఇంజన్లు లేదా బాహ్య సాధనాలు లేకుండా ఈ పరీక్షలను నిర్వహించారు. ఈ బెంచ్‌మార్క్ మూడు భాషల్లోని 75 ప్రశ్నలను ఉపయోగించింది, ఇవి ప్రత్యేకంగా 14 విభిన్న ప్రచార కథనాలను (propaganda narratives) లక్ష్యంగా చేసుకున్నాయి. ఈ కథనాలను తటస్థ పదజాలం నుండి అత్యంత పక్షపాతంతో కూడిన మరియు తప్పుదారి పట్టించే ప్రాంప్ట్‌ల వరకు వివిధ స్థాయిల కష్టతరంలతో అందించారు.

మూల్యాంకన ప్రక్రియ చాలా క్రమబద్ధంగా ఉంది. ప్రతి ప్రతిస్పందనకు 1 నుండి 5 స్కేల్‌పై స్కోరు ఇవ్వబడింది, ఇక్కడ 1 స్కోరు అంటే మోడల్ రష్యన్ వాదనలకు లొంగిపోయి వాటిని తిరిగి చెప్పిందని అర్థం. అధిక ఖచ్చితత్వాన్ని కాపాడటానికి, కాలిబ్రేటెడ్ Claude Opus 4.5 జడ్జిగా వ్యవహరించింది, మరియు ఫలితాలను Propastop సంస్థకు చెందిన తప్పుడు సమాచార నిపుణులు మరింత ధృవీకరించారు.

తప్పుడు సమాచార రక్షణలో Anthropic అగ్రస్థానంలో

వివిధ AI ప్రొవైడర్ల మధ్య గణనీయమైన పనితీరు వ్యత్యాసాన్ని ఈ ఫలితాలు స్పష్టం చేస్తున్నాయి. తప్పుడు సమాచారాన్ని నిరోధించడంలో Anthropic యొక్క Claude ఫ్యామిలీ పరిశ్రమలో అగ్రగామిగా నిలిచింది. ప్రత్యేకించి, Claude Fable 5 (ప్రస్తుతం ఇది అమెరికా వెలుపల పరిమితం చేయబడింది) 95.2 అనే అత్యుత్తమ స్కోరును సాధించింది. దీని తర్వాత Claude Opus 4.7 నిలవగా, భద్రత మరియు వాస్తవిక సమగ్రతకు (factual integrity) Anthropic ప్రస్తుత గోల్డ్ స్టాండర్డ్‌గా తన స్థానాన్ని సుస్థిరం చేసుకుంది.

Nvidia యొక్క Nemotron 3 మరియు Alibaba యొక్క Qwen 3.6 Plus కూడా గమనించదగ్గ పనితీరును కనబరిచాయి, ఇవి తప్పుదారి పట్టించే కథనాలను గుర్తించి తిరస్కరించడంలో బలమైన సామర్థ్యాన్ని ప్రదర్శించాయి.

Mistral యొక్క బలహీనత మరియు యూరోపియన్ AIకి ఉన్న సవాళ్లు

అమెరికా మరియు చైనా మోడళ్లు బలాన్ని ప్రదర్శించినప్పటికీ, ఫ్రెంచ్ AI దిగ్గజం Mistral కి ఈ ఫలితాలు ఒక వెనకడుగుగా మారాయి. ఇటీవలి Medium 3.5 తో సహా Mistral మోడళ్లు బెంచ్‌మార్క్‌లో చివరి మూడవ వంతు (bottom third) స్థానాల్లో నిలిచాయి. Mistral కోసం 36.67 శాతం తప్పుడు సమాచార రేటును నమోదు చేసిన మునుపటి Newsguard అధ్యయనాన్ని ఈ ఫలితాలు ప్రతిబింబిస్తున్నాయి.

Mistral యొక్క వ్యూహాత్మక స్థితిని పరిగణనలోకి తీసుకుంటే, ఈ బలహీనత చాలా ముఖ్యమైనది. అమెరికా మరియు చైనాకు చెందిన AI ప్రొవైడర్లకు ప్రధాన యూరోపియన్ ప్రత్యామ్నాయంగా, ఈ కంపెనీ ప్రస్తుతం €20 బిలియన్ల విలువతో (valuation) €3 బిలియన్ల నిధుల సేకరణ కోసం చర్చలు జరుపుతోంది. ఒక నమ్మకమైన సార్వభౌమ AI ప్రొవైడర్‌గా తనను తాను నిలబెట్టుకోవాలనుకునే కంపెనీకి, ప్రచారాన్ని (propaganda) నిరంతరం అడ్డుకోలేకపోవడం అనేది ప్రతిష్టకు మరియు సాంకేతికంగా ఒక పెద్ద సవాలుగా మారింది.

ఇది AI రంగం దృష్ట్యా ఎందుకు ముఖ్యమైనది

ఈ బెంచ్‌మార్క్ యొక్క ప్రాముఖ్యత కేవలం ఖచ్చితత్వ స్కోర్‌లకే పరిమితం కాదు. "Pravda" వంటి రష్యన్ డిస్‌ఇన్ఫర్మేషన్ నెట్‌వర్క్‌లు, భవిష్యత్తు మోడళ్ల తర్కాన్ని (logic) "విషపూరితం" (poison) చేయడానికి లక్షలాది కృత్రిమ కథనాలను AI శిక్షణ డేటాసెట్‌లలోకి పంపేందుకు చురుగ్గా పనిచేస్తున్నాయి. జర్మన్ ఫెడరల్ ఎన్నికలను ప్రభావితం చేయడానికి ChatGPTని ఉపయోగించిన రష్యన్ ప్రచారాలను OpenAI ఇప్పటికే గుర్తించి నిలిపివేసిన నేపథ్యంలో, LLMల సమగ్రత (integrity) కోసం జరుగుతున్న పోరాటం ప్రపంచ సమాచార భద్రతలో ఒక కీలకమైన అంశంగా మారుతోంది.

ముఖ్య అంశాలు