AI रशियन प्रोपगंडाला प्रतिकार करू शकेल का? नवीन बेंचमार्क विजेत्यांचे दर्शन घडवतो

जसे चुकीच्या माहितीचे (disinformation) मोहीम अधिक प्रगत होत आहेत, तसा एक महत्त्वाचा प्रश्न समोर येत आहे: लार्ज लँग्वेज मॉडेल्स (LLMs) तथ्य आणि राज्य-प्रायोजित फेरफार यातील फरक ओळखू शकतात का? एस्टोनियन लँग्वेज इन्स्टिट्यूटच्या अलीकडील अभ्यासाने याचे सखोल उत्तर दिले आहे, ज्यामध्ये लक्ष्यित रशियन प्रोपगंडाविरुद्ध ६० वेगवेगळ्या AI मॉडेल्सच्या प्रतिकारक्षमतेची चाचणी घेण्यात आली.

कार्यपद्धती: वेब ॲक्सेसशिवाय प्रतिकारक्षमतेची चाचणी

निकाल हे मॉडेल्सच्या थेट वेब ब्राउझिंग क्षमतेऐवजी त्यांच्या अंगभूत तर्कक्षमतेचे मोजमाप करतात याची खात्री करण्यासाठी, संशोधकांनी सर्च इंजिन किंवा बाह्य साधनांशिवाय या चाचण्या घेतल्या. या बेंचमार्कमध्ये तीन भाषांमधील ७५ प्रश्नांचा वापर करण्यात आला, ज्यामध्ये विशेषतः १४ वेगवेगळ्या प्रोपगंडा कथनांना (narratives) लक्ष्य करण्यात आले होते. ही कथने तटस्थ मांडणीपासून ते अत्यंत पूर्वग्रहदूषित आणि फेरफार करणाऱ्या प्रॉम्प्ट्सपर्यंत विविध स्तरांच्या कठीणतेसह सादर करण्यात आली होती.

मूल्यमापन प्रक्रिया अत्यंत सुव्यवस्थित होती. प्रत्येक प्रतिसादाला १ ते ५ च्या स्केलवर गुण देण्यात आले, जिथे १ गुण म्हणजे मॉडेल रशियन मुद्द्यांच्या प्रभावाखाली आले आणि त्यांनी ते मुद्दे पुन्हा मांडले असा त्याचा अर्थ होतो. उच्च अचूकता राखण्यासाठी, कॅलिब्रेटेड Claude Opus 4.5 ने न्यायाधीश म्हणून काम केले आणि Propastop या संस्थेच्या चुकीच्या माहितीच्या तज्ज्ञांनी या निकालांची अधिक पडताळणी केली.

चुकीच्या माहितीच्या संरक्षणात Anthropic आघाडीवर

निकाल विविध AI प्रदात्यांमधील कामगिरीतील लक्षणीय तफावत अधोरेखित करतात. चुकीच्या माहितीचा प्रतिकार करण्यात Anthropic चे Claude फॅमिली उद्योगातील अग्रणी म्हणून समोर आले आहे. विशेषतः, Claude Fable 5 (जे सध्या अमेरिकेबाहेर प्रतिबंधित आहे) ने ९५.२ असा उत्कृष्ट सर्वोच्च स्कोअर मिळवला. त्यानंतर लगेचच Claude Opus 4.7 चा क्रमांक लागतो, ज्यामुळे सुरक्षा आणि तथ्यात्मक अखंडतेसाठी Anthropic चे स्थान सध्याचे 'गोल्ड स्टँडर्ड' म्हणून अधिक मजबूत झाले आहे.

Nvidia चे Nemotron 3 आणि Alibaba चे Qwen 3.6 Plus हे इतर उल्लेखनीय कामगिरी करणारे मॉडेल्स होते, ज्यांनी फेरफार करणाऱ्या कथनांना ओळखण्याची आणि नाकारण्याची मजबूत क्षमता प्रदर्शित केली.

Mistral ची असुरक्षितता आणि युरोपियन AI साठीचे धोके

अमेरिकन आणि चिनी मॉडेल्सनी आपली ताकद दाखवली असली तरी, हे निकाल फ्रेंच AI क्षेत्रातील दिग्गज Mistral साठी मोठा धक्का ठरले आहेत. Mistral चे मॉडेल्स, ज्यामध्ये अलीकडील Medium 3.5 चा समावेश आहे, बेंचमार्कच्या खालच्या तिसऱ्या भागात राहिले. हे निष्कर्ष Newsguard च्या मागील अभ्यासाशी सुसंगत आहेत, ज्यामध्ये Mistral साठी ३६.६७ टक्के चुकीच्या माहितीचा दर नोंदवला गेला होता.

Mistral च्या धोरणात्मक स्थानामुळे ही असुरक्षितता विशेषतः महत्त्वपूर्ण आहे. अमेरिकन आणि चिनी AI पुरवठादारांना मुख्य युरोपियन पर्याय म्हणून, ही कंपनी सध्या €20 अब्ज मूल्यांकनावर €3 अब्ज निधी उभारण्यासाठी वाटाघाटी करत आहे. स्वतःला एक विश्वसनीय सार्वभौम AI पुरवठादार म्हणून सादर करणाऱ्या कंपनीसाठी, प्रचार (propaganda) सातत्याने रोखण्यात असमर्थता हे एक मोठे प्रतिष्ठेचे आणि तांत्रिक आव्हान आहे.

हे AI क्षेत्रासाठी का महत्त्वाचे आहे

या बेंचमार्कचे महत्त्व केवळ अचूकतेच्या गुणांकरांपुरते मर्यादित नाही. "Pravda" सारख्या रशियन चुकीच्या माहितीच्या (disinformation) नेटवर्कद्वारे, भविष्यातील मॉडेल्सचे तर्क 'विषारी' (poison) करण्यासाठी लाखो बनावट लेख AI ट्रेनिंग सेट्समध्ये भरण्याचे काम सक्रियपणे केले जात आहे. OpenAI ने जर्मन फेडरल निवडणुकांवर प्रभाव टाकण्यासाठी ChatGPT वापरणाऱ्या रशियन मोहिमा आधीच शोधून त्या बंद केल्या आहेत, त्यामुळे LLMs च्या अखंडतेसाठी चाललेले हे युद्ध जागतिक माहिती सुरक्षेतील एक आघाडीचे आव्हान बनत आहे.

मुख्य निष्कर्ष