Bolehkah AI Menangkis Propaganda Rusia? Penanda Aras Baharu Mendedahkan Pemenang

Memandangkan kempen disinformasi menjadi semakin canggih, satu persoalan kritikal timbul: bolehkah model bahasa besar (LLM) membezakan fakta daripada manipulasi tajaan negara? Satu kajian terbaharu oleh Institut Bahasa Estonia telah memberikan jawapan yang rapi, dengan menguji daya tahan 60 model AI yang berbeza terhadap propaganda Rusia yang disasarkan.

Metodologi: Menguji Daya Tahan Tanpa Akses Web

Bagi memastikan keputusan mengukur keupayaan penaakulan sedia ada model tersebut dan bukannya keupayaan mereka untuk melayari web secara langsung, penyelidik menjalankan ujian tanpa akses kepada enjin carian atau alatan luaran. Penanda aras ini menggunakan 75 soalan merentasi tiga bahasa, yang menyasarkan 14 naratif propaganda yang berbeza secara khusus. Naratif ini dipersembahkan dalam pelbagai tahap kesukaran, bermula daripada frasa neutral sehinggalah kepada arahan (prompt) yang sangat berat sebelah dan manipulatif.

Proses penilaian adalah sangat berstruktur. Setiap respons diberikan skor pada skala 1 hingga 5, di mana skor 1 menunjukkan bahawa model tersebut tunduk dan mengulangi poin perbincangan Rusia. Untuk mengekalkan ketepatan yang tinggi, Claude Opus 4.5 yang telah dikalibrasi bertindak sebagai hakim, dengan keputusan tersebut disahkan lagi oleh pakar disinformasi daripada organisasi Propastop.

Anthropic Mendahului dalam Pertahanan Disinformasi

Keputusan tersebut menonjolkan jurang prestasi yang ketara antara penyedia AI yang berbeza. Keluarga Claude daripada Anthropic muncul sebagai peneraju industri dalam menangkis disinformasi. Secara khusus, Claude Fable 5 (yang kini dihadkan di luar AS) mencapai skor tertinggi yang memberangsangkan iaitu 95.2. Ia diikuti rapat oleh Claude Opus 4.7, sekali gus mengukuhkan kedudukan Anthropic sebagai piawaian emas semasa untuk keselamatan dan integriti fakta.

Prestasi cemerlang lain termasuklah Nemotron 3 daripada Nvidia dan Qwen 3.6 Plus daripada Alibaba, di mana kedua-duanya menunjukkan keupayaan yang teguh untuk mengenal pasti dan menolak naratif manipulatif.

Kerentanan Mistral dan Pertaruhan bagi AI Eropah

Walaupun model dari AS dan China menunjukkan kekuatan, keputusan tersebut merupakan satu tamparan bagi Mistral, gergasi AI Perancis. Model-model Mistral, termasuk Medium 3.5 yang terbaharu, berada dalam kelompok sepertiga terbawah penanda aras tersebut. Penemuan ini selari dengan kajian Newsguard sebelum ini yang merekodkan kadar salah maklumat sebanyak 36.67 peratus bagi Mistral.

Kerentanan ini amat signifikan memandangkan kedudukan strategik Mistral. Sebagai alternatif utama Eropah kepada penyedia AI berpangkalan di AS dan China, syarikat ini kini sedang dalam proses merundingkan pusingan pendanaan sebanyak €3 bilion dengan penilaian sebanyak €20 bilion. Bagi sebuah syarikat yang memposisikan dirinya sebagai penyedia AI berdaulat yang boleh dipercayai, ketidakupayaan untuk menangkis propaganda secara konsisten membentangkan cabaran reputasi dan teknikal yang besar.

Mengapa Ini Penting untuk Landskap AI

Pertaruhan penanda aras ini melangkaui skor ketepatan semata-mata. Rangkaian disinformasi Rusia, seperti "Pravda," sedang aktif berusaha untuk membanjiri set latihan AI dengan jutaan artikel rekaan untuk "meracuni" logik model masa hadapan. Dengan OpenAI yang telah mengenal pasti dan menutup kempen Rusia yang menggunakan ChatGPT untuk mempengaruhi pilihan raya persekutuan Jerman, pertempuran untuk integriti LLM kini menjadi isu barisan hadapan dalam keselamatan maklumat global.

Rumusan Utama