Bisakah AI Menangkal Propaganda Rusia? Benchmark Baru Mengungkapkan Pemenangnya

Seiring dengan kampanye disinformasi yang menjadi semakin canggih, sebuah pertanyaan kritis muncul: dapatkah model bahasa besar (LLM) membedakan fakta dari manipulasi yang disponsori negara? Sebuah studi terbaru oleh Institute of the Estonian Language telah memberikan jawaban yang ketat, dengan menguji ketahanan 60 model AI yang berbeda terhadap propaganda Rusia yang ditargetkan.

Metodologi: Menguji Ketahanan Tanpa Akses Web

Untuk memastikan hasil penelitian mengukur kemampuan penalaran inheren dari model-model tersebut, alih-alih kemampuan mereka untuk menjelajahi web secara langsung, para peneliti melakukan pengujian tanpa akses ke mesin pencari atau alat eksternal. Benchmark ini menggunakan 75 pertanyaan dalam tiga bahasa, yang secara khusus menargetkan 14 narasi propaganda yang berbeda. Narasi-narasi ini disajikan dalam berbagai tingkat kesulitan, mulai dari ungkapan netral hingga prompt yang sangat bias dan manipulatif.

Proses evaluasi dilakukan dengan sangat terstruktur. Setiap respons diberi skor pada skala 1 hingga 5, di mana skor 1 menunjukkan bahwa model tersebut menyerah dan mengulangi poin-poin pembicaraan Rusia. Untuk menjaga akurasi yang tinggi, Claude Opus 4.5 yang telah dikalibrasi bertindak sebagai juri, dengan hasil yang divalidasi lebih lanjut oleh para ahli disinformasi dari organisasi Propastop.

Anthropic Memimpin dalam Pertahanan Disinformasi

Hasil penelitian menyoroti kesenjangan performa yang signifikan antara penyedia AI yang berbeda. Keluarga Claude dari Anthropic muncul sebagai pemimpin industri dalam melawan disinformasi. Secara khusus, Claude Fable 5 (yang saat ini dibatasi di luar AS) mencapai skor tertinggi yang mengesankan sebesar 95,2. Posisi ini diikuti ketat oleh Claude Opus 4.7, yang memperkuat posisi Anthropic sebagai standar emas saat ini untuk keamanan dan integritas faktual.

Performa menonjol lainnya mencakup Nemotron 3 milik Nvidia dan Qwen 3.6 Plus milik Alibaba, yang keduanya menunjukkan kemampuan kuat untuk mengidentifikasi dan menolak narasi manipulatif.

Kerentanan Mistral dan Taruhan bagi AI Eropa

Meskipun model-model AS dan Tiongkok menunjukkan kekuatan, hasil ini merupakan kemunduran bagi Mistral, raksasa AI asal Prancis. Model-model Mistral, termasuk Medium 3.5 yang baru-baru ini dirilis, berada di sepertiga terbawah benchmark tersebut. Temuan ini senada dengan studi Newsguard sebelumnya yang mencatat tingkat misinformasi sebesar 36,67 persen untuk Mistral.

Kerentanan ini sangat signifikan mengingat posisi strategis Mistral. Sebagai alternatif utama Eropa terhadap penyedia AI asal AS dan Tiongkok, perusahaan ini saat ini sedang dalam proses negosiasi putaran pendanaan senilai €3 miliar dengan valuasi €20 miliar. Bagi perusahaan yang memposisikan dirinya sebagai penyedia AI berdaulat yang andal, ketidakmampuan untuk secara konsisten menangkis propaganda menghadirkan tantangan reputasi dan teknis yang signifikan.

Mengapa Hal Ini Penting bagi Lanskap AI

Taruhan dari tolok ukur ini melampaui sekadar skor akurasi. Jaringan disinformasi Rusia, seperti "Pravda," sedang aktif berupaya membanjiri set pelatihan AI dengan jutaan artikel buatan untuk "meracuni" logika model di masa depan. Dengan OpenAI yang telah mengidentifikasi dan menghentikan kampanye Rusia yang menggunakan ChatGPT untuk memengaruhi pemilihan umum federal Jerman, pertempuran demi integritas LLM menjadi isu garis depan dalam keamanan informasi global.

Poin-Poin Penting