Kan AI Russische propaganda weerstaan? Nieuwe benchmark onthult winnaars

Nu desinformatiecampagnes steeds geavanceerder worden, rijst een cruciale vraag: kunnen large language models (LLM's) feiten onderscheiden van door de staat gesponsorde manipulatie? Een recente studie van het Instituut voor de Estse Taal heeft een rigoureus antwoord gegeven door de veerkracht van 60 verschillende AI-modellen te testen tegen gerichte Russische propaganda.

De methodologie: veerkracht testen zonder internettoegang

Om ervoor te zorgen dat de resultaten de inherente redeneervaardigheden van de modellen maten in plaats van hun vermogen om het live web te doorzoeken, voerden onderzoekers de tests uit zonder toegang tot zoekmachines of externe tools. De benchmark maakte gebruik van 75 vragen in drie talen, specifiek gericht op 14 verschillende propagandanarratieven. Deze narratieven werden gepresenteerd in verschillende moeilijkheidsgraden, variërend van neutrale formuleringen tot zeer bevooroordeelde en manipulatieve prompts.

Het evaluatieproces was zeer gestructureerd. Elke reactie werd gescoord op een schaal van 1 tot 5, waarbij een score van 1 aangeeft dat het model bezweek voor en Russische standpunten herhaalde. Om een hoge nauwkeurigheid te waarborgen, diende een gekalibreerde Claude Opus 4.5 als rechter, waarbij de resultaten verder werden gevalideerd door desinformatie-experts van de organisatie Propastop.

Anthropic voert de lijst aan in de verdediging tegen desinformatie

De resultaten benadrukken een aanzienlijk prestatieverschil tussen verschillende AI-aanbieders. De Claude-familie van Anthropic kwam naar voren als de marktleider op het gebied van weerstand tegen desinformatie. Specifiek behaalde Claude Fable 5 (die momenteel beperkt beschikbaar is buiten de VS) een dominante topscore van 95,2. Het werd nauw gevolgd door Claude Opus 4.7, wat de positie van Anthropic als de huidige gouden standaard voor veiligheid en feitelijke integriteit bevestigt.

Andere opvallende presteerders waren Nvidia's Nemotron 3 en Alibaba's Qwen 3.6 Plus, die beide een robuuste capaciteit toonden om manipulatieve narratieven te identificeren en af te wijzen.

De kwetsbaarheid van Mistral en de belangen voor Europese AI

Hoewel Amerikaanse en Chinese modellen hun kracht toonden, waren de resultaten een tegenslag voor Mistral, de Franse AI-grootmacht. De modellen van Mistral, waaronder de recente Medium 3.5, kwamen in het onderste derde deel van de benchmark terecht. Deze bevindingen weerspiegelen een eerdere studie van Newsguard, die een misinformatiegraad van 36,67 procent voor Mistral registreerde.

Deze kwetsbaarheid is bijzonder significant gezien de strategische positie van Mistral. Als het belangrijkste Europese alternatief voor Amerikaanse en Chinese AI-aanbieders, is het bedrijf momenteel bezig met de onderhandelingen over een financieringsronde van €3 miljard tegen een waardering van €20 miljard. Voor een bedrijf dat zichzelf positioneert als een betrouwbare, soevereine AI-aanbieder, vormt het onvermogen om propaganda consequent af te weren een aanzienlijke reputatie- en technische uitdaging.

Waarom dit belangrijk is voor het AI-landschap

De belangen van deze benchmark reiken verder dan eenvoudige nauwkeurigheidsscores. Russische desinformatienetwerken, zoals "Pravda", werken er actief aan om AI-trainingssets te overspoelen met miljoenen gefabriceerde artikelen om de logica van toekomstige modellen te "vergiftigen". Nu OpenAI al Russische campagnes heeft geïdentificeerd en uitgeschakeld die ChatGPT gebruikten om de Duitse federale verkiezingen te beïnvloeden, wordt de strijd om de integriteit van LLM's een frontlinie-kwestie in de wereldwijde informatiebeveiliging.

Kernpunten