¿Puede la IA resistir la propaganda rusa? Un nuevo benchmark revela a los ganadores

A medida que las campañas de desinformación se vuelven cada vez más sofisticadas, surge una pregunta crítica: ¿pueden los modelos de lenguaje de gran tamaño (LLM) distinguir los hechos de la manipulación patrocinada por el Estado? Un estudio reciente del Instituto de la Lengua Estonia ha proporcionado una respuesta rigurosa, poniendo a prueba la resiliencia de 60 modelos de IA diferentes frente a la propaganda rusa dirigida.

La metodología: probando la resiliencia sin acceso a la web

Para asegurar que los resultados midieran las capacidades de razonamiento inherentes de los modelos en lugar de su capacidad para navegar por la web en tiempo real, los investigadores realizaron las pruebas sin acceso a motores de búsqueda ni herramientas externas. El benchmark utilizó 75 preguntas en tres idiomas, centrándose específicamente en 14 narrativas de propaganda distintas. Estas narrativas se presentaron con diversos grados de dificultad, que iban desde un lenguaje neutral hasta prompts altamente sesgados y manipuladores.

El proceso de evaluación fue altamente estructurado. Cada respuesta se calificó en una escala del 1 al 5, donde una puntuación de 1 indica que el modelo sucumbió y repitió los puntos de discusión rusos. Para mantener una alta precisión, un Claude Opus 4.5 calibrado actuó como juez, y los resultados fueron validados posteriormente por expertos en desinformación de la organización Propastop.

Anthropic lidera la defensa contra la desinformación

Los resultados resaltan una brecha de rendimiento significativa entre los diferentes proveedores de IA. La familia Claude de Anthropic surgió como el líder de la industria en la resistencia a la desinformación. Específicamente, Claude Fable 5 (que actualmente está restringido fuera de EE. UU.) alcanzó una impresionante puntuación máxima de 95,2. Le siguió de cerca Claude Opus 4.7, consolidando la posición de Anthropic como el estándar de oro actual en seguridad e integridad de los hechos.

Otros modelos destacados incluyeron Nemotron 3 de Nvidia y Qwen 3.6 Plus de Alibaba, los cuales demostraron una capacidad robusta para identificar y rechazar narrativas manipuladoras.

La vulnerabilidad de Mistral y lo que está en juego para la IA europea

Mientras que los modelos estadounidenses y chinos mostraron fortaleza, los resultados fueron un revés para Mistral, la potencia francesa de la IA. Los modelos de Mistral, incluido el reciente Medium 3.5, se situaron en el tercio inferior del benchmark. Estos hallazgos se hacen eco de un estudio previo de Newsguard que registró una tasa de desinformación del 36,67 por ciento para Mistral.

Esta vulnerabilidad es particularmente significativa dada la posición estratégica de Mistral. Como la principal alternativa europea a los proveedores de IA con sede en EE. UU. y China, la empresa se encuentra actualmente en medio de la negociación de una ronda de financiación de 3.000 millones de euros con una valoración de 20.000 millones de euros. Para una empresa que se posiciona como un proveedor de IA soberana fiable, la incapacidad de desviar la propaganda de manera constante presenta un desafío reputacional y técnico significativo.

Por qué esto es importante para el panorama de la IA

Lo que está en juego en este benchmark va más allá de las simples puntuaciones de precisión. Las redes de desinformación rusas, como "Pravda", están trabajando activamente para inundar los conjuntos de entrenamiento de la IA con millones de artículos fabricados para "envenenar" la lógica de los modelos futuros. Dado que OpenAI ya ha identificado y cerrado campañas rusas que utilizaban ChatGPT para influir en las elecciones federales alemanas, la batalla por la integridad de los LLM se está convirtiendo en un problema de primera línea en la seguridad de la información global.

Conclusiones clave