272 expertos identificaron los riesgos. Nadie identificó los mecanismos.

Un estudio del MIT encuestó a 272 expertos globales. Analizaron los riesgos de la IA. Los resultados son claros.

18 de las 24 áreas de riesgo de la IA tienen al menos un 10% de probabilidad de tener resultados catastróficos en cinco años.

En este contexto, la catástrofe significa:

  • Más de un millón de muertes.
  • Más de 100.000 millones de dólares en daños.
  • El colapso de las normas democráticas.

Los mayores riesgos son las capacidades peligrosas, la dinámica competitiva, las armas, la centralización del poder y la desinformación.

El estudio revela una brecha de responsabilidad. Las personas que sufren los riesgos de la IA son el público. Las personas que pueden solucionar los riesgos son los desarrolladores y los reguladores. En otras industrias, como la aviación o la energía nuclear, utilizamos estándares obligatorios y responsabilidad legal para cerrar esta brecha. En la IA, estos mecanismos aún no existen.

Existe una brecha más profunda. Se encuentra entre los investigadores que predicen fallos y los ingenieros que construyen los sistemas.

Los investigadores escriben artículos académicos. Los ingenieros leen publicaciones de blogs y benchmarks. No hablan el mismo idioma. Un ingeniero ve una mejora en el rendimiento. Un investigador ve un riesgo catastrófico. No hay un puente entre ellos.

El estudio identifica los riesgos, pero no identifica los fallos de ingeniería que los provocan.

Por ejemplo:

  • Riesgos multiagente: La falta de protocolos compartidos provoca colisiones en el sistema.
  • Dinámica competitiva: La prisa por lanzar productos lleva a los equipos a omitir la verificación independiente. En su lugar, utilizan la autoverificación, que es más rápida pero insegura.
  • Vulnerabilidades de seguridad: Los equipos utilizan LLMs para escanear código, pero pasan por alto los riesgos de configuración e infraestructura.

Un sistema estable necesita cinco partes:

  • Una herramienta (el modelo).
  • Un motor (intención declarada).
  • Una transmisión (contratos y CI/CD).
  • Una unidad de control (un oráculo independiente).
  • Una carcasa (límites aplicados).

A la mayoría de los sistemas de IA les faltan la Unidad de Control y la Carcasa. Dependen de salvaguardas voluntarias. Estas salvaguardas a menudo se disuelven a medida que los modelos mejoran.

La industria trata una probabilidad del 10% de catástrofe como un riesgo aceptable. No lo es. La acción voluntaria de los desarrolladores no es suficiente. La competencia crea un incentivo para omitir los pasos de seguridad.

Necesitamos una aplicación mecánica, no solo consejos. Necesitamos cerrar la brecha entre la investigación de riesgos y la práctica de la ingeniería antes de que ocurran los fallos previstos.

Fuente: https://dev.to/bala_paranj_059d338e44e7e/272-experts-named-the-risks-nobody-named-the-mechanisms-4jb

Comunidad de aprendizaje opcional: https://t.me/GyaanSetuAi