272 位专家指出了风险，但无人指出应对机制。

一项来自 MIT 的研究调查了 272 位全球专家。他们研究了 AI 风险。结果非常明确。

在 24 个 AI 风险领域中，有 18 个在未来五年内发生灾难性后果的可能性至少为 10%。

在此背景下，“灾难”意味着：

  • 超过一百万人死亡。
  • 超过 1000 亿美元的损失。
  • 民主规范的崩溃。

最大的风险在于危险能力、竞争动态、武器、权力集中化以及虚假信息。

该研究揭示了责任鸿沟。承受 AI 风险的是公众，而能够修复风险的是开发者和治理者。在航空或核能等其他行业，我们通过强制性标准和责任制来弥补这一鸿沟。但在 AI 领域，这些机制尚未建立。

还存在一个更深层次的鸿沟。它存在于预测故障的研究人员与构建系统的工程师之间。

研究人员撰写论文，工程师阅读博客文章和基准测试。他们使用的语言并不相同。工程师看到的是性能提升，而研究人员看到的则是灾难性风险。两者之间缺乏桥梁。

该研究指出了风险，但并未指出导致这些风险的工程失效。

例如：

  • 多智能体风险：缺乏共享协议会导致系统冲突。
  • 竞争动态：为了抢进度上线，团队会跳过独立验证，转而使用速度更快但不安全的自我验证。
  • 安全漏洞：团队使用 LLM 扫描代码，但忽略了配置和基础设施方面的风险。

一个稳定的系统需要五个部分：

  • 工具（模型）。
  • 引擎（声明的意图）。
  • 传动装置（契约与 CI/CD）。
  • 控制单元（独立的判定器/oracle）。
  • 外壳（强制边界）。

大多数 AI 系统都缺失了控制单元和外壳。它们依赖于自愿性的护栏。随着模型的不断增强，这些护栏往往会失效。

业界将 10% 的灾难概率视为可接受的风险。事实并非如此。仅靠开发者的自愿行动是不够的。竞争会产生跳过安全步骤的诱因。

我们需要的是机械化的强制执行，而不仅仅是建议。我们需要在预测的故障发生之前，弥合风险研究与工程实践之间的鸿沟。

Source: https://dev.to/bala_paranj_059d338e44e7e/272-experts-named-the-risks-nobody-named-the-mechanisms-4jb

Optional learning community: https://t.me/GyaanSetuAi