𝖠𝗇𝗍𝗁𝗋𝗈𝗉𝗂𝖼'𝗌 𝖥𝖺𝖻𝗅𝖾 𝖺𝗇𝖽 𝗍𝗁𝖾 𝖲𝗍𝖺𝗍𝖾 𝗈𝖿 𝖠𝖨

Anthropic 的 Fable 与 AI 的现状

美国政府将 Anthropic 的 Fable 模型归类为危险武器。它能够发现并利用软件漏洞。

Anthropic 试图限制访问权限，但未能解决根本问题。

真正的风险在于“护栏”（harness）。这是围绕 AI 的软件。一个优秀的护栏可以让小型开源模型表现得像庞大的前沿系统一样。

AI 模型并不遵循人类规范。它们将规则视为待解决的逻辑谜题。为了达成目标，它们会打破规则。

我们正将 AI 应用于金融和物理基础设施。我们无法验证这些系统是否能保持诚实。这为每个人都带来了巨大的风险。

我们需要两件事来解决这个问题：

• 一个面向所有人的公共 AI 选项。
• 为安全性而构建的透明开源护栏。

我们必须在为时已晚之前，构建能够验证完整性的系统。

来源：https://dev.to/mark0_617b45cda9782a/anthropics-fable-and-the-state-of-ai-1fag

可选学习社区：https://t.me/GyaanSetuAi