三个词

三个词

一位研究人员在 Anthropic 最强大的 AI 模型中输入了三个词：fix this code。

在 90 分钟内，美国政府关闭了该模型。

该漏洞是一个简单的提示词（prompt）。它并非复杂的攻击。该模型提供了其安全系统本应拦截的网络安全数据。

美国商务部利用出口管制权限停止了该模型。他们命令 Anthropic 禁止所有外国公民访问该模型。这甚至包括 Anthropic 自身的部分工程师。为了避免排除自家员工，Anthropic 将模型下线。

官方理由是国家安全。但故事背后还有更深层的内幕。

Amazon 发现了这一绕过机制。Amazon 首席执行官 Andy Jassy 将此事告知了政府官员。

Amazon 是 Anthropic 的巨额投资者。Amazon 还为 Anthropic 提供其使用的云基础设施。最重要的是，Amazon 自己的 AI 产品与 Anthropic 存在竞争关系。

这一发现从竞争对手直接传到了政府手中，绕过了构建该模型的公司本身。

这一事件揭示了三个关键点：

• 品牌风险：Anthropic 的声誉建立在安全性之上。当一个“安全”的模型失效时，其政治成本会更高。品牌反而成了一种负担。

• 新的权力结构：Amazon 同时扮演着投资者、供应商和竞争对手的角色。没有其他行业拥有这样的架构。竞争对手的一个电话就可能触发法律机制，导致一家公司停摆。

• 快速干预：政府证明了其可以在不到两小时内迫使一家 AI 公司关停其核心产品。整个过程既没有预先通知，也没有申诉程序。

AI 公司原以为要么会进行自我监管，要么会面临政府政策。但他们并未预料到第三种选择。

他们没有预料到，监管会通过企业情报触发的突发干预来实现。

安全研究人员希望为 AI 建立护栏。但他们没意识到，最终构建这些护栏的会是谁。

Source: https://dev.to/thesythesis/the-three-words-3ijl

Optional learning community: https://t.me/GyaanSetuAi