你的 AI 安全策略没问题,但你的架构有问题。

你有 AI 安全策略。你有规则。你有测试。 你的架构无法强制执行这些规则。

AI 风险的移动方式与众不同。它不会停留在某一个点上。 旧工具只检查单一路径。它们会错过完整的执行过程。 AI 风险看起来就像正常的业务操作。

三星提供了一个教训。 没有人黑进他们的系统。 工具运行正常。 数据却从“正门”流出了。

你必须关注运行时(Runtime)。 运行时才是行为发生的地方。

  • 一个提示词(Prompt)调用了一个工具。
  • 一个工具更改了数据。
  • 一条记录触发了一个工作流。

警报发出时已经太晚了。

将你的控制措施移至执行路径。 不要再问模型输出了什么。 而要问模型触达了什么。

围绕“触达范围”构建你的安全体系。

来源:https://dev.to/sonu_goswami_73182a7f7df4/your-ai-security-policies-are-fine-your-architecture-isnt-2103