Cloudflare 的全新 AI 爬虫控制功能
网站流量正在发生变化。
过去，搜索引擎爬取您的网站是为了帮助人们找到您。这曾是一个简单的交易。而 AI 让这一切变得复杂得多。
机器人爬取您的页面可能是为了在搜索结果中展示它，这与机器人爬取您的页面以训练 AI 模型是完全不同的。
Cloudflare 正在改变您管理这一过程的方式。从 2026 年 7 月 1 日起，所有客户都将获得全新的 AI 流量控制功能。这允许您将流量分为三类：
- 搜索 (Search)：为搜索引擎或 AI 回答索引内容的机器人。
- 代理 (Agent)：代表用户执行任务的机器人。
- 训练 (Training)：收集数据以训练或微调 AI 模型的机器人。
这一转变将“可见性”转变为一种“访问策略”决策。它不再仅仅是一个 SEO 决策。
如果您经营一家 SaaS 公司，您的文档、定价和帮助中心等公开页面都在创造价值。它们能帮助您获取并支持客户。
您必须决定要给予多少访问权限。
过去的问题是：搜索引擎能找到我们吗？ 现在的问题是：哪些自动化系统应该使用我们的网站，以及出于什么目的？
不要将所有的 AI 机器人一概而论。
搜索机器人可以帮助用户找到您的产品。屏蔽它们可能会让您在 AI 驱动的搜索结果中“隐身”。
AI 代理可能非常有用。代理可能会访问您的定价页面，以帮助用户比较方案。但是，您必须决定这些代理是否需要身份验证或速率限制。
训练机器人提供的直接价值较低。它们利用您的内容来构建模型，但可能不会将用户引导回您的网站。许多公司选择屏蔽这些机器人。
一项明智的策略如下所示：
- 允许搜索机器人索引您的产品和帮助页面。
- 允许用户引导的代理访问公开文档。
- 屏蔽训练机器人或对其访问进行授权。
- 保持所有需要身份验证的产品区域处于受保护状态。
定期审查您的流量。关注爬虫类别、服务器负载和搜索可见性。
目标不是屏蔽每一个机器人，而是控制它们的行为。