没人投票选出这家如今正在对互联网进行授权的公司
Cloudflare 于 7 月 1 日推出了新的定价结构，将其长期采用的“按抓取付费”（pay-per-crawl）模式更换为“按使用付费”（pay-per-use）方案，即在 AI 系统每次消费其内容时向发布者支付费用。该变更还引入了对包含广告页面的“混合用途抓取工具”（mixed-use crawlers）的自动拦截功能，将于 9 月 15 日生效。这一转变使这家 CDN 和安全提供商成为了事实上的守门人，决定了谁可以阅读互联网以及以何种条款阅读，此举可能会重塑 AI 训练的经济模式和更广泛的互联网生态系统。
为什么定价调整至关重要
在旧系统中，想要获取页面的机器人需要按每次请求向 Cloudflare 支付费用。费用归 Cloudflare 所有，而非网站所有者。新模式反转了这一流程：当 AI 模型访问页面时，发布者会从 Cloudflare 收到一笔款项。付款部分是件好事，它为网站所有者带来了收益。
实际影响会立即波及到任何正在构建 AI 抓取工具的人。如果抓取工具被归类为“混合用途”（mixed use）——即既为搜索索引页面，又为训练提取内容——Cloudflare 默认会在任何投放广告的页面上对其进行拦截。为了获得访问权限，运营商要么必须支付 Cloudflare 的费率，要么必须接受这些页面无法访问的事实。
变更背后的政策架构
Cloudflare 的产品规范将 AI 抓取工具分为三个类别：
- Search（搜索） – 为搜索引擎提供动力而对页面进行索引的机器人。
- Agent（代理） – 为对话式 AI 或类似代理检索信息的机器人。
- Training（训练） – 采集文本、图像或其他数据以训练机器学习模型的机器人。
这种分类并非由法律或行业标准规定，而是由 Cloudflare 的内部团队决定。该团队还会将每个机器人分配到某个类别中，例如，一个面向研究的抓取工具应被视为“Agent”还是“Training”，或者一个存档机器人是否算作“Search”机器人。
这些分类直接影响机器人是否会被拦截、收费多少以及发布者是否能收到款项。
谁是赢家，谁是输家
发布者
网站所有者现在拥有了新的收入来源。每当 AI 模型阅读他们的文章时，Cloudflare 就会向他们支付费用。
AI 开发人员
依赖大规模、多样化数据集的初创公司和研究实验室现在面临着额外的成本层。如果抓取工具不在 Cloudflare 的批准名单上，开发人员要么必须支付按使用付费的费用，要么就会失去对互联网很大一部分内容的访问权。
稀缺性背后的商业逻辑
Cloudflare 的模式通过制造稀缺性来运营一个市场。默认情况下，混合用途的机器人会在充满广告的页面上被拦截，从而将每一次请求都变成一个可计费事件。如果公司拦截所有机器人，它就会抹杀自己的收入来源。因此，选择性拦截既保护了利润，又迫使机器人运营商进入付费关系。
这一转变还利用了 Cloudflare 庞大的免费层用户群。数百万个网站注册是因为免费计划提供了便捷的 CDN 和安全服务。那种“免费”访问是一种获客策略，而非慈善行为。现在，这些网站属于一个网络，当 AI 消费其内容时，该网络会为 Cloudflare 创造收入，但这些网站对于定价或决定谁能获得报酬的政策分类没有任何发言权。
总结
Cloudflare 的按使用付费改革不仅仅是增加了一条新的收入线；它赋予了该公司对 AI 抓取工具进行标记、收费，并最终决定哪些 AI 抓取工具可以阅读互联网的权力。