Cloudflare 的 AI 爬虫授权模式于 7 月 1 日推出，将其旧有的“按次爬取付费”方案更换为“按需付费”系统，即每当人工智能服务读取一个页面时都会收费。这一转变不仅仅是价格上的微调——它赋予了一家私人公司决定谁可以访问公共网络以及以何种条款访问的权力。

为什么这一转变至关重要

多年来，Cloudflare 的免费层级为数百万个网站提供了一种廉价的方式来提升性能并抵御恶意流量。当机器人获取页面时，运营商按每次爬取支付固定费用。新模式颠覆了这种关系：每当 AI 模型消费其内容时，出版商都会收到付款。表面上看，这对网站所有者来说似乎是件好事，因为他们终于可以从随着他们的工作而不断壮大的 AI 蛋糕中分得一杯羹。

该模式还为 AI 爬虫引入了三个新类别——Search（搜索）、Agent（代理）和 Training（训练）——并将对机器人进行归类的权力完全交给了 Cloudflare 的产品规范。公司决定一个研究型机器人是合法的“Agent”还是“Training”机器人，一个小型团队的工具是“Search”服务还是“未经授权的窃贼”。这些分类决定了适用的费率，并且从 9 月 15 日开始，决定了该机器人是否会在显示广告的页面上被直接拦截。

控制机制

  • 三个类别，一个守门人 —— Cloudflare 独自定义这三个组别。没有外部标准机构，没有行业联盟，也没有公众咨询。即使底层活动几乎完全相同，被归入“Training”类别的机器人所面临的费用也比被标记为“Search”的机器人更高。
  • 在广告支持页面上默认拦截 —— 从 9 月中旬开始，任何落在带有广告的页面上的混合用途爬虫，除非符合 Cloudflare 的标准，否则将被拒绝访问。这种拦截是自动的；唯一的绕过方法是支付 Cloudflare 为该类别设定的费率。
  • 一个带有等待名单的市场 —— 访问“经授权”的网络不再仅仅取决于技术能力。想要进行大规模爬取的公司必须申请进入 Cloudflare 的批准名单。被排除在外的人面临两个严峻的选择：接受 Cloudflare 规定的价格，或者失去抓取互联网大部分内容的能力。
  • 没有投票权的收入 —— 收到付款的网站所有者对于类别如何划分、费率如何演变或谁能进入白名单没有任何发言权。定价结构和“可接受”爬取的定义本身都属于企业产品规范，而非公共政策流程。

谁赢谁输

出版商 —— 直接收益是新的收入流。每当 AI 模型阅读一篇文章时，网站所有者就能收到支票。对于那些在流量变现方面苦苦挣扎的小型出版商来说，这种现金流可能具有重要意义。

AI 开发人员和研究人员 —— 那些能够负担得起 Cloudflare 费率并确保在白名单上占有一席之地的开发者，将继续大规模地训练和运行模型。

初创公司、开源项目和独立研究人员 —— 如果没有进入白名单，他们要么必须支付 Cloudflare 设定的任何费率，要么就会失去访问互联网大部分内容的机会。

更广泛的互联网生态系统 —— 通过将访问公共网络转变为一种可授权的服务，Cloudflare 集中了某种“数字守门”权力，而这种权力传统上属于一个监管宽松、多方参与的环境。

稀缺性的隐藏成本

拦截机器人长期以来一直被视为针对垃圾邮件、抓取和带宽滥用的防御性举措。在 Cloudflare 的新模式中，拦截是一种杠杆的展示；真正的产品是测量每一次页面浏览并附上价格标签的计量器。该公司可以一键为所有人制造稀缺性，因为它同时也运营着销售访问权限的市场。

吸引了当今大多数网络流量的免费层级从来都不是慈善事业。它是一个战略切入点，让 Cloudflare 获得了市场主导地位，使其随后能够通过授权模式将这种主导地位变现。现在，曾经使页面加载速度民主化的同一套基础设施，也在决定谁可以阅读这些页面。

对立观点：为驱动 AI 的内容付费

支持这一新系统的论点很简单：AI 开发人员一直在利用公开的文本、图像和代码获利，却未向创作者提供补偿。Cloudflare 的模式强制建立了一个支付闭环，这可能会激励高质量内容的产出，并让出版商在 AI 经济中占有一席之地。它还提供了一种清晰且可执行的方式，来区分良性的搜索引擎爬虫与大规模的数据采集操作，从而有可能遏制滥用行为。

然而，这些好处并不能抹杀规则由单方面制定的事实。即使收入分成很慷慨，但由于缺乏民主程序，一旦分类被证明是武断的，或者费率变得具有剥削性，公众也将求助无门。该模式是用一套不透明的决策（广告拦截启发式算法）换取了另一套在财务后果上更为严重的决策。

后续关注点

核心总结

Cloudflare 7 月 1 日的定价改革将阅读网页的行为转变为一种可授权的交易，而规则的制定和费用的收取都由一家私营公司掌控。虽然出版商终于能从 AI 驱动的消费中获得收益，但更深远的影响是出现了一种新型的数字把关机制，它重新定义了谁可以访问公共互联网以及访问的条件。真正的核心不在于价格标签，而在于控制权在这一长期被认为是开放的空间中的高度集中。