Mô hình cấp phép AI-crawler của Cloudflare được triển khai vào ngày 1 tháng 7, thay thế cơ chế "trả phí theo mỗi lượt thu thập" (pay-per-crawl) cũ bằng hệ thống "trả phí theo mức độ sử dụng" (pay-per-use), tính phí mỗi khi một dịch vụ trí tuệ nhân tạo đọc một trang web. Sự thay đổi này không chỉ đơn thuần là điều chỉnh giá cả – nó trao cho một công ty tư nhân duy nhất quyền quyết định ai có thể truy cập web công cộng và theo những điều khoản nào.

Tại sao sự thay đổi này lại quan trọng

Trong nhiều năm, gói miễn phí của Cloudflare đã giúp hàng triệu trang web có một cách rẻ tiền để tăng hiệu suất và ngăn chặn lưu lượng truy cập không mong muốn. Khi một bot truy xuất một trang, nhà vận hành sẽ trả một khoản phí cố định cho mỗi lượt thu thập. Mô hình mới đảo ngược mối quan hệ đó: các nhà xuất bản sẽ nhận được thanh toán mỗi khi một mô hình AI tiêu thụ nội dung của họ. Về mặt lý thuyết, điều này nghe có vẻ là một chiến thắng cho các chủ sở hữu trang web, những người cuối cùng cũng nhận được một phần từ "miếng bánh AI" đang lớn dần dựa trên chính công sức của họ.

Mô hình này cũng giới thiệu ba danh mục mới cho các trình thu thập dữ liệu AI – Search, Agent, và Training – và đặt quyền phân loại một bot vào bất kỳ nhóm nào trong số đó hoàn toàn vào các thông số kỹ thuật sản phẩm của Cloudflare. Công ty quyết định liệu một bot nghiên cứu là một "Agent" hợp pháp hay là một bot "Training", liệu một công cụ của nhóm nhỏ là dịch vụ "Search" hay là một "kẻ trộm không có giấy phép". Những phân loại đó sẽ quyết định mức phí được áp dụng và, bắt đầu từ ngày 15 tháng 9, liệu bot đó có bị chặn hoàn toàn trên các trang hiển thị quảng cáo hay không.

Cơ chế kiểm soát

  • Ba nhóm, một người gác cổng – Chỉ mình Cloudflare định nghĩa ba nhóm này. Không có tổ chức tiêu chuẩn bên ngoài, không có hiệp hội ngành nghề, không có sự tham vấn công khai. Một bot rơi vào nhóm "Training" sẽ phải đối mặt với mức phí cao hơn so với bot được gắn nhãn "Search", ngay cả khi hoạt động cốt lõi gần như giống hệt nhau.
  • Chặn mặc định trên các trang có quảng cáo – Từ giữa tháng 9, bất kỳ trình thu thập dữ liệu sử dụng hỗn hợp nào truy cập vào một trang có quảng cáo sẽ bị từ chối quyền truy cập trừ khi đáp ứng các tiêu chí của Cloudflare. Việc chặn là tự động; cách duy nhất để lách qua là trả mức phí mà Cloudflare thiết lập cho nhóm đó.
  • Một thị trường với danh sách chờ – Quyền truy cập vào web "đã được cấp phép" không còn chỉ phụ thuộc vào khả năng kỹ thuật. Các công ty muốn thu thập dữ liệu ở quy mô lớn phải nộp đơn để có tên trong danh sách được Cloudflare phê duyệt. Những bên bị bỏ lại phía sau phải đối mặt với hai lựa chọn khắc nghiệt: chấp nhận mức giá do Cloudflare áp đặt hoặc mất khả năng thu thập một phần lớn dữ liệu trên internet.
  • Doanh thu không có quyền biểu quyết – Các chủ sở hữu trang web nhận được thanh toán không có tiếng nói trong việc phân chia các danh mục, cách thức thay đổi mức phí, hoặc ai được đưa vào danh sách trắng. Cấu trúc giá và chính định nghĩa về việc thu thập dữ liệu "có thể chấp nhận được" nằm sau một thông số kỹ thuật sản phẩm của doanh nghiệp, chứ không phải là một quy trình chính sách công.

Ai thắng, ai thua

Nhà xuất bản – Lợi ích tức thì là một nguồn doanh thu mới. Mỗi khi một mô hình AI đọc một bài báo, chủ sở hữu trang web sẽ nhận được một khoản thanh toán. Đối với các nhà xuất bản nhỏ hơn vốn đang gặp khó khăn trong việc kiếm tiền từ lưu lượng truy cập, dòng tiền này có thể rất có ý nghĩa.

Các nhà phát triển và nghiên cứu AI – Những bên có khả năng chi trả mức phí của Cloudflare và đảm bảo được một vị trí trong danh sách trắng sẽ tiếp tục huấn luyện và vận hành các mô hình ở quy mô lớn.

Các công ty khởi nghiệp, các dự án mã nguồn mở và các nhà nghiên cứu độc lập – Nếu không có tên trong danh sách trắng, họ buộc phải trả bất kỳ mức phí nào mà Cloudflare đặt ra hoặc mất quyền truy cập vào một phần lớn của web.

Hệ sinh thái internet rộng lớn hơn – Bằng cách biến quyền truy cập vào web công cộng thành một dịch vụ có thể cấp phép, Cloudflare đang tập trung hóa một hình thức "kiểm soát kỹ thuật số" (digital gatekeeping) vốn dĩ thuộc về một môi trường đa tác nhân và được quản lý lỏng lẻo.

Chi phí ẩn của sự khan hiếm

Việc chặn các bot từ lâu đã được coi là một động thái phòng thủ chống lại thư rác, việc thu thập dữ liệu trái phép và lạm dụng băng thông. Trong mô hình mới của Cloudflare, việc chặn là một minh chứng cho quyền lực; sản phẩm thực sự là chiếc đồng hồ đo lường mọi lượt xem trang và gắn kèm một mức giá. Công ty có thể nhấn nút tạo ra sự khan hiếm cho tất cả mọi người cùng một lúc, bởi vì họ cũng chính là bên vận hành thị trường bán quyền truy cập đó.

Gói miễn phí thu hút hầu hết lưu lượng truy cập web ngày nay chưa bao giờ là một hoạt động từ thiện. Đó là một điểm thâm nhập chiến lược giúp Cloudflare chiếm lĩnh thị trường, cho phép họ kiếm tiền từ sự thống trị đó thông qua mô hình cấp phép sau này. Giờ đây, chính cơ sở hạ tầng từng giúp phổ cập hóa việc tải trang nhanh hơn cũng đang quyết định ai là người được đọc những trang đó.

Quan điểm đối lập: trả tiền cho nội dung nuôi dưỡng AI

Lập luận ủng hộ hệ thống mới rất đơn giản: các nhà phát triển AI đã và đang thu lợi từ các văn bản, hình ảnh và mã nguồn công khai mà không bồi thường cho những người sáng tạo. Mô hình của Cloudflare tạo ra một vòng lặp thanh toán có thể khuyến khích nội dung chất lượng cao hơn và mang lại cho các nhà xuất bản một phần lợi ích trong nền kinh tế AI. Nó cũng cung cấp một phương thức rõ ràng và có thể thực thi để phân biệt giữa các bot tìm kiếm lành tính và các hoạt động thu thập dữ liệu quy mô lớn, từ đó có khả năng hạn chế sự lạm dụng.

Tuy nhiên, những lợi ích đó không xóa bỏ được thực tế là các quy tắc đang được thiết lập một cách đơn phương. Ngay cả khi tỷ lệ chia sẻ doanh thu là hào phóng, việc thiếu một quy trình dân chủ đồng nghĩa với việc công chúng không có cách nào để phản kháng nếu các danh mục được phân loại một cách tùy tiện hoặc nếu mức phí trở nên mang tính bóc lột. Mô hình này đang đánh đổi một tập hợp các quyết định thiếu minh bạch (các thuật toán chặn quảng cáo) lấy một tập hợp khác có hệ quả tài chính lớn hơn.

Những điều cần theo dõi tiếp theo

Điểm mấu chốt

Cuộc đại tu về giá của Cloudflare vào ngày 1 tháng 7 đã biến hành động đọc một trang web thành một giao dịch có thể cấp phép, với một công ty tư nhân duy nhất vừa viết ra các quy tắc vừa thu phí. Trong khi các nhà xuất bản cuối cùng cũng thấy được tiền từ việc tiêu thụ nội dung do AI thúc đẩy, thì hệ quả rộng lớn hơn là một hình thức kiểm soát kỹ thuật số mới, làm thay đổi việc ai có thể truy cập internet công cộng và theo những điều kiện nào. Câu chuyện thực sự không nằm ở mức giá; mà là sự tập trung quyền kiểm soát trong một không gian vốn từ lâu đã được coi là mở.