Cloudflare, AI 기업의 퍼블리셔 비용 지불 강제를 위한 마감 시한 설정
Cloudflare는 전통적인 검색 크롤링과 AI 학습 및 에이전트 서비스를 분리하기 위한 획기적인 정책 변화를 발표했습니다. 엄격한 새로운 기본 설정을 구현함으로써, 이 에지 컴퓨팅 거물은 지적 재산권을 보호하고 웹 퍼블리셔를 위한 지속 가능한 경제 생태계를 구축하는 것을 목표로 합니다.
"혼합형(Mixed-Use)" 크롤러의 종말
현재의 데이터 스크래핑 현상에 직접적으로 도전하는 조치로, Cloudflare는 "혼합형" 크롤러의 증가 문제를 해결하기 위해 2026년 9월 15일을 마감 시한으로 설정했습니다. 혼합형 크롤러란 전통적인 검색 인덱싱과 AI 모델 학습 및 에이전트 기능을 결합한 봇을 의미합니다. 해당 날짜부터 Cloudflare의 기본 설정은 이러한 하이브리드 크롤러가 광고가 포함된 페이지에 접근하는 것을 자동으로 차단합니다.
이 정책 변경은 모든 신규 Cloudflare 고객, 기존 고객이 생성한 신규 사이트, 그리고 모든 현재 무료 티어 사용자에게 적용됩니다. 목표는 AI 기업이 그 의도를 명확히 구분하도록 강제하는 것입니다. 즉, 봇이 검색을 위해 사이트를 인덱싱하려는 경우에는 하나의 경로를 따르고, 대규모 언어 모델(LLM) 학습을 위해 데이터를 수집하려는 경우에는 잠재적으로 보상이 필요한 다른 경로를 따라야 합니다.
검색 거인의 지배력에 도전
이번 결정의 주요 동기 중 하나는 주요 검색 엔진이 보유한 불공정한 우위에 대한 인식입니다. Cloudflare는 특히 세계 최대의 검색 엔진(일반적으로 Google로 알려진)이 현재 AI 경쟁사들보다 약 "2배 더 많은 정보"에 접근할 수 있다는 점을 강조했습니다.
Google은 퍼블리셔가 검색 노출에 영향을 주지 않으면서 AI 학습에서 제외될 수 있도록 "Google Extended"를 제공하고 있지만, 핵심 서비스인 Googlebot은 AI Overviews와 같은 기능을 지원하기 위해 여전히 광범위하게 크롤링을 수행하고 있습니다. Cloudflare의 개입은 AI 기업들이 검색 엔진의 방대한 인덱싱 능력을 무단으로 이용하여 모델을 무료로 학습시키는 것을 방지하고, 공정한 경쟁 환경을 조성하고자 합니다.
"사용량 기반 결제(Pay Per Use)" 모델로의 전환
단순한 차단을 넘어, Cloudflare는 새로운 콘텐츠 경제를 위한 인프라를 적극적으로 구축하고 있습니다. 이 회사는 기존의 "크롤링당 결제(Pay Per Crawl)" 마켓플레이스를 더욱 정교한 "사용량 기반 결제(Pay Per Use)" 모델로 진화시키고 있습니다. 이 프레임워크 하에서 퍼블리셔는 AI 기업에 단순히 데이터를 가져가는 행위에 대해서뿐만 아니라, 해당 콘텐츠가 실제로 가치를 창출할 때 비용을 청구할 수 있습니다.
이를 시범 운영하기 위해 Cloudflare는 Ceramic.ai 및 You.com과 파트너십을 맺고 있습니다. 이러한 파트너십을 통해 퍼블리셔는 자신의 콘텐츠가 Ceramic의 AI 검색 결과에 나타나거나 You.com이 프리미엄 자료에 접근할 때 직접적인 보상을 받을 수 있습니다. 이러한 변화는 현재 웹의 심각한 비효율성을 해결합니다. Cloudflare의 데이터에 따르면 AI 크롤러 트래픽의 50% 이상이 변경되지 않은 페이지를 다시 가져오는 데 낭비되고 있으며, 이는 퍼블리셔의 대역폭과 AI 컴퓨팅 리소스를 모두 소모하는 과정입니다.
AI 환경에서 이것이 중요한 이유
인터넷에서 비인간 트래픽이 인간 트래픽을 추월함에 따라, "모든 것을 무료로 스크래핑하는" 시대는 한계에 직면했습니다. Cloudflare의 행보는 더욱 규제되고 거래 중심적인 웹으로의 전환을 예고합니다. AI 개발자들에게 이는 마찰 없는 제로 비용 데이터 확보 시대가 끝나가고 있음을 의미하며, 장기적인 데이터 생존 가능성을 확보하기 위해 콘텐츠 제작자와 더욱 투명하고 협력적인 관계를 구축해야 함을 시사합니다.
핵심 요약
- 기본 차단: 2026년 9월 15일부터 Cloudflare는 광고 기반 페이지에서 "혼합형" 크롤러를 기본적으로 차단합니다.
- 수익화 모델 전환: Cloudflare는 "크롤링당 결제"에서 "사용량 기반 결제" 모델로 전환하여, 퍼블리셔가 콘텐츠 가치에 따라 AI 기업에 비용을 청구할 수 있도록 합니다.
- 효율성 증대: 새로운 정책은 현재 변경되지 않은 웹 페이지를 다시 가져오는 데 낭비되는 AI 크롤링 트래픽의 50%를 줄이는 것을 목표로 합니다.