웹에 라이선스를 부여하는 기업을 선택한 사람은 아무도 없었다

Cloudflare는 7월 1일, 기존의 "크롤링당 과금(pay-per-crawl)" 모델을 AI 시스템이 콘텐츠를 소비할 때마다 퍼블리셔에게 비용을 지불하는 "사용량 기반 과금(pay-per-use)" 체계로 교체하는 새로운 가격 구조를 도입했습니다. 또한, 9월 15일부터 광고가 포함된 페이지에서 혼합형(mixed-use) 크롤러를 자동으로 차단하는 기능도 도입됩니다. 이러한 변화는 CDN 및 보안 제공업체인 Cloudflare를 웹을 누가, 어떤 조건으로 읽을 수 있는지를 결정하는 실질적인 게이트키퍼(gatekeeper)로 변모시키며, 이는 AI 학습의 경제성과 더 넓은 인터넷 생태계를 재편할 수 있는 움직임입니다.

가격 조정이 중요한 이유

기존 시스템에서는 페이지를 가져오려는 봇이 Cloudflare에 요청당 수수료를 지불했습니다. 이 수수료는 사이트 소유자가 아닌 Cloudflare로 들어갔습니다. 새로운 모델은 이 흐름을 뒤집습니다. AI 모델이 페이지에 접속하면, 퍼블리셔는 Cloudflare로부터 대금을 지급받습니다. 대금 지급 측면은 긍정적입니다. 사이트 소유자에게 수익을 제공하기 때문입니다.

실질적인 영향은 AI 크롤러를 구축하는 모든 이들에게 즉각적으로 나타납니다. 크롤러가 "혼합형(mixed use)"으로 분류될 경우(즉, 검색을 위해 페이지를 인덱싱하는 동시에 학습을 위해 콘텐츠를 추출하는 경우), Cloudflare는 광고가 게재되는 모든 페이지에서 해당 크롤러를 기본적으로 차단합니다. 접근 권한을 얻으려면 운영자는 Cloudflare의 요율을 지불하거나, 해당 페이지에 대한 접근을 포기해야 합니다.

전환 뒤에 숨겨진 정책적 구조

Cloudflare의 제품 사양은 AI 크롤러를 세 가지 범주로 분류합니다:

  • Search – 검색 엔진을 구동하기 위해 페이지를 인덱싱하는 봇.
  • Agent – 대화형 AI 또는 유사한 에이전트를 위해 정보를 검색하는 봇.
  • Training – 머신러닝 모델을 학습시키기 위해 텍스트, 이미지 또는 기타 데이터를 수집하는 봇.

이러한 분류는 법률이나 업계 표준에 의해 결정되는 것이 아니라, Cloudflare의 내부 팀이 결정합니다. 또한 해당 팀은 각 봇을 특정 범주에 할당합니다. 예를 들어, 연구 목적의 크롤러를 "agent"로 볼 것인지 "trainer"로 볼 것인지, 혹은 아카이브 봇을 "search" 봇으로 간주할 것인지 등을 결정합니다.

이러한 분류는 봇의 차단 여부, 부과되는 비용, 그리고 퍼블리셔가 대금을 지급받는지 여부에 직접적인 영향을 미칩니다.

승자와 패자

퍼블리셔 (Publishers)

사이트 소유자들은 이제 새로운 수익원을 얻게 됩니다. AI 모델이 그들의 기사를 읽을 때마다 Cloudflare가 대금을 지급합니다.

AI 개발자 (AI developers)

대규모의 다양한 데이터셋에 의존하는 스타트업과 연구소는 이제 추가적인 비용 부담에 직면하게 됩니다. 크롤러가 Cloudflare의 승인 목록에 없다면, 개발자는 사용량 기반 수수료를 지불하거나 웹의 상당 부분을 포기해야 합니다.

희소성 뒤에 숨겨진 비즈니스 로직

Cloudflare의 모델은 마켓플레이스를 운영하기 위해 희소성을 창출합니다. 기본적으로 광고가 포함된 페이지에서 혼합형 봇은 차단되며, 이를 통해 모든 요청을 과금 가능한 이벤트로 만듭니다. 만약 회사가 모든 봇을 차단한다면, 스스로의 수익원을 없애는 꼴이 됩니다. 따라서 선택적 차단은 수익을 보호하는 동시에 봇 운영자들이 유료 관계로 전환하도록 강제합니다.

또한 이러한 변화는 Cloudflare의 방대한 무료 티어 사용자 기반을 활용합니다. 수백만 개의 사이트가 무료 플랜에서 제공하는 간편한 CDN 및 보안 서비스 때문에 가입했습니다. 그 "무료" 접근은 고객 유치 전략이었지, 자선 활동이 아니었습니다. 이제 해당 사이트들은 AI가 콘텐츠를 소비할 때 Cloudflare에 수익을 가져다주는 네트워크의 일부가 되었지만, 정작 사이트들은 가격 책정이나 누가 대금을 받을지를 결정하는 정책 범주에 대해 아무런 발언권이 없습니다.

시사점

Cloudflare의 사용량 기반 과금 체계 개편은 단순히 새로운 수익원을 추가하는 것에 그치지 않습니다. 이는 어떤 AI 크롤러가 웹을 읽을 수 있는지에 대해 라벨을 붙이고, 비용을 청구하며, 궁극적으로 결정할 수 있는 권한을 기업에 부여합니다.