Cloudflare의 AI 크롤러 라이선스 모델이 7월 1일에 출시되었습니다. 기존의 "크롤링당 과금(pay-per-crawl)" 방식에서 인공지능 서비스가 페이지를 읽을 때마다 비용을 청구하는 "사용량 기반 과금(pay-per-use)" 시스템으로 전환되었습니다. 이번 전환은 단순히 가격표를 수정하는 것 이상의 의미를 갖습니다. 이는 단 하나의 민간 기업에 누가 공개 웹에 접속할 수 있는지, 그리고 어떤 조건으로 접속할지를 결정할 수 있는 권한을 부여합니다.

이러한 변화가 중요한 이유

수년 동안 Cloudflare의 무료 티어는 수백만 개의 사이트에 성능을 향상하고 원치 않는 트래픽을 막을 수 있는 저렴한 방법을 제공해 왔습니다. 봇이 페이지를 가져올 때 운영자는 크롤링당 정해진 수수료를 지불했습니다. 새로운 모델은 이 관계를 뒤집습니다. 이제 AI 모델이 콘텐츠를 소비할 때마다 게시자가 대가를 받게 됩니다. 표면적으로 이는 자신의 작업물을 바탕으로 성장해 온 'AI 파이'의 한 조각을 마침내 나누어 갖게 된 사이트 소유자들에게 승리처럼 들립니다.

또한 이 모델은 AI 크롤러를 위한 세 가지 새로운 카테고리인 Search, Agent, 그리고 Training을 도입하며, 봇을 이 중 어느 범주로 분류할지에 대한 권한을 전적으로 Cloudflare의 제품 사양에 부여합니다. 연구용 봇이 정당한 "Agent"인지 아니면 "Training" 봇인지, 소규모 팀의 도구가 "Search" 서비스인지 아니면 "무단 도용자"인지를 회사가 결정합니다. 이러한 분류는 적용되는 요율을 결정하며, 9월 15일부터는 광고가 표시되는 페이지에서 해당 봇을 즉시 차단할지 여부도 결정하게 됩니다.

통제의 메커니즘

  • 세 가지 범주, 단 하나의 문지기 – Cloudflare가 독자적으로 세 그룹을 정의합니다. 외부 표준 기구도, 산업 컨소시엄도, 공청회도 없습니다. 근본적인 활동이 거의 동일하더라도 "Training" 범주에 속하는 봇은 "Search"로 분류된 봇보다 더 높은 수수료를 부담해야 합니다.
  • 광고 지원 페이지에서의 기본 차단 – 9월 중순부터 Cloudflare의 기준을 충족하지 않는 혼합형 크롤러가 광고가 있는 페이지에 접속할 경우 접근이 거부됩니다. 차단은 자동으로 이루어지며, 이를 피할 수 있는 유일한 방법은 Cloudflare가 해당 범주에 대해 설정한 요율을 지불하는 것뿐입니다.
  • 대기 명단이 있는 시장 – "라이선스가 부여된" 웹에 대한 접근은 더 이상 기술적 능력에만 달려 있지 않습니다. 대규모 크롤링을 원하는 기업은 Cloudflare의 승인 목록에 오르기 위해 신청해야 합니다. 목록에서 제외된 기업은 두 가지 냉혹한 선택지에 직면합니다. Cloudflare가 제시하는 가격을 수용하거나, 인터넷의 상당 부분을 스크래핑할 수 있는 능력을 상실하거나 둘 중 하나입니다.
  • 투표권 없는 수익 – 대가를 받는 사이트 소유자들은 카테고리가 어떻게 나뉘는지, 요율이 어떻게 변하는지, 또는 누가 화이트리스트에 오르는지에 대해 발언권이 없습니다. 가격 구조와 "허용 가능한" 크롤링의 정의 자체가 공공 정책 프로세스가 아닌 기업의 제품 사양 뒤에 숨어 있습니다.

승자와 패자

게시자(Publishers) – 즉각적인 이점은 새로운 수익원입니다. AI 모델이 기사를 읽을 때마다 사이트 소유자는 수익을 얻게 됩니다. 트래픽 수익화에 어려움을 겪어온 소규모 게시자들에게 이러한 현금 흐름은 의미가 있을 수 있습니다.

AI 개발자 및 연구자 – Cloudflare의 요율을 감당할 수 있고 화이트리스트에 이름을 올릴 수 있는 이들은 계속해서 대규모로 모델을 학습시키고 운영할 것입니다.

스타트업, 오픈 소스 프로젝트 및 독립 연구자 – 화이트리스트에 포함되지 못하면 Cloudflare가 설정한 요율을 지불하거나 웹의 상당 부분에 대한 접근 권한을 잃어야 합니다.

광범위한 인터넷 생태계 – 공개 웹에 대한 접근을 라이선스 기반 서비스로 전환함으로써, Cloudflare는 전통적으로 느슨하게 규제되는 다자간 환경의 영역이었던 일종의 "디지털 게이트키핑(digital gatekeeping)" 권한을 집중시키고 있습니다.

희소성의 숨겨진 비용

봇을 차단하는 것은 오랫동안 스팸, 스크래핑 및 대역폭 남용에 대응하기 위한 방어적 조치로 여겨져 왔습니다. Cloudflare의 새로운 모델에서 차단은 영향력을 행사하는 수단입니다. 진짜 제품은 모든 페이지 뷰를 측정하고 가격표를 붙이는 계량기입니다. 이 회사는 접근 권한을 판매하는 시장을 직접 운영하기 때문에, 스위치를 켜는 것만으로 모두에게 희소성을 만들어낼 수 있습니다.

오늘날 웹 트래픽의 대부분을 끌어모았던 무료 티어는 결코 자선 사업이 아니었습니다. 그것은 Cloudflare에 시장 지배력을 부여하여 나중에 라이선스 모델을 통해 그 지배력을 수익화할 수 있게 한 전략적 진입점이었습니다. 이제 한때 더 빠른 페이지 로딩을 민주화했던 바로 그 인프라가 누가 그 페이지를 읽을 수 있는지를 결정합니다.

반론: AI의 연료가 되는 콘텐츠에 비용 지불하기

새 시스템을 옹호하는 논거는 간단합니다. AI 개발자들이 창작자들에게 보상하지 않은 채 공개된 텍스트, 이미지, 코드를 통해 이익을 얻어왔다는 점입니다. Cloudflare의 모델은 고품질 콘텐츠 생산을 장려하고 발행인들이 AI 경제의 지분을 가질 수 있도록 하는 결제 루프를 강제합니다. 또한, 이는 선량한 검색 봇과 대규모 데이터 수집 작업을 명확하고 집행 가능한 방식으로 구분하여 잠재적인 남용을 억제할 수 있는 방법을 제공합니다.

하지만 이러한 이점들이 규칙이 일방적으로 정해진다는 사실을 지워주지는 않습니다. 수익 배분이 관대하더라도, 민주적인 절차가 결여되어 있다는 것은 분류 기준이 자의적이거나 요율이 착취적으로 변할 경우 대중이 대응할 수 있는 수단이 없음을 의미합니다. 이 모델은 불투명한 결정 세트(광고 차단 휴리스틱)를 더 재정적으로 중대한 영향을 미치는 또 다른 결정 세트로 교체하는 셈입니다.

향후 주목할 점

핵심 요약

Cloudflare의 7월 1일 가격 체계 개편은 웹 페이지를 읽는 행위를 라이선스 기반의 거래로 전환하며, 단 하나의 민간 기업이 규칙을 작성하고 수수료를 징수하게 만듭니다. 발행인들이 AI 기반 소비를 통해 마침내 수익을 얻게 되었지만, 더 광범위한 결과는 누가 어떤 조건으로 공개 인터넷에 접속할 수 있는지를 재편하는 새로운 형태의 디지털 게이트키핑입니다. 진짜 핵심은 가격표가 아니라, 오랫동안 개방적이라고 여겨져 온 영역에서 통제권이 집중되고 있다는 사실입니다.