Cloudflare의 새로운 AI 크롤러 제어 기능
웹사이트 트래픽이 변화하고 있습니다.
과거에는 검색 엔진이 사람들이 여러분을 찾을 수 있도록 사이트를 크롤링했습니다. 단순한 구조였죠. 하지만 AI가 등장하면서 상황은 훨씬 더 복잡해졌습니다.
어떤 봇은 검색 결과에 페이지를 표시하기 위해 크롤링할 수 있습니다. 이는 AI 모델을 학습시키기 위해 페이지를 크롤링하는 봇과는 다릅니다.
Cloudflare는 이를 관리하는 방식을 바꾸고 있습니다. 2026년 7월 1일부터 모든 고객에게 새로운 AI 트래픽 제어 기능이 제공됩니다. 이를 통해 트래픽을 다음 세 가지 그룹으로 분류할 수 있습니다.
- Search: 검색 엔진이나 AI 답변을 위해 콘텐츠를 인덱싱하는 봇.
- Agent: 사용자를 대신하여 작업을 수행하는 봇.
- Training: AI 모델을 학습시키거나 미세 조정(fine-tune)하기 위해 데이터를 수집하는 봇.
이러한 변화는 '가시성'의 문제를 '액세스 정책'의 결정 문제로 전환시킵니다. 이제 이는 단순한 SEO 결정이 아닙니다.
SaaS 기업을 운영한다면, 문서(documentation), 가격 안내(pricing), 고객 센터(help centers)와 같은 공개 페이지가 가치를 창출합니다. 이러한 페이지는 고객을 유치하고 지원하는 데 도움을 줍니다.
여러분은 어느 정도의 액세스 권한을 허용할지 결정해야 합니다.
과거의 질문은 "검색 엔진이 우리를 찾을 수 있는가?"였습니다. 이제 새로운 질문은 "어떤 자동화 시스템이 어떤 목적으로 우리 사이트를 사용해야 하는가?"입니다.
모든 AI 봇을 동일하게 취급하지 마십시오.
Search 봇은 사용자가 제품을 찾는 것을 도와줍니다. 이들을 차단하면 AI 기반 검색 결과에서 여러분의 제품이 보이지 않게 될 수 있습니다.
AI 에이전트는 유용할 수 있습니다. 에이전트가 사용자의 요금제 비교를 돕기 위해 가격 안내 페이지를 방문할 수도 있습니다. 하지만 이러한 에이전트에게 인증(authentication)이나 속도 제한(rate limits)이 필요한지는 직접 결정해야 합니다.
Training 봇은 직접적인 가치가 적습니다. 이들은 모델을 구축하기 위해 콘텐츠를 사용하지만, 사용자를 여러분의 사이트로 다시 보내지 않을 수 있습니다. 많은 기업이 이들을 차단하는 방식을 선택합니다.
현명한 정책은 다음과 같습니다.
- Search 봇이 제품 및 도움말 페이지를 인덱싱하도록 허용합니다.
- 사용자 지시형 에이전트가 공개 문서에 액세스할 수 있도록 허용합니다.
- Training 봇의 액세스를 차단하거나 라이선스를 부여합니다.
- 인증된 모든 제품 영역은 보호된 상태로 유지합니다.
트래픽을 정기적으로 검토하십시오. 크롤러 카테고리, 서버 부하, 검색 가시성을 확인하십시오.
목표는 모든 봇을 차단하는 것이 아닙니다. 목표는 그들이 무엇을 하는지 제어하는 것입니다.