Cloudflareの新しいAIクローラー制御機能
ウェブサイトのトラフィックが変化しています。
かつて、検索エンジンは人々がサイトを見つけやすくするためにサイトをクロールしていました。それは単純な仕組みでした。しかし、AIの登場により、状況ははるかに複雑になりました。
ボットが検索結果に表示するためにページをクロールする場合と、AIモデルをトレーニングするためにページをクロールする場合では、その意味が異なります。
Cloudflareはこの管理方法を変更します。2026年7月1日より、すべての顧客に新しいAIトラフィック制御機能が提供されます。これにより、トラフィックを以下の3つのグループに分類できるようになります。
- Search（検索）：検索エンジンやAIの回答のためにコンテンツをインデックスするボット。
- Agent（エージェント）：ユーザーに代わってタスクを実行するボット。
- Training（トレーニング）：AIモデルのトレーニングや微調整（ファインチューニング）のためにデータを収集するボット。
この転換により、「可視性」の問題は「アクセス権限ポリシー」の決定事項へと変わります。もはや単なるSEOの判断ではありません。
SaaS企業を運営している場合、ドキュメント、料金ページ、ヘルプセンターなどの公開ページは価値を生み出します。これらは顧客の獲得やサポートに役立ちます。
どの程度のアクセスを許可するかを決定する必要があります。
以前の問いは「検索エンジンにサイトを見つけてもらえるか？」でした。 新しい問いは「どの自動化システムに、どのような目的でサイトを利用させるべきか？」です。
すべてのAIボットを同じものとして扱わないでください。
Searchボットは、ユーザーが製品を見つけるのを助けます。これらをブロックすると、AIを活用した検索結果において、あなたのサイトが表示されなくなる可能性があります。
AIエージェントは有用な場合があります。エージェントがユーザーのプラン比較を支援するために料金ページを訪問することがあります。ただし、これらのエージェントに認証やレート制限が必要かどうかを判断する必要があります。
Trainingボットは、直接的な価値が低いです。これらはモデル構築のためにコンテンツを使用しますが、ユーザーをサイトへ送り返すことはありません。多くの企業がこれらをブロックすることを選択しています。
スマートなポリシーの例は以下の通りです：
- Searchボットによる製品ページやヘルプページのインデックスを許可する。
- ユーザー主導のエージェントによる公開ドキュメントへのアクセスを許可する。
- Trainingボットのアクセスをブロックするか、ライセンス制にする。
- 認証が必要なすべての製品エリアは保護を維持する。
定期的にトラフィックを確認してください。クローラーのカテゴリ、サーバー負荷、検索の可視性をチェックしましょう。
目標はすべてのボットをブロックすることではありません。目標は、ボットの「行動」を制御することです。