𝗖𝗿𝗮 Crawl Budget Reclamation
Googleは、サイト内のどのURLをどれくらいクロールするかを決定します。これが「クロール予算」です。クロール予算は、「クロール容量」と「クロール需要」の2つの要素で構成されます。
クロール容量はサーバーの速度に依存します。サーバーのレスポンスが速ければ、Googleはより多くのページをクロールします。
クロール需要はコンテンツの内容に依存します。コンテンツが常に新鮮で人気があれば、Googleはより頻繁にそれを確認しようとします。
ほとんどの小規模なサイトでは、これを心配する必要はありません。ページ数が10,000ページ未満であれば、代わりに優れたサイトマップの作成に注力してください。
以下に該当する場合のみ、対策が必要です：
- ユニークなページが100万ページ以上ある。
- 毎日更新されるページが10,000ページ以上ある。
- Search Consoleで「検出 - インデックス未登録」のまま止まっているURLが多い。
クロール予算の浪費は、通常、構造的な問題から発生します。よくある問題には以下が含まれます：
- ファセットナビゲーションとURLパラメータ。
- 無限に続くフィルターチェーンやカレンダー。
- ソフト404エラー。
- 重複コンテンツまたは低品質な（thin）コンテンツ。
- 長いリダイレクトチェーン。
- サーバーのレスポンス速度の低下。
クロール予算を最適化するために、以下の手順に従ってください：
- 重複ページを統合し、canonicalタグを使用する。
- robots.txtを使用して、重要でないURLをブロックする。この目的でnoindexを使用しないでください。Googleがnoindexタグを確認するためには、まずそのページをクロールする必要があり、それでも予算を浪費してしまうからです。
- 削除したページには404または410ステータスコードを返す。
- 正しいlastmod（最終更新日）を使用してサイトマップを更新する。
- サーバーの速度を改善して、クロール容量を増やす。
トラフィックを増やすために、低品質なコンテンツを削除することを推奨する専門家もいます。ある調査では、トラフィックがゼロの古い記事を削除した後、67%の向上が見られたという結果が出ています。ただし、注意が必要です。コンテンツの削除はサイトの品質と専門性を高めますが、必ずしも成長を保証するテクニックではありません。
クロール予算の回収は、効率化の問題です。これにより、Googleがあなたのサイトの最良のページを迅速に見つけられるようになります。これは、検索順位を直接変えるものではありません。
何かを削除する前に、サイトを監査してください。単に数字を合わせるためではなく、品質向上のために「剪定（pruning）」を行ってください。
出典: https://dev.to/mrtd/crawl-budget-reclamation-what-it-is-who-needs-it-and-the-pruning-playbook-139g