𝗖𝗿𝗮𝘄𝗹 𝗕𝘂𝗱𝗴𝗲𝘁 𝗥𝗲𝗰𝗹𝗮𝗺𝗮𝘁𝗶𝗼𝗻

𝗖𝗿𝗮𝘄𝗹 𝗕𝘂𝗱𝗴𝗲𝘁 𝗥𝗲𝗰𝗹𝗮𝗺𝗮𝘁𝗶𝗼𝗻 抓取预算回收

Google 会决定在您的网站上抓取多少个 URL。这就是您的抓取预算。它由两部分组成：抓取容量 (crawl capacity) 和抓取需求 (crawl demand)。

抓取容量取决于您的服务器速度。如果您的服务器响应迅速，Google 就会抓取更多内容。

抓取需求取决于您的内容。如果您的内容保持新鲜且受欢迎，Google 就会希望更频繁地查看它。

大多数小型网站不需要担心这个问题。如果您的页面少于 10,000 个，请专注于优化站点地图 (sitemap) 即可。

只有在以下情况下，您才需要采取行动：

• 拥有超过 100 万个唯一页面。
• 每天有超过 10,000 个页面发生变化。
• 在 Search Console 中有许多 URL 处于“已发现 - 当前未编入索引” (Discovered – currently not indexed) 状态。

浪费的抓取预算通常源于结构性问题。常见问题包括：

• 分面导航 (Faceted navigation) 和 URL 参数。
• 无限过滤器链或日历。
• 软 404 错误。
• 重复内容或薄弱内容。
• 长重定向链。
• 服务器响应速度慢。

请按照以下步骤修复您的抓取预算：

• 合并重复页面并使用 canonical 标签。
• 使用 robots.txt 来屏蔽不重要的 URL。不要为此使用 noindex。Google 必须先抓取页面才能看到 noindex 标签，这仍然会浪费预算。
• 对已删除的页面返回 404 或 410 状态码。
• 使用正确的 lastmod 日期更新您的站点地图。
• 提高服务器速度以增加抓取容量。

一些专家建议删除低质量内容以提升流量。一项研究显示，在删除旧的、零流量的文章后，流量提升了 67%。请谨慎操作。删除内容可以提高网站质量和专注度，但这并不是一种保证增长的“秘籍”。

抓取预算回收的核心在于效率。它能确保 Google 快速找到您的优质页面。它不会直接改变您的排名。

在删除任何内容之前，请先审计您的网站。为了质量而精简，而不仅仅是为了达到某个数字。

Source: https://dev.to/mrtd/crawl-budget-reclamation-what-it-is-who-needs-it-and-the-pruning-playbook-139g