Восстановление краулингового бюджета
Google решает, сколько URL-адресов на вашем сайте он будет обходить. Это и есть ваш краулинговый бюджет. Он состоит из двух частей: краулингового потенциала (crawl capacity) и краулингового спроса (crawl demand).
Краулинговый потенциал зависит от скорости вашего сервера. Если сервер отвечает быстро, Google обходит больше страниц.
Краулинговый спрос зависит от вашего контента. Если контент остается актуальным и популярным, Google хочет видеть его чаще.
Большинству небольших сайтов об этом беспокоиться не нужно. Если у вас менее 10 000 страниц, лучше сосредоточьтесь на качественной карте сайта (sitemap).
Вам нужно принимать меры только если у вас:
- Более 1 миллиона уникальных страниц.
- Более 10 000 страниц, которые обновляются ежедневно.
- Много URL-адресов со статусом «Обнаружена, но не проиндексирована» (Discovered – currently not indexed) в Search Console.
Напрасная трата краулингового бюджета обычно вызвана структурными проблемами. Распространенные проблемы включают:
- Фасетная навигация и параметры URL.
- Бесконечные цепочки фильтров или календари.
- Ошибки Soft 404.
- Дублирующийся или малоценный (thin) контент.
- Длинные цепочки редиректов.
- Медленный отклик сервера.
Выполните следующие шаги, чтобы оптимизировать краулинговый бюджет:
- Объединяйте дублирующиеся страницы и используйте теги canonical.
- Используйте robots.txt для блокировки неважных URL. Не используйте для этого noindex. Чтобы увидеть тег noindex, Google должен сначала обойти страницу, что все равно тратит бюджет.
- Возвращайте коды состояния 404 или 410 для удаленных страниц.
- Обновляйте свои карты сайта, указывая корректные даты lastmod.
- Улучшите скорость работы сервера, чтобы увеличить краулинговый потенциал.
Некоторые эксперты советуют удалять низкокачественный контент, чтобы увеличить трафик. Одно исследование показало рост на 67% после удаления старых постов с нулевым трафиком. Будьте осторожны. Удаление контента повышает качество и фокус сайта, но это не гарантированный способ роста.
Восстановление краулингового бюджета — это вопрос эффективности. Оно гарантирует, что Google быстро найдет ваши лучшие страницы. Это не влияет на позиции напрямую.
Проведите аудит сайта, прежде чем что-либо удалять. Проводите «чистку» ради качества, а не просто ради достижения определенного показателя.
Источник: https://dev.to/mrtd/crawl-budget-reclamation-what-it-is-who-needs-it-and-the-pruning-playbook-139g