Відновлення краулінгового бюджету
Google вирішує, скільки URL-адрес на вашому сайті він буде обходити. Це ваш краулінговий бюджет. Він складається з двох частин: можливості сканування (crawl capacity) та попиту на сканування (crawl demand).
Можливість сканування залежить від швидкості вашого сервера. Якщо сервер відповідає швидко, Google сканує більше сторінок.
Попит на сканування залежить від вашого контенту. Якщо ваш контент залишається свіжим і популярним, Google хоче бачити його частіше.
Більшості малих сайтів про це турбуватися не потрібно. Якщо у вас менше 10 000 сторінок, краще зосередьтеся на створенні якісної карти сайту (sitemap).
Вам потрібно діяти лише у разі, якщо у вас є:
- Понад 1 мільйон унікальних сторінок.
- Понад 10 000 сторінок, що змінюються щодня.
- Багато URL-адрес зі статусом «Виявлено — зараз не проіндексовано» (Discovered – currently not indexed) у Search Console.
Марнування краулінгового бюджету зазвичай спричинене структурними проблемами. Поширені проблеми включають:
- Фасетна навігація та параметри URL.
- Нескінченні ланцюжки фільтрів або календарі.
- Помилки Soft 404.
- Дубльований або малоцінний (thin) контент.
- Довгі ланцюжки перенаправлень.
- Повільний час відповіді сервера.
Виконайте ці кроки, щоб виправити краулінговий бюджет:
- Об'єднуйте дубльовані сторінки та використовуйте теги canonical.
- Використовуйте robots.txt, щоб заблокувати непотрібні URL-адреси. Не використовуйте для цього noindex. Щоб побачити тег noindex, Google має спочатку просканувати сторінку, що все одно витрачає бюджет.
- Повертайте коди стану 404 або 410 для видалених сторінок.
- Оновлюйте карти сайту (sitemaps), вказуючи правильні дати lastmod.
- Покращуйте швидкість сервера, щоб збільшити можливості сканування.
Деякі експерти радять видаляти низькоякісний контент, щоб збільшити трафік. Одне дослідження показало зростання на 67% після видалення старих постів із нульовим трафіком. Будьте обережні. Видалення контенту покращує якість і фокус сайту, але це не є гарантованим способом стимулювання росту.
Відновлення краулінгового бюджету — це про ефективність. Це гарантує, що Google швидко знайде ваші найкращі сторінки. Це не впливає безпосередньо на ваші позиції в пошуку.
Проведіть аудит сайту, перш ніж щось видаляти. «Підрізайте» контент заради якості, а не просто заради цифр.
Джерело: https://dev.to/mrtd/crawl-budget-reclamation-what-it-is-who-needs-it-and-the-pruning-playbook-139g