𝗢𝗱𝘇𝘆𝘀𝗸𝗶𝘄𝗮𝗻𝗶𝗲 𝗯𝘂𝗱ż𝗲𝘁𝘂 𝗰𝗿𝗮𝘄𝗹𝗶𝗻𝗴𝗼𝘄𝗲𝗴𝗼
Google decyduje, ile adresów URL na Twojej stronie może przeskanować. To jest Twój budżet crawlingowy (crawl budget). Składa się on z dwóch części: pojemności crawlingowej (crawl capacity) oraz zapotrzebowania na crawling (crawl demand).
Pojemność crawlingowa zależy od szybkości Twojego serwera. Jeśli serwer odpowiada szybko, Google skanuje więcej stron.
Zapotrzebowanie na crawling zależy od Twoich treści. Jeśli Twoje treści są świeże i popularne, Google chce je widzieć częściej.
Większość małych stron nie musi się tym martwić. Jeśli masz mniej niż 10 000 stron, skup się zamiast tego na dobrej mapie witryny (sitemap).
Musisz podjąć działania tylko wtedy, gdy masz:
- Ponad 1 milion unikalnych stron.
- Ponad 10 000 stron, które zmieniają się codziennie.
- Wiele adresów URL widniejących jako „Odkryto – obecnie brak indeksowania” w Search Console.
Marnotrawstwo budżetu crawlingowego wynika zazwyczaj z problemów strukturalnych. Typowe problemy to:
- Nawigacja facetowa (faceted navigation) i parametry URL.
- Nieskończone łańcuchy filtrów lub kalendarze.
- Błędy Soft 404.
- Duplikaty lub mało wartościowe treści (thin content).
- Długie łańcuchy przekierowań.
- Wolny czas odpowiedzi serwera.
Wykonaj te kroki, aby naprawić swój budżet crawlingowy:
- Połącz duplikujące się strony i użyj tagów canonical.
- Użyj robots.txt, aby zablokować nieistotne adresy URL. Nie używaj do tego noindex. Google musi najpierw przeskanować stronę, aby zobaczyć tag noindex, co i tak marnuje budżet.
- Zwracaj kody statusu 404 lub 410 dla usuniętych stron.
- Aktualizuj swoje mapy witryn (sitemaps) o poprawne daty lastmod.
- Popraw szybkość serwera, aby zwiększyć jego pojemność.
Niektórzy eksperci sugerują usuwanie niskiej jakości treści, aby zwiększyć ruch. Jedno badanie wykazało 67-procentowy wzrost po usunięciu starych wpisów z zerowym ruchem. Zachowaj jednak ostrożność. Usuwanie treści poprawia jakość i koncentrację witryny, ale nie jest to gwarantowany sposób na wzrost.
Odzyskiwanie budżetu crawlingowego polega na zwiększeniu wydajności. Zapewnia ono, że Google szybko znajdzie Twoje najlepsze strony. Nie zmienia to bezpośrednio Twoich pozycji w wynikach wyszukiwania.
Przeprowadź audyt strony, zanim cokolwiek usuniesz. Przycinaj treści w celu poprawy jakości, a nie tylko po to, by osiągnąć konkretną liczbę.
Źródło: https://dev.to/mrtd/crawl-budget-reclamation-what-it-is-who-needs-it-and-the-pruning-playbook-139g