𝗖𝗿𝗮𝘄𝗹 𝗕𝘂𝗱𝗴𝗲𝘁-𝗼𝗽𝘁𝗶𝗺𝗮𝗹𝗶𝘀𝗮𝘁𝗶𝗲
Google bepaalt hoeveel URL's het op je site crawlt. Dit is je crawl budget. Het bestaat uit twee onderdelen: crawl capacity en crawl demand.
Crawl capacity hangt af van de snelheid van je server. Als je server snel reageert, crawlt Google meer.
Crawl demand hangt af van je content. Als je content vers en populair blijft, wil Google deze vaker zien.
De meeste kleine sites hoeven zich hier geen zorgen over te maken. Als je minder dan 10.000 pagina's hebt, kun je beter focussen op een goede sitemap.
Je moet alleen actie ondernemen als je:
- Meer dan 1 miljoen unieke pagina's hebt.
- Meer dan 10.000 pagina's hebt die dagelijks veranderen.
- Veel URL's hebt die in Search Console vastlopen op "Gevonden – momenteel niet geïndexeerd".
Verspild crawl budget komt meestal door structurele problemen. Veelvoorkomende problemen zijn:
- Facet-navigatie en URL-parameters.
- Oneindige filterketens of kalenders.
- Soft 404-fouten.
- Dubbel of dunne content.
- Lange redirect-ketens.
- Trage responstijden van de server.
Volg deze stappen om je crawl budget te optimaliseren:
- Voeg dubbele pagina's samen en gebruik canonical tags.
- Gebruik robots.txt om onbelangrijke URL's te blokkeren. Gebruik hiervoor geen noindex. Google moet een pagina namelijk crawlen om een noindex-tag te zien, wat nog steeds budget verspilt.
- Geef 404- of 410-statuscodes terug voor verwijderde pagina's.
- Update je sitemaps met de juiste lastmod-data.
- Verbeter de snelheid van je server om de capaciteit te vergroten.
Sommige experts raden aan om content van lage kwaliteit te verwijderen om het verkeer te stimuleren. Een studie toonde een stijging van 67% na het verwijderen van oude berichten met nul verkeer. Wees voorzichtig. Het verwijderen van content verbetert de kwaliteit en focus van je site, maar het is geen gegarandeerde groeimethode.
Het optimaliseren van je crawl budget draait om efficiëntie. Het zorgt ervoor dat Google je beste pagina's snel vindt. Het verandert je rankings niet direct.
Voer een audit uit op je site voordat je iets verwijdert. Snoei voor de kwaliteit, niet alleen om een bepaald getal te halen.
Bron: https://dev.to/mrtd/crawl-budget-reclamation-what-it-is-who-needs-it-and-the-pruning-playbook-139g