Het SEO-team van de marktplaats schreef de indexeringsregel om nadat een simpel beleid van "minder dan 3 advertenties = noindex" ervoor zorgde dat categoriepagina's uit Google verdwenen en het weken duurde voordat ze terugkeerden. Door een eenrichtings-"unlock"-record toe te voegen waarmee een pagina van noindex naar index kan gaan, maar nooit meer terug, stopte de site het constante schommelen.

Waarom de oorspronkelijke regel averechts werkte

Het platform voor advertenties genereert veel categorie- en locatiepagina's. Wanneer een pagina voor het eerst verschijnt, bevat deze vaak slechts een handvol advertenties, dus besloot het team de pagina te verbergen voor zoekmachines totdat deze een minimale drempel van drie items bereikte. De logica was eenvoudig:

  • < 3 advertenties → voeg een noindex meta-tag toe
  • ≥ 3 advertenties → verwijder de tag (indexering toestaan)

In het begin hield dit pagina's met weinig inhoud en lage waarde buiten de zoekresultaten van Google. Het probleem ontstond toen advertenties verliepen. Een pagina met vijf advertenties op de ene dag kon de volgende dag terugvallen naar twee, waardoor deze direct weer op noindex sprong. Google volgde de instructie, verwijderde de URL uit de index en de pagina verloor alle opgebouwde rankings. Wanneer er een nieuwe advertentie bijkwam, werd de pagina weer indexeerbaar, maar het proces van heropname duurde weken.

Het resultaat was een constante "aan-uit"-cyclus: pagina's kwamen in de index, verdwenen, kwamen weer terug, enzovoort.

De eenrichtings-"unlock"-oplossing

De kern van het probleem was dat de regel geen geheugen had; de drempelwaarde werd bij elke aanvraag opnieuw berekend. Het team introduceerde een kleine database-tabel—seo_unlocks—die registreert wanneer een pagina voor het eerst de grens van drie advertenties bereikt. De nieuwe workflow is:

  1. Controleer het aantal advertenties. Als de pagina drie of meer actieve advertenties heeft, ga door.
  2. Schrijf een unlock-rij. Voeg een record voor die pagina toe aan seo_unlocks.
  3. Behandel de pagina als permanent indexeerbaar. Zelfs als het aantal later onder de drie zakt, zorgt de aanwezigheid van een unlock-rij ervoor dat de pagina buiten de noindex-flow blijft.

Omdat de unlock slechts één keer geschreven kan worden, kan een pagina van "noindex" naar "index" gaan, maar nooit meer terug. Het team voegde beveiligingen toe zodat gefilterde URL's (bijv. zoekresultaten met prijsbereiken) geen unlocks kunnen creëren voor hun bovenliggende categorieën, en sloot de database-aanroep in een try/catch-blok om te voorkomen dat een databasefout de hele site laat crashen.

Wat dit betekent voor crawl budget en pagina's met weinig inhoud

Een veelvoorkomend misverstand is dat noindex crawl budget bespaart. Google moet de pagina nog steeds ophalen, de tag lezen en deze vervolgens uit de index verwijderen. Als het doel is om te voorkomen dat Google een heel URL-patroon opvraagt, dan is het juiste hulpmiddel robots.txt. Gebruik noindex alleen wanneer je wilt dat Google de pagina ziet, maar deze niet in de zoekresultaten weergeeft.

Voor directories, vacaturebanken en marktplaatsen die afhankelijk zijn van grote aantallen automatisch gegenereerde pagina's is de les duidelijk: regels voor pagina's met weinig inhoud moeten gekoppeld worden aan een persistence layer die onthoudt wanneer een pagina een plek in de index heeft verdiend. Zonder dat geheugen kan een tijdelijke daling in content ervoor zorgen dat een pagina de opgebouwde ranking verliest, en kan heropname weken duren.

Conclusie

Een statische "als aantal < 3 dan noindex"-regel zorgt voor SEO-volatiliteit bij sites met dynamische advertenties. Het toevoegen van een eenrichtings unlock-record geeft de regel een geheugen, waardoor pagina's hun indexstatus kunnen verdienen en behouden, zelfs wanneer het aantal advertenties fluctueert. Combineer dit met het juiste gebruik van robots.txt voor echte besparingen op het crawl budget, en je kunt zowel de rankings als de serverbronnen beschermen.