Un audit di un catalogo di utensili industriali da 5.000 SKU ha mostrato che Googlebot scansiona gli URL dei filtri del sito tre volte al giorno, mentre le pagine delle categorie principali vengono visitate solo una volta ogni tre settimane. Il risultato? I nuovi prodotti impiegano un mese per apparire nei risultati di ricerca perché il crawler rimane bloccato su URL di scarso valore.

Perché la ricerca sfaccettata danneggia il crawl budget

La ricerca sfaccettata permette agli acquirenti di restringere i risultati per materiale, dimensione, rivestimento e altri attributi. Ogni facet aggiunge un parametro all'URL e, con cinque dimensioni, le combinazioni possibili esplodono in decine di migliaia di pagine uniche. La maggior parte di queste pagine contiene quasi la stessa lista di prodotti, eppure Google le tratta come URL separati. Poiché il crawl budget di Google – il numero di pagine che scansiona su un sito ogni giorno – è limitato, esso consuma slot preziosi su URL che aggiungono poco valore agli utenti o alla ricerca.

La struttura degli URL del sito invita il bot in una "crawl trap", dove segue all'infinito link che portano a pagine quasi duplicate.

Cosa c'è in gioco

  • Velocità di indicizzazione – un ritardo nella scoperta significa che il nuovo inventario rimane invisibile per settimane, danneggiando le vendite.
  • Visibilità nelle ricerche – se Google consuma il suo budget sulle pagine dei filtri, le pagine prodotto ad alta priorità potrebbero non essere mai scansionate, limitando le loro possibilità di posizionamento.

Guida passo dopo passo per recuperare il crawl budget

  1. Identificare i facet ad alto valore
    Trova le combinazioni di filtri che generano traffico di ricerca reale. Assegna a quegli URL un percorso pulito e descrittivo (ad es. /end-mill/coating-tialn/). Mantieni le pagine ad alto valore completamente scansionabili e indicizzabili.

  2. Trattare i facet di medio valore con i tag canonical
    Quando un filtro è utile ma genera poco volume di ricerca, lascia l'URL accessibile ma aggiungi un rel=canonical che punti alla pagina della categoria principale. Questo comunica a Google che la categoria è la versione preferita.

  3. Bloccare i facet di basso valore tramite robots.txt
    Disabilita quei pattern in robots.txt in modo che Googlebot non li richieda mai.

  4. Renderizzare i filtri avanzati come pulsanti, non come link
    I bot seguono gli elementi <a> ma ignorano gli elementi <button>. Fornisci i controlli dei filtri come pulsanti che attivano JavaScript senza creare nuovi URL. Gli utenti ottengono comunque l'interfaccia di cui hanno bisogno, mentre il crawler non può scoprire URL inutili.

  5. Evitare la trappola del "noindex"
    Aggiungere noindex a 30.000 URL di filtri costringe comunque Google a scaricare prima ogni pagina, per poi leggere la direttiva di ignorarla. Usa robots.txt per interrompere completamente la scansione; solo le pagine che intendi indicizzare dovrebbero essere raggiungibili.

Misurare il successo

Sposta l'attenzione dai posizionamenti alla velocità di indicizzazione. Monitora quanto tempo impiega un prodotto appena aggiunto ad apparire nell'indice di Google prima e dopo le modifiche. Passare da un ritardo di 21 giorni a uno di 3 giorni dimostra che la strategia sta funzionando.

Controargomentazione: usabilità contro efficienza di scansione

Mantieni l'interfaccia utente intatta — i pulsanti permettono comunque agli utenti di affinare i risultati — mantenendo al contempo gli URL sottostanti invisibili al crawler. Se un particolare filtro si rivela essenziale per la navigazione, promuovilo a facet ad alto valore e assegnagli un URL pulito e scansionabile.

Cosa monitorare in seguito

  • Statistiche di scansione di Search Console – monitora il report "Statistiche di scansione" per rilevare riduzioni in "Richieste bloccate da robots.txt" e un aumento della "Profondità di scansione" per le pagine prodotto.

In sintesi: Classifica i facet, usa i tag canonical, blocca gli URL di basso valore e sostituisci i link con i pulsanti. I grandi siti di e-commerce possono indirizzare Googlebot verso le pagine che contano, riducendo i tempi di indicizzazione da settimane a giorni senza sacrificare la funzionalità per l'acquirente.