L'audit d'un catalogue d'outils industriels de 5 000 références (SKU) a révélé que Googlebot parcourait les URL de filtres du site trois fois par jour, alors que les pages de catégories principales n'étaient visitées qu'une fois toutes les trois semaines. Le résultat ? Les nouveaux produits mettaient un mois à apparaître dans les résultats de recherche car le robot restait bloqué sur des URL à faible valeur ajoutée.

Pourquoi la recherche à facettes nuit au budget de crawl

La recherche à facettes permet aux acheteurs d'affiner les résultats par matériau, taille, revêtement et autres attributs. Chaque facette ajoute un paramètre à l'URL et, avec cinq dimensions, les combinaisons possibles explosent pour atteindre des dizaines de milliers de pages uniques. La plupart de ces pages contiennent presque la même liste de produits, pourtant Google traite chacune comme une URL distincte. Comme le budget de crawl de Google — le nombre de pages qu'il récupère sur un site chaque jour — est limité, il consacre des créneaux précieux à des URL qui apportent peu de valeur aux utilisateurs ou à la recherche.

La structure d'URL du site attire le robot dans un « piège de crawl » (crawl trap) où il suit sans fin des liens menant à des pages quasi identiques.

Les enjeux

  • Vitesse d'indexation – une découverte tardive signifie que les nouveaux stocks restent invisibles pendant des semaines, ce qui nuit aux ventes.
  • Visibilité dans la recherche – si Google consacre son budget aux pages de filtres, les pages produits prioritaires pourraient ne jamais être explorées, limitant ainsi leurs chances de se classer.

Guide étape par étape pour récupérer votre budget de crawl

  1. Identifiez les facettes à haute valeur ajoutée
    Trouvez les combinaisons de filtres qui génèrent un véritable trafic de recherche. Donnez à ces URL un chemin propre et descriptif (par exemple, /end-mill/coating-tialn/). Gardez les pages à haute valeur pleinement explorables et indexables.

  2. Traitez les facettes à valeur moyenne avec des balises canoniques
    Lorsqu'un filtre est utile mais génère peu de volume de recherche, laissez l'URL accessible mais ajoutez une balise rel=canonical pointant vers la page de catégorie principale. Cela indique à Google que la catégorie est la version préférée.

  3. Bloquez les facettes à faible valeur via robots.txt
    Interdisez ces modèles dans le fichier robots.txt pour que Googlebot ne les demande jamais.

  4. Affichez les filtres avancés sous forme de boutons, pas de liens
    Les robots suivent les éléments <a> mais ignorent les éléments <button>. Proposez les commandes de filtrage sous forme de boutons qui déclenchent du JavaScript sans créer de nouvelles URL. Les utilisateurs bénéficient toujours de l'interface dont ils ont besoin, tandis que le robot ne peut pas découvrir d'URL inutiles.

  5. Évitez le piège du « noindex »
    Ajouter noindex à 30 000 URL de filtres oblige tout de même Google à télécharger chaque page d'abord, puis à lire la directive pour l'ignorer. Utilisez robots.txt pour stopper complètement le crawl ; seules les pages que vous souhaitez indexer doivent être accessibles.

Mesurer le succès

Déplacez l'attention des classements vers la vitesse d'indexation. Suivez le temps nécessaire pour qu'un produit nouvellement ajouté apparaisse dans l'index de Google avant et après les changements. Passer d'un délai de 21 jours à un délai de 3 jours prouve que la stratégie fonctionne.

Contre-argument : utilisabilité contre efficacité de crawl

Conservez l'interface utilisateur intacte — les boutons permettent toujours aux utilisateurs d'affiner les résultats — tout en gardant les URL sous-jacentes invisibles pour le robot. Si un filtre particulier s'avère essentiel à la navigation, transformez-le en facette à haute valeur et donnez-lui une URL propre et explorable.

Ce qu'il faut surveiller ensuite

  • Statistiques de crawl de la Search Console – surveillez le rapport « Statistiques de crawl » pour observer une réduction des « Requêtes bloquées par robots.txt » et une augmentation de la « Profondeur de crawl » pour les pages produits.

À retenir : Classez les facettes, utilisez des balises canoniques, bloquez les URL à faible valeur et remplacez les liens par des boutons. Les grands sites d'e-commerce peuvent orienter Googlebot vers les pages qui comptent, réduisant le temps d'indexation de plusieurs semaines à quelques jours sans sacrifier les fonctionnalités pour les acheteurs.