5.000 SKU'luk bir endüstriyel alet kataloğunun denetimi, Googlebot'un sitenin filtre URL'lerini günde üç kez taradığını, ancak ana kategori sayfalarının her üç haftada yalnızca bir kez ziyaret edildiğini gösterdi. Sonuç mu? Tarayıcı düşük değerli URL'lerde takılı kaldığı için yeni ürünlerin arama sonuçlarında görünmesi bir ayı buldu.

Filtreli arama (faceted search) tarama bütçesine neden zarar verir?

Filtreli arama, alışveriş yapanların sonuçları malzeme, boyut, kaplama ve diğer niteliklere göre daraltmasına olanak tanır. Her filtre URL'ye bir parametre ekler ve beş boyutla birlikte olası kombinasyonlar on binlerce benzersiz sayfaya dönüşür. Bu sayfaların çoğu neredeyse aynı ürün listesini içerir, ancak Google her birini ayrı bir URL olarak ele alır. Google'ın tarama bütçesi – bir siteden her gün çekebileceği sayfa sayısı – sınırlı olduğundan, değerli kontenjanlarını kullanıcılara veya aramaya çok az değer katan URL'lerde harcar.

Sitenin URL yapısı, botu birbirinin neredeyse aynısı olan sayfalara yönlendiren bağlantıları sonsuz bir döngüde takip ettiği bir "tarama tuzağına" (crawl trap) çeker.

Riskler nelerdir?

  • İndeksleme hızı – keşfin gecikmesi, yeni stokların haftalarca görünmez kalması anlamına gelir ve satışları olumsuz etkiler.
  • Arama görünürlüğü – eğer Google bütçesini filtre sayfalarında harcarsa, yüksek öncelikli ürün sayfaları hiçbir zaman taranmayabilir ve bu da sıralama şanslarını kısıtlar.

Tarama bütçesini geri kazanmak için adım adım kılavuz

  1. Yüksek değerli filtreleri belirleyin
    Gerçek arama trafiği oluşturan filtre kombinasyonlarını bulun. Bu URL'lere temiz ve açıklayıcı bir yol verin (örneğin, /end-mill/coating-tialn/). Yüksek değerli sayfaların tamamen taranabilir ve indekslenebilir kalmasını sağlayın.

  2. Orta değerli filtreleri canonical etiketleriyle yönetin
    Bir filtre yararlıysa ancak düşük arama hacmi getiriyorsa, URL'yi erişilebilir bırakın ancak ana kategori sayfasına işaret eden bir rel=canonical ekleyin. Bu, Google'a tercih edilen versiyonun kategori sayfası olduğunu söyler.

  3. Düşük değerli filtreleri robots.txt üzerinden engelleyin
    Googlebot'un bu desenleri hiçbir zaman talep etmemesi için robots.txt dosyasında bunları engelleyin (Disallow).

  4. Gelişmiş filtreleri bağlantı (link) yerine buton olarak sunun
    Botlar <a> öğelerini takip eder ancak <button> öğelerini görmezden gelir. Filtre kontrollerini, yeni URL'ler oluşturmadan JavaScript tetikleyen butonlar olarak sunun. Böylece kullanıcılar ihtiyaç duydukları arayüzü kullanmaya devam ederken, tarayıcı gereksiz URL'leri keşfedemez.

  5. “noindex” tuzağından kaçının
    30.000 filtre URL'sine noindex eklemek, Google'ın yine de önce her sayfayı indirmesine, ardından onu görmezden gelmesi için talimatı okumasına neden olur. Taramayı tamamen durdurmak için robots.txt kullanın; yalnızca indekslemeyi amaçladığınız sayfalara erişilebilmelidir.

Başarıyı ölçmek

Odağı sıralamalardan indeksleme hızına kaydırın. Değişikliklerden önce ve sonra, yeni eklenen bir ürünün Google dizinine görünmesinin ne kadar sürdüğünü takip edin. 21 günlük gecikmeden 3 günlük gecikmeye düşmek, stratejinin işe yaradığını gösterir.

Karşı görüş: Kullanılabilirlik ve tarama verimliliği arasındaki denge

Alttaki URL'leri tarayıcı için görünmez tutarken kullanıcı arayüzünü (UI) bozmayın; butonlar kullanıcıların sonuçları daraltmasına hala olanak tanır. Eğer belirli bir filtre navigasyon için vazgeçilmezse, onu yüksek değerli bir filtreye yükseltin ve temiz, taranabilir bir URL verin.

Bundan sonra neyi takip etmeli?

  • Search Console tarama istatistikleri – “Crawl Stats” raporunu, “Requests blocked by robots.txt” kısmındaki azalmaları ve ürün sayfaları için “Crawl depth” kısmındaki artışları izlemek için takip edin.

Özet: Filtreleri sınıflandırın, canonical etiketleri kullanın, düşük değerli URL'leri engelleyin ve bağlantıları butonlarla değiştirin. Büyük e-ticaret siteleri, Googlebot'u önemli sayfalara yönlendirerek alışverişçi işlevselliğinden ödün vermeden indeksleme süresini haftalardan günlere indirebilir.