أظهر تدقيق لكتالوج أدوات صناعية يحتوي على 5,000 وحدة حفظ مخزون (SKU) أن Googlebot يقوم بزيارة روابط الفلاتر (filter URLs) في الموقع ثلاث مرات يوميًا، بينما لا يتم زيارة صفحات الفئات الرئيسية إلا مرة واحدة كل ثلاثة أسابيع. والنتيجة؟ استغرق ظهور المنتجات الجديدة في نتائج البحث شهرًا كاملًا لأن الزاحف (crawler) كان عالقًا في روابط URL منخفضة القيمة.
لماذا تضر ميزة البحث الموجه (faceted search) بميزانية الزحف
تتيح ميزة البحث الموجه للمتسوقين تضييق نطاق النتائج حسب المادة، أو الحجم، أو الطلاء، وغيرها من الخصائص. تضيف كل خاصية (facet) معلمة (parameter) إلى رابط URL، ومع وجود خمسة أبعاد، تنفجر الاحتمالات لتنتج عشرات الآلاف من الصفحات الفريدة. تحتوي معظم هذه الصفحات على قائمة منتجات متشابهة تقريبًا، ومع ذلك يتعامل Google مع كل منها كرابط URL منفصل. وبما أن ميزانية الزحف في Google - وهي عدد الصفحات التي ستجلبها في الموقع كل يوم - محدودة، فإنها تستهلك مساحات ثمينة في روابط URL لا تضيف سوى قيمة ضئيلة للمستخدمين أو لعمليات البحث.
يدعو هيكل روابط URL في الموقع البوت إلى "فخ زحف" (crawl trap)، حيث يتبع الروابط التي تؤدي إلى صفحات مكررة تقريبًا بلا نهاية.
ما الذي هو على المحك
- سرعة الفهرسة – يعني تأخر الاكتشاف بقاء المخزون الجديد غير مرئي لأسابيع، مما يضر بالمبيعات.
- الظهور في البحث – إذا استهلك Google ميزانيته في صفحات الفلاتر، فقد لا يتم الزحف إلى صفحات المنتجات ذات الأولوية العالية أبدًا، مما يحد من فرصها في التصدر.
دليل خطوة بخطوة لاستعادة ميزانية الزحف
تحديد الخصائص (facets) عالية القيمة
ابحث عن مجموعات الفلاتر التي تولد حركة بحث حقيقية. امنح روابط URL هذه مسارًا نظيفًا ووصفيًا (على سبيل المثال،/end-mill/coating-tialn/). حافظ على قابلية الصفحات عالية القيمة للزحف والفهرسة بشكل كامل.التعامل مع الخصائص متوسطة القيمة باستخدام علامات canonical
عندما يكون الفلتر مفيدًا ولكنه لا يجذب حجم بحث كبير، اترك رابط URL متاحًا ولكن أضفrel=canonicalيشير إلى صفحة الفئة الرئيسية. هذا يخبر Google أن الفئة هي النسخة المفضلة.حظر الخصائص منخفضة القيمة عبر robots.txt
امنع تلك الأنماط في ملفrobots.txtحتى لا يطلبها Googlebot أبدًا.عرض الفلاتر المتقدمة كأزرار وليس كروابط
تتبع البوتات عناصر<a>ولكنها تتجاهل عناصر<button>. قدم عناصر التحكم في الفلتر كأزرار تُشغل JavaScript دون إنشاء روابط URL جديدة. سيظل المستخدمون يحصلون على واجهة المستخدم التي يحتاجونها، بينما لن يتمكن الزاحف من اكتشاف روابط URL عديمة الفائدة.تجنب فخ “noindex”
إن إضافةnoindexإلى 30,000 رابط URL للفلاتر لا يزال يجبر Google على تنزيل كل صفحة أولاً، ثم قراءة التوجيه لتجاهلها. استخدمrobots.txtلإيقاف الزحف تمامًا؛ يجب أن تكون الصفحات التي تنوي فهرستها فقط هي القابلة للوصول.
قياس النجاح
حوّل التركيز من التصنيفات إلى سرعة الفهرسة. تتبع المدة التي يستغرقها المنتج المضاف حديثًا للظهور في فهرس Google قبل التغييرات وبعدها. الانتقال من تأخير لمدة 21 يومًا إلى تأخير لمدة 3 أيام يثبت أن الاستراتيجية تعمل.
وجهة نظر معارضة: سهولة الاستخدام مقابل كفاءة الزحف
حافظ على واجهة المستخدم كما هي — فالأزرار لا تزال تتيح للمستخدمين تصفية النتائج — مع إبقاء روابط URL الأساسية غير مرئية للزاحف. إذا ثبت أن فلتر معين ضروري للتنقل، فقم بترقيته إلى خاصية عالية القيمة وامنحه رابط URL نظيفًا وقابلًا للزحف.
ما يجب مراقبته لاحقًا
- إحصائيات الزحف في Search Console – راقب تقرير “Crawl Stats” لرصد أي انخفاض في “Requests blocked by robots.txt” وزيادة في “Crawl depth” لصفحات المنتجات.
الخلاصة: صنف الخصائص، واستخدم علامات canonical، واحظر روابط URL منخفضة القيمة، واستبدل الروابط بالأزرار. يمكن لمواقع التجارة الإلكترونية الكبيرة توجيه Googlebot نحو الصفحات المهمة، مما يقلل وقت الفهرسة من أسابيع إلى أيام دون التضحية بوظائف التسوق.