५,०००-SKU असलेल्या एका इंडस्ट्रियल-टूल कॅटलॉगच्या ऑडिटमध्ये असे दिसून आले की, Googlebot दिवसातून तीन वेळा साइटच्या फिल्टर URLs ला क्रॉल करत होता, तर मुख्य कॅटेगरी पेजेस दर तीन आठवड्यांतून एकदाच भेट दिली जात होती. परिणाम? नवीन उत्पादने शोध निकालांमध्ये (search results) दिसण्यासाठी एक महिना लागला, कारण क्रॉलर कमी-मूल्य असलेल्या (low-value) URLs मध्ये अडकून पडला होता.
फॅसेटेड सर्च (Faceted search) क्रॉल बजेटला का हानी पोहोचवते
फॅसेटेड सर्च ग्राहकांना मटेरियल, साईज, कोटिंग आणि इतर वैशिष्ट्यांद्वारे (attributes) निकाल मर्यादित करण्यास मदत करते. प्रत्येक फॅसेट URL मध्ये एक पॅरामीटर जोडतो आणि पाच डायमेन्शन्स असल्यास संभाव्य कॉम्बिनेशन्सची संख्या हजारोमध्ये पोहोचते. त्यातील बहुतेक पेजेसमध्ये जवळजवळ सारखीच उत्पादन यादी असते, तरीही Google प्रत्येक पेजला एक वेगळी URL मानते. Google चे क्रॉल बजेट – म्हणजेच दररोज साइटवरील किती पेजेस ते फेच (fetch) करेल याची मर्यादा – मर्यादित असल्याने, ते अशा URLs वर मौल्यवान स्लॉट्स खर्च करते ज्यांचा वापरकर्त्यांना किंवा सर्चला फारसा फायदा होत नाही.
साइटची URL रचना बॉटला अशा “क्रॉल ट्रॅप” (crawl trap) मध्ये खेचते, जिथे तो सतत अशा लिंक्स फॉलो करतो ज्या जवळजवळ डुप्लिकेट पेजेसकडे नेतात.
काय धोक्यात आहे
- इंडेक्सिंगचा वेग (Indexing speed) – शोधण्यास विलंब झाल्यामुळे नवीन इन्व्हेंटरी अनेक आठवडे अदृश्य राहते, ज्यामुळे विक्रीवर परिणाम होतो.
- सर्च व्हिजिबिलिटी (Search visibility) – जर Google ने आपले बजेट फिल्टर पेजेसवर खर्च केले, तर उच्च-प्राधान्य असलेल्या उत्पादन पेजेसचे क्रॉलिंग कदाचित कधीच होणार नाही, ज्यामुळे त्यांच्या रँकिंगची संधी मर्यादित होते.
क्रॉल बजेट पुन्हा मिळवण्यासाठी स्टेप-बाय-स्टेप मार्गदर्शक
उच्च-मूल्य असलेले फॅसेट्स (high-value facets) ओळखा
असे फिल्टर कॉम्बिनेशन्स शोधा जे खरोखर सर्च ट्रॅफिक निर्माण करतात. त्या URLs ला एक स्वच्छ आणि वर्णनात्मक पाथ (उदा./end-mill/coating-tialn/) द्या. उच्च-मूल्य असलेली पेजेस पूर्णपणे क्रॉल करण्यायोग्य आणि इंडेक्स करण्यायोग्य ठेवा.मध्यम-मूल्य असलेल्या फॅसेट्ससाठी कॅनोनिकल टॅग्सचा (canonical tags) वापर करा
जेव्हा एखादा फिल्टर उपयुक्त असतो पण त्याचा सर्च व्हॉल्यूम कमी असतो, तेव्हा URL उपलब्ध ठेवा पण मुख्य कॅटेगरी पेजकडे निर्देशित करणाराrel=canonicalटॅग जोडा. यामुळे Google ला समजते की कॅटेगरी हेच पसंतीचे व्हर्जन आहे.robots.txt द्वारे कमी-मूल्य असलेले फॅसेट्स ब्लॉक करा
robots.txtमध्ये ते पॅटर्न 'Disallow' करा जेणेकरून Googlebot त्यांना कधीही रिक्वेस्ट करणार नाही.अॅडव्हान्स्ड फिल्टर्स लिंक्सऐवजी बटन्स म्हणून दाखवा
बॉट्स<aएलिमेंट्स फॉलो करतात पण<buttonएलिमेंट्सकडे दुर्लक्ष करतात. नवीन URLs न तयार करता JavaScript ट्रिगर करणारे बटन्स म्हणून फिल्टर कंट्रोल्स द्या. वापरकर्त्यांना आवश्यक UI मिळेलच, पण क्रॉलर निरर्थक URLs शोधू शकणार नाही.“noindex” ट्रॅप टाळा
३०,००० फिल्टर URLs लाnoindexजोडल्यामुळे Google ला आधी प्रत्येक पेज डाउनलोड करावे लागते आणि मग ते दुर्लक्षित करण्यासाठी सूचना वाचावी लागते. क्रॉलिंग पूर्णपणे थांबवण्यासाठीrobots.txtवापरा; फक्त तुम्हाला इंडेक्स करायची असलेली पेजेसच उपलब्ध असावीत.
यशाचे मोजमाप
लक्ष रँकिंगवरून इंडेक्सिंग वेगाकडे वळवा. बदल करण्यापूर्वी आणि बदल केल्यानंतर नवीन जोडलेले उत्पादन Google च्या इंडेक्समध्ये दिसण्यासाठी किती वेळ लागतो याचा मागोवा घ्या. २१ दिवसांच्या विलंबाकडून ३ दिवसांच्या विलंबाकडे जाणे हे दर्शवते की तुमची रणनीती काम करत आहे.
प्रतिवाद: वापरण्यायोग्यता (usability) विरुद्ध क्रॉल कार्यक्षमता (crawl efficiency)
UI तसाच ठेवा—बटन्समुळे वापरकर्ते निकाल अधिक अचूक करू शकतात—आणि त्याच वेळी मूळ URLs क्रॉलरसाठी अदृश्य ठेवा. जर एखादा विशिष्ट फिल्टर नेव्हिगेशनसाठी आवश्यक असेल, तर त्याला उच्च-मूल्य असलेला फॅसेट म्हणून प्रमोट करा आणि त्याला एक स्वच्छ, क्रॉल करण्यायोग्य URL द्या.
पुढे काय पाहावे
- Search Console क्रॉल स्टॅट्स (crawl stats) – “Requests blocked by robots.txt” मध्ये घट आणि उत्पादन पेजेससाठी “Crawl depth” मध्ये वाढ होत आहे का, हे पाहण्यासाठी “Crawl Stats” रिपोर्टवर लक्ष ठेवा.
थोडक्यात महत्त्वाचे (Takeaway): फॅसेट्सचे वर्गीकरण करा, कॅनोनिकल टॅग्स वापरा, कमी-मूल्य असलेल्या URLs ब्लॉक करा आणि लिंक्सच्या जागी बटन्स वापरा. मोठ्या ई-कॉमर्स साइट्स Googlebot ला महत्त्वाच्या पेजेसकडे वळवू शकतात, ज्यामुळे वापरकर्त्यांच्या सुविधेवर परिणाम न करता इंडेक्सिंगचा वेळ आठवड्यांवरून दिवसांवर आणता येतो.