मार्केटप्लेसच्या SEO टीमने त्यांच्या इंडेक्सिंग नियमात बदल केला, कारण "३ पेक्षा कमी लिस्टिंग = noindex" या साध्या धोरणामुळे कॅटेगरी पेजेस Google मधून गायब झाले होते आणि ते पुन्हा येण्यासाठी अनेक आठवडे लागले होते. एका वन-वे "अनलॉक" (unlock) रेकॉर्डचा वापर करून, ज्यामुळे एखादे पेज noindex कडून index कडे जाऊ शकते पण पुन्हा मागे येऊ शकत नाही, साइटने ही समस्या सोडवली.
मूळ नियम का उलट पडला
क्लासिफाइड प्लॅटफॉर्म अनेक कॅटेगरी-अँड-लोकेशन पेजेस तयार करते. जेव्हा एखादे पेज पहिल्यांदा येते, तेव्हा त्यात अनेकदा मोजकीच लिस्टिंग असतात, म्हणून टीमने तीन वस्तूंचा किमान टप्पा गाठेपर्यंत ते सर्च इंजिनपासून लपवण्याचा निर्णय घेतला. याचे तर्कशास्त्र साधे होते:
- < ३ लिस्टिंग →
noindexमेटा टॅग जोडा - ≥ ३ लिस्टिंग → टॅग काढून टाका (इंडेक्सिंगला परवानगी द्या)
सुरुवातीला यामुळे कमी मूल्य असलेली (thin) पेजेस Google च्या निकालांतून बाहेर ठेवण्यात यश आले. परंतु, लिस्टिंगची मुदत संपू लागल्यामुळे समस्या निर्माण झाली. एखाद्या दिवशी पाच लिस्टिंग असलेले पेज दुसऱ्या दिवशी दोनवर येऊ शकत होते, ज्यामुळे ते लगेच पुन्हा noindex मध्ये बदलले जायचे. Google ने या आदेशाचे पालन केले, URL इंडेक्समधून काढून टाकले आणि त्या पेजने कमावलेले रँकिंग गमावले. जेव्हा नवीन लिस्टिंग आले, तेव्हा ते पेज पुन्हा इंडेक्स करण्यायोग्य झाले, परंतु पुन्हा इंडेक्स होण्यासाठी अनेक आठवडे लागले.
याचा परिणाम म्हणजे एक सततचा "ऑन-ऑफ" सायकल सुरू झाला: पेजेस इंडेक्समध्ये येत, गायब होत आणि पुन्हा येत राहत.
वन-वे “अनलॉक” उपाय
मुख्य दोष असा होता की या नियमाला कोणतीही मेमरी नव्हती; तो प्रत्येक विनंतीवर (request) पुन्हा तोच टप्पा मोजत असे. टीमने एक लहान डेटाबेस टेबल—seo_unlocks—सादर केले, जे एखादे पेज पहिल्यांदा तीन लिस्टिंगचा टप्पा गाठल्यावर त्याची नोंद करते. नवीन कार्यप्रवाह (workflow) असा आहे:
- लिस्टिंगची संख्या तपासा. जर पेजवर तीन किंवा अधिक सक्रिय लिस्टिंग असतील, तर पुढे जा.
- अनलॉक रो (row) लिहा.
seo_unlocksमध्ये त्या पेजसाठी एक रेकॉर्ड समाविष्ट करा. - पेजला कायमस्वरूपी इंडेक्स करण्यायोग्य समजा. जरी नंतरची संख्या तीनपेक्षा कमी झाली, तरी अनलॉक रोच्या उपस्थितीमुळे ते पेज
noindexप्रक्रियेत जात नाही.
कारण अनलॉक फक्त एकदाच लिहिला जाऊ शकतो, त्यामुळे एखादे पेज “noindex” कडून “index” कडे जाऊ शकते पण पुन्हा मागे येऊ शकत नाही. टीमने काही सुरक्षा उपाय (safeguards) देखील जोडले आहेत, जेणेकरून फिल्टर केलेले URLs (उदा. किंमतीच्या श्रेणीसह सर्च रिझल्ट्स) त्यांच्या मूळ कॅटेगरीसाठी अनलॉक तयार करू शकणार नाहीत, आणि डेटाबेस फेल्युअरमुळे संपूर्ण साइट क्रॅश होऊ नये म्हणून डेटाबेस कॉलला try/catch ब्लॉक मध्ये गुंडाळले आहे.
क्रॉल बजेट आणि थिन पेजेससाठी याचा अर्थ काय
एक सामान्य गैरसमज असा आहे की noindex मुळे क्रॉल बजेट वाचते. Google ला तरीही पेज फेच (fetch) करावे लागते, टॅग वाचावा लागतो आणि मग ते इंडेक्समधून काढून टाकावे लागते. जर उद्दिष्ट Google ला संपूर्ण URL पॅटर्नची विनंती करण्यापासून रोखणे असेल, तर योग्य साधन robots.txt हे आहे. noindex चा वापर तेव्हाच करा जेव्हा तुम्हाला Google ला पेज दाखवायचे असेल पण सर्च रिझल्टमध्ये ते प्रदर्शित करायचे नसेल.
डिरेक्टरीज, जॉब बोर्ड्स आणि मार्केटप्लेसेससाठी, जे मोठ्या प्रमाणात ऑटो-जनरेटेड पेजेसवर अवलंबून असतात, त्यातील धडा स्पष्ट आहे: थिन-पेज नियमांना अशा पर्सिस्टन्स लेयरसोबत (persistence layer) जोडले पाहिजे जे पेजने इंडेक्समध्ये स्थान मिळवल्याची नोंद ठेवते. त्या मेमरीशिवाय, कंटेंटमध्ये तात्पुरती घट झाल्यामुळे पेजने कमावलेले रँकिंग गमावू शकते आणि पुन्हा इंडेक्स होण्यासाठी अनेक आठवडे लागू शकतात.
निष्कर्ष
डायनॅमिक लिस्टिंग साइट्ससाठी "जर संख्या < ३ असेल तर noindex" हा स्थिर नियम SEO मध्ये अस्थिरता निर्माण करतो. वन-वे अनलॉक रेकॉर्ड जोडल्यामुळे नियमाला मेमरी मिळते, ज्यामुळे लिस्टिंगमध्ये चढ-उतार झाले तरी पेजेस त्यांचे इंडेक्स स्टेटस मिळवू शकतात आणि टिकवून ठेवू शकतात. खऱ्या क्रॉल-बजेट बचतीसाठी robots.txt च्या योग्य वापरासोबत याची जोडी लावा, आणि तुम्ही रँकिंग आणि सर्व्हर रिसोर्सेस या दोन्हीचे संरक्षण करू शकता.