मार्केटप्लेस की SEO टीम ने अपने इंडेक्सिंग नियम को फिर से लिखा क्योंकि "fewer-than-3-listings = noindex" की एक साधारण नीति के कारण कैटेगरी पेज Google से गायब हो गए और उन्हें वापस आने में हफ़्तों लग गए। एक वन-वे "unlock" रिकॉर्ड जोड़कर, जो किसी पेज को noindex से index में जाने की अनुमति देता है लेकिन कभी वापस नहीं, साइट ने इस उतार-चढ़ाव को रोक दिया।
मूल नियम उल्टा क्यों पड़ा
यह क्लासिफाइड प्लेटफॉर्म कई कैटेगरी-और-लोकेशन पेज जेनरेट करता है। जब कोई पेज पहली बार आता है, तो उसमें अक्सर केवल कुछ ही लिस्टिंग होती हैं, इसलिए टीम ने निर्णय लिया कि जब तक वह तीन आइटम की न्यूनतम सीमा तक नहीं पहुँच जाता, तब तक उसे सर्च से छिपा दिया जाए। तर्क सीधा था:
- < 3 लिस्टिंग →
noindexमेटा टैग जोड़ें - ≥ 3 लिस्टिंग → टैग हटा दें (इंडेक्सिंग की अनुमति दें)
शुरुआत में इसने Google के परिणामों से थिन (thin) और कम मूल्य वाले पेजों को बाहर रखा। समस्या तब सामने आई जब लिस्टिंग समाप्त होने लगीं। एक पेज जिसमें एक दिन पांच लिस्टिंग थीं, वह अगले दिन दो पर गिर सकती थी, जिससे वह तुरंत वापस noindex में बदल जाता। Google ने इसका पालन किया, URL को अपने इंडेक्स से हटा दिया, और पेज ने अपनी बनाई हुई सारी रैंकिंग खो दी। जब एक नई लिस्टिंग आती, तो पेज फिर से इंडेक्स करने योग्य हो जाता, लेकिन पुन: प्रवेश (re-entry) की प्रक्रिया में हफ़्तों लग जाते।
इसका परिणाम एक निरंतर "on-off" चक्र था: पेज इंडेक्स में आते, गायब हो जाते, फिर से प्रवेश करते, और इसी तरह चलता रहता।
वन-वे “unlock” समाधान
मुख्य खामी यह थी कि नियम में कोई मेमोरी (याददाश्त) नहीं थी; यह हर अनुरोध पर थ्रेशोल्ड की पुनर्गणना करता था। टीम ने एक छोटा डेटाबेस टेबल—seo_unlocks—पेश किया जो रिकॉर्ड करता है कि कोई पेज पहली बार तीन-लिस्टिंग के निशान तक कब पहुँचा। नया वर्कफ़्लो इस प्रकार है:
- लिस्टिंग काउंट की जाँच करें। यदि पेज पर तीन या अधिक सक्रिय लिस्टिंग हैं, तो आगे बढ़ें।
- एक अनलॉक रो (row) लिखें।
seo_unlocksमें उस पेज के लिए एक रिकॉर्ड डालें। - पेज को स्थायी रूप से इंडेक्स करने योग्य मानें। भले ही बाद में काउंट तीन से कम हो जाए, अनलॉक रो की उपस्थिति पेज को
noindexफ्लो से बाहर रखती है।
क्योंकि अनलॉक केवल एक बार ही लिखा जा सकता है, इसलिए एक पेज “noindex” से “index” में जा सकता है लेकिन कभी वापस नहीं। टीम ने सुरक्षा उपाय (safeguards) भी जोड़े ताकि फ़िल्टर्ड URL (जैसे, प्राइस रेंज के साथ सर्च परिणाम) अपनी पैरेंट कैटेगरी के लिए अनलॉक न बना सकें, और पूरे साइट को क्रैश होने से बचाने के लिए डेटाबेस कॉल को try/catch ब्लॉक में लपेटा।
क्रॉल बजट और थिन पेजों के लिए इसका क्या अर्थ है
एक आम गलतफहमी यह है कि noindex क्रॉल बजट बचाता है। Google को अभी भी पेज को फेच (fetch) करना पड़ता है, टैग पढ़ना पड़ता है, और फिर उसे इंडेक्स से हटाना पड़ता है। यदि लक्ष्य Google को पूरे URL पैटर्न को रिक्वेस्ट करने से रोकना है, तो सही टूल robots.txt है। noindex का उपयोग केवल तभी करें जब आप चाहते हैं कि Google पेज को देखे लेकिन उसे सर्च परिणामों में न दिखाए।
डायरेक्टरी, जॉब बोर्ड और मार्केटप्लेस के लिए जो बड़ी संख्या में ऑटो-जेनरेटेड पेजों पर निर्भर करते हैं, सबक स्पष्ट है: थिन-पेज नियमों को एक पर्सिस्टेंस लेयर (persistence layer) के साथ जोड़ा जाना चाहिए जो याद रखे कि पेज ने इंडेक्स में अपनी जगह बना ली है। उस मेमोरी के बिना, कंटेंट में अस्थायी गिरावट के कारण पेज अपनी बनाई हुई रैंकिंग खो सकता है, और पुन: प्रवेश में हफ़्तों लग सकते हैं।
मुख्य बात (Takeaway)
डायनेमिक लिस्टिंग साइटों के लिए एक स्टैटिक “if count < 3 then noindex” नियम SEO अस्थिरता पैदा करता है। एक वन-वे अनलॉक रिकॉर्ड जोड़ने से नियम को मेमोरी मिलती है, जिससे पेज लिस्टिंग में उतार-चढ़ाव होने पर भी अपनी इंडेक्स स्थिति हासिल कर सकते हैं और बनाए रख सकते हैं। क्रॉल-बजट की वास्तविक बचत के लिए इसे robots.txt के उचित उपयोग के साथ जोड़ें, और आप रैंकिंग और सर्वर रिसोर्स दोनों की रक्षा कर सकते हैं।