Google Search Console अक्सर Next.js साइटों में soft 404 errors को फ्लैग करता है, जिससे crawl budget बर्बाद हो सकता है।

वास्तव में soft 404 क्या है

एक वास्तविक 404 रिस्पॉन्स HTTP 404 status code भेजता है, जो ब्राउज़र और बॉट्स को बताता है कि अनुरोधित रिसोर्स मौजूद नहीं है। इसके विपरीत, एक soft 404 बहुत कम या कोई कंटेंट दिए बिना 200 OK status लौटाता है। सर्च इंजन 200 को एक स्वस्थ पेज के रूप में पढ़ते हैं, फिर भी पेज कोई वैल्यू प्रदान नहीं करता है। इसका परिणाम बर्बाद होते crawl cycles और Google को यह संकेत मिलना है कि साइट की कंटेंट क्वालिटी कम है।

Next.js इस जाल में क्यों फंस जाता है

Next.js की dynamic routing आपको हर URL को hard-code किए बिना /products/[slug] जैसे पेज सर्व करने की सुविधा देती है। जब कोई प्रोडक्ट डेटाबेस से गायब हो जाता है, तो कंपोनेंट फिर भी रेंडर होता है, और यदि कोड गायब डेटा की जांच नहीं करता है, तो Next.js डिफ़ॉल्ट रूप से 200 OK के साथ जवाब देता है। ऐसा ही तब होता है जब कोई यूजर URL गलत टाइप करता है या जब रीडिज़ाइन के बाद पुराने रूट्स बने रहते हैं। पेज लोड तो होता है, लेकिन वह कोई सार्थक कंटेंट नहीं देता, जिससे Search Console में soft-404 फ्लैग ट्रिगर हो जाता है।

साइट मालिकों के लिए जोखिम

  • Crawl budget की बर्बादी – बॉट्स प्रति साइट अनुरोधों (requests) की एक सीमित संख्या आवंटित करते हैं। Soft 404s उस कोटा को खत्म कर देते हैं, जिससे वास्तविक पेजों के इंडेक्स होने के अवसर कम हो जाते हैं।
  • SEO पेनल्टी – बार-बार होने वाले soft 404s सर्च इंजन को बताते हैं कि साइट की क्वालिटी कम है।
  • User experience पर असर – जो विजिटर्स खाली पेज पर पहुँचते हैं, वे तुरंत बाउंस हो जाते हैं, जिससे बाउंस रेट बढ़ जाता है और कन्वर्जन पर बुरा असर पड़ता है।

Soft 404 को सही 404 में कैसे बदलें

1. बिल्ट-इन notFound हेल्पर का उपयोग करें

  • App Router – next/navigation से notFound इम्पोर्ट करें। डेटा फेच करने के बाद, यदि परिणाम अनुपलब्ध है, तो notFound() कॉल करें। इसके बाद Next.js एक वास्तविक 404 status भेजता है।
  • Pages Router – जब डेटा फेच विफल हो जाए, तो getStaticProps या getServerSideProps से { notFound: true } रिटर्न करें। पुराने रूटिंग API के लिए यह भी वही काम करता है।

2. एक कस्टम 404 पेज डिप्लॉय करें

डिफ़ॉल्ट एरर पेज यूजर्स को असहाय छोड़ देता है। नेविगेशन लिंक्स, सर्च बॉक्स, या संबंधित कंटेंट के सुझावों के साथ app/not-found.js (App Router) या pages/404.js (Pages Router) बनाएं। एक अच्छी तरह से डिज़ाइन किया गया 404 विजिटर्स को सीधे साइट छोड़ने के बजाय साइट पर ही बनाए रखता है।

3. Orphaned routes को साफ़ करें

उन स्टैटिक पेजों को डिलीट कर दें जिनका अब कोई उद्देश्य नहीं है। यदि कोई फ़ाइल मौजूद है लेकिन उसका कंटेंट खाली है, तो notFound रिस्पॉन्स जोड़ें या फ़ाइल को पूरी तरह से हटा दें। pages या app डायरेक्टरी का नियमित ऑडिट डेड URLs को बाहर आने से रोकता है।

4. मूव किए गए कंटेंट के लिए परमानेंट (301) रीडायरेक्ट सेट करें

जब किसी पेज का URL बदलता है, तो 301 रीडायरेक्ट ब्राउज़र और बॉट्स को बताता है कि रिसोर्स स्थायी रूप से मूव हो गया है। next.config.js में redirects की (key) के तहत रीडायरेक्ट जोड़ें। यह पुराने URL को बिना कंटेंट के 200 लौटाने से रोकता है।

5. Search Console अलर्ट्स की निगरानी करें और उन पर कार्रवाई करें

soft 404s का पता लगाने के लिए अक्सर Google Search Console चेक करें। नए एरर्स के जमा होने से पहले उन्हें सामने लाने के लिए एक ऑटोमेटेड क्रॉलर का उपयोग करें। प्रत्येक अलर्ट को अंतर्निहित (underlying) डेटा-फेच लॉजिक को सत्यापित करने के संकेत के रूप में लें।

निष्कर्ष

एक पेज जो बिना कोई कंटेंट दिए 200 OK लौटाता है, वह चुपचाप SEO वैल्यू को कम करता रहता है। Next.js में, dynamic routes और अनचेक्ड डेटा फेच soft 404s को आम बना देते हैं, लेकिन आप उन्हें खत्म कर सकते हैं। notFound का उपयोग करें, एक उपयोगी कस्टम 404 बनाएं, orphaned routes को हटा दें, 301 रीडायरेक्ट कॉन्फ़िगर करें, और crawl budget की रक्षा करने, रैंकिंग बनाए रखने और विजिटर्स को साइट पर बनाए रखने के लिए Search Console में सतर्क रहें।