𝗖𝗿𝗮𝘄𝗹 𝗕𝘂𝗱𝗴𝗲𝘁 𝗥𝗲𝗰𝗹𝗮𝗺𝗮𝘁𝗶𝗼𝗻
Google यह तय करता है कि वह आपकी साइट पर कितने URLs को क्रॉल करेगा। यह आपका क्रॉल बजट है। इसके दो भाग होते हैं: क्रॉल क्षमता (crawl capacity) और क्रॉल मांग (crawl demand)।
क्रॉल क्षमता आपके सर्वर की गति पर निर्भर करती है। यदि आपका सर्वर तेज़ी से रिस्पॉन्स देता है, तो Google अधिक क्रॉल करता है।
क्रॉल मांग आपके कंटेंट पर निर्भर करती है। यदि आपका कंटेंट ताज़ा और लोकप्रिय बना रहता है, तो Google उसे बार-बार देखना चाहता है।
अधिकांश छोटी साइटों को इसके बारे में चिंता करने की आवश्यकता नहीं है। यदि आपके पास 10,000 से कम पेज हैं, तो इसके बजाय एक अच्छे sitemap पर ध्यान केंद्रित करें।
आपको केवल तभी कार्रवाई करने की आवश्यकता है यदि आपके पास:
- 1 मिलियन से अधिक यूनिक पेज हों।
- 10,000 से अधिक ऐसे पेज हों जो रोज़ाना बदलते हों।
- Search Console में कई URLs "Discovered – currently not indexed" के रूप में अटके हों।
क्रॉल बजट की बर्बादी आमतौर पर स्ट्रक्चरल समस्याओं (structural issues) के कारण होती है। सामान्य समस्याओं में शामिल हैं:
- Faceted navigation और URL parameters।
- अनंत (infinite) फ़िल्टर चेन या कैलेंडर।
- Soft 404 एरर।
- डुप्लिकेट या थिन (thin) कंटेंट।
- लंबी रीडायरेक्ट चेन (redirect chains)।
- सर्वर रिस्पॉन्स का धीमा होना।
अपने क्रॉल बजट को ठीक करने के लिए इन चरणों का पालन करें:
- डुप्लिकेट पेजों को मर्ज करें और canonical tags का उपयोग करें।
- महत्वहीन URLs को ब्लॉक करने के लिए robots.txt का उपयोग करें। इसके लिए noindex का उपयोग न करें। Google को noindex टैग देखने के लिए पेज को क्रॉल करना ही पड़ता है, जिससे बजट की बर्बादी होती है।
- हटाए गए पेजों के लिए 404 या 410 स्टेटस कोड लौटाएं।
- अपने sitemaps को सही lastmod तारीखों के साथ अपडेट करें।
- क्षमता बढ़ाने के लिए अपने सर्वर की गति में सुधार करें।
कुछ विशेषज्ञ ट्रैफिक बढ़ाने के लिए कम गुणवत्ता वाले कंटेंट को हटाने का सुझाव देते हैं। एक अध्ययन में पुराने, ज़ीरो-ट्रैफ़िक वाले पोस्ट हटाने के बाद 67% की वृद्धि देखी गई। सावधान रहें। कंटेंट हटाने से साइट की गुणवत्ता और फोकस में सुधार होता है, लेकिन यह विकास की कोई गारंटीशुदा ट्रिक नहीं है।
क्रॉल बजट रिक्लैमेशन दक्षता (efficiency) के बारे में है। यह सुनिश्चित करता है कि Google आपके सबसे अच्छे पेजों को जल्दी खोज ले। यह सीधे तौर पर आपकी रैंकिंग नहीं बदलता है।
कुछ भी हटाने से पहले अपनी साइट का ऑडिट करें। केवल संख्या पूरी करने के लिए नहीं, बल्कि गुणवत्ता के लिए छंटनी (prune) करें।
स्रोत: https://dev.to/mrtd/crawl-budget-reclamation-what-it-is-who-needs-it-and-the-pruning-playbook-139g