𝗖𝗿𝗮𝘄𝗹 𝗕𝘂𝗱𝗴𝗲𝘁 𝗥𝗲𝗰𝗹𝗮𝗺𝗮𝘁𝗶𝗼𝗻
உங்கள் தளத்தில் கூகுள் எத்தனை URL-களைக் குரோல் (crawl) செய்ய வேண்டும் என்பதை அதுவே தீர்மானிக்கிறது. இதுவே உங்கள் 'crawl budget' ஆகும். இது crawl capacity மற்றும் crawl demand என இரண்டு பகுதிகளைக் கொண்டது.
Crawl capacity என்பது உங்கள் சர்வர் வேகத்தைப் பொறுத்தது. உங்கள் சர்வர் வேகமாகப் பதிலளித்தால், கூகுள் அதிக பக்கங்களைக் குரோல் செய்யும்.
Crawl demand என்பது உங்கள் உள்ளடக்கத்தைப் (content) பொறுத்தது. உங்கள் உள்ளடக்கம் புதியதாகவும் பிரபலமாகவும் இருந்தால், கூகுள் அதை அடிக்கடி பார்க்க விரும்பும்.
பெரும்பாலான சிறிய தளங்கள் இதைப் பற்றி கவலைப்படத் தேவையில்லை. உங்களிடம் 10,000-க்கும் குறைவான பக்கங்கள் இருந்தால், அதற்குப் பதிலாக ஒரு சிறந்த sitemap-இல் கவனம் செலுத்துங்கள்.
பின்வரும் சூழல்களில் நீங்கள் மட்டுமே நடவடிக்கை எடுக்க வேண்டும்:
- 1 மில்லியனுக்கும் அதிகமான தனித்துவமான (unique) பக்கங்கள் இருந்தால்.
- தினமும் மாறும் 10,000-க்கும் அதிகமான பக்கங்கள் இருந்தால்.
- Search Console-இல் பல URL-கள் "Discovered – currently not indexed" என்ற நிலையில் இருந்தால்.
வீணாகும் crawl budget பொதுவாகக் கட்டமைப்புச் சிக்கல்களாலேயே (structural issues) ஏற்படுகிறது. பொதுவான சிக்கல்கள் பின்வருமாறு:
- Faceted navigation மற்றும் URL parameters.
- முடிவில்லாத filter chains அல்லது காலண்டர்கள் (calendars).
- Soft 404 பிழைகள்.
- நகல் (Duplicate) அல்லது மிகக் குறைந்த உள்ளடக்கங்கள் (thin content).
- நீண்ட redirect chains.
- மெதுவான சர்வர் பதில் நேரம் (server response times).
உங்கள் crawl budget-ஐச் சரிசெய்ய இந்த வழிமுறைகளைப் பின்பற்றுங்கள்:
- நகல் பக்கங்களை ஒன்றிணைத்து (merge) canonical tags-களைப் பயன்படுத்துங்கள்.
- முக்கியமில்லாத URL-களைத் தடுக்க robots.txt-ஐப் பயன்படுத்துங்கள். இதற்காக noindex-ஐப் பயன்படுத்த வேண்டாம். ஒரு noindex டேக்-ஐக் காண கூகுள் அந்தப் பக்கத்தை குரோல் செய்ய வேண்டும், இது உங்கள் பட்ஜெட்டை வீணடிக்கும்.
- நீக்கப்பட்ட பக்கங்களுக்கு 404 அல்லது 410 status codes-களைப் பயன்படுத்துங்கள்.
- சரியான lastmod தேதிகளுடன் உங்கள் sitemaps-ஐப் புதுப்பிக்கவும்.
- கொள்ளளவை (capacity) அதிகரிக்க உங்கள் சர்வர் வேகத்தை மேம்படுத்தவும்.
டிராஃபிக்கை (traffic) அதிகரிக்க, தரம் குறைந்த உள்ளடக்கங்களை நீக்குமாறு சில நிபுணர்கள் பரிந்துரைக்கின்றனர். பழைய மற்றும் டிராஃபிக் இல்லாத பதிவுகளை நீக்கிய பிறகு 67% முன்னேற்றம் ஏற்பட்டதாக ஒரு ஆய்வு காட்டுகிறது. ஆனால் கவனமாக இருக்கவும். உள்ளடக்கத்தை நீக்குவது தளத்தின் தரம் மற்றும் கவனத்தை மேம்படுத்தும், ஆனால் இது வளர்ச்சிக்கான ஒரு உத்தரவாதமான தந்திரம் அல்ல.
Crawl budget மீட்பு என்பது செயல்திறனைப் (efficiency) பற்றியது. இது கூகுள் உங்கள் சிறந்த பக்கங்களை விரைவாகக் கண்டறிவதை உறுதி செய்கிறது. இது உங்கள் தரவரிசையை (rankings) நேரடியாக மாற்றாது.
எதையும் நீக்குவதற்கு முன் உங்கள் தளத்தைச் சரிபார்க்கவும் (audit). வெறும் எண்களுக்காக அல்லாமல், தரத்திற்காக மட்டும் தேவையற்றவற்றை நீக்கவும் (prune).
ஆதாரம்: https://dev.to/mrtd/crawl-budget-reclamation-what-it-is-who-needs-it-and-the-pruning-playbook-139g