క్రాల్ బడ్జెట్ రీక్లమేషన్
Google మీ సైట్లోని ఎన్ని URLలను క్రాల్ చేయాలో నిర్ణయిస్తుంది. దీనినే మీ క్రాల్ బడ్జెట్ (crawl budget) అంటారు. ఇది రెండు భాగాలను కలిగి ఉంటుంది: క్రాల్ కెపాసిటీ (crawl capacity) మరియు క్రాల్ డిమాండ్ (crawl demand).
క్రాల్ కెపాసిటీ అనేది మీ సర్వర్ వేగంపై ఆధారపడి ఉంటుంది. మీ సర్వర్ వేగంగా స్పందిస్తే, Google ఎక్కువ క్రాల్ చేస్తుంది.
క్రాల్ డిమాండ్ అనేది మీ కంటెంట్పై ఆధారపడి ఉంటుంది. మీ కంటెంట్ ఎప్పటికప్పుడు కొత్తగా మరియు ప్రజాదరణ పొందుతూ ఉంటే, Google దానిని తరచుగా చూడాలని కోరుకుంటుంది.
చాలా చిన్న సైట్లు దీని గురించి ఆందోళన చెందాల్సిన అవసరం లేదు. మీకు 10,000 కంటే తక్కువ పేజీలు ఉంటే, దానికి బదులుగా మంచి సైట్మ్యాప్ (sitemap) పై దృష్టి పెట్టండి.
మీకు ఈ క్రింది సందర్భాలలో మాత్రమే చర్యలు తీసుకోవడం అవసరం:
- 1 మిలియన్ కంటే ఎక్కువ యూనిక్ పేజీలు ఉన్నప్పుడు.
- రోజువారీగా మారే 10,000 కంటే ఎక్కువ పేజీలు ఉన్నప్పుడు.
- Search Consoleలో చాలా URLలు "Discovered – currently not indexed" అని ఉన్నప్పుడు.
వృధా అయ్యే క్రాల్ బడ్జెట్ సాధారణంగా నిర్మాణపరమైన సమస్యల (structural issues) వల్ల వస్తుంది. సాధారణ సమస్యలలో ఇవి ఉన్నాయి:
- Faceted navigation మరియు URL parameters.
- అనంతమైన (Infinite) ఫిల్టర్ చైన్లు లేదా క్యాలెండర్లు.
- Soft 404 ఎర్రర్స్.
- డూప్లికేట్ లేదా తక్కువ సమాచారం ఉన్న కంటెంట్ (thin content).
- పొడవైన రీడైరెక్ట్ చైన్లు (Long redirect chains).
- నెమ్మదైన సర్వర్ రెస్పాన్స్ టైమ్స్.
మీ క్రాల్ బడ్జెట్ను సరిచేయడానికి ఈ దశలను అనుసరించండి:
- డూప్లికేట్ పేజీలను విలీనం (Merge) చేయండి మరియు canonical tags ఉపయోగించండి.
- అనవసరమైన URLలను బ్లాక్ చేయడానికి robots.txt ఉపయోగించండి. దీని కోసం noindex ఉపయోగించవద్దు. Google ఒక పేజీని క్రాల్ చేసిన తర్వాతే noindex ట్యాగ్ను చూడగలదు, దీనివల్ల బడ్జెట్ వృధా అవుతుంది.
- తొలగించిన పేజీల కోసం 404 లేదా 410 స్టేటస్ కోడ్లను ఉపయోగించండి.
- మీ సైట్మ్యాప్లను సరైన lastmod తేదీలతో అప్డేట్ చేయండి.
- కెపాసిటీని పెంచడానికి మీ సర్వర్ వేగాన్ని మెరుగుపరచండి.
ట్రాఫిక్ను పెంచడానికి తక్కువ నాణ్యత కలిగిన కంటెంట్ను తొలగించాలని కొందరు నిపుణులు సూచిస్తారు. పాత, సున్నా ట్రాఫిక్ ఉన్న పోస్ట్లను తొలగించిన తర్వాత 67% పెరుగుదల కనిపించిందని ఒక అధ్యయనం తెలిపింది. అయితే జాగ్రత్తగా ఉండండి. కంటెంట్ను తొలగించడం వల్ల సైట్ నాణ్యత మరియు ఫోకస్ మెరుగుపడతాయి, కానీ ఇది వృద్ధికి గ్యారెంటీ ఇచ్చే ట్రిక్ కాదు.
క్రాల్ బడ్జెట్ రీక్లమేషన్ అనేది సామర్థ్యం (efficiency) గురించి. ఇది Google మీ ఉత్తమ పేజీలను త్వరగా కనుగొనేలా చేస్తుంది. ఇది మీ ర్యాంకింగ్లను నేరుగా మార్చదు.
మీరు దేనినైనా తొలగించే ముందు మీ సైట్ను ఆడిట్ చేయండి. కేవలం ఒక సంఖ్యను చేరుకోవడానికి కాకుండా, నాణ్యత కోసం మాత్రమే కంటెంట్ను తగ్గించండి (Prune).
మూలం: https://dev.to/mrtd/crawl-budget-reclamation-what-it-is-who-needs-it-and-the-pruning-playbook-139g