5,000-SKUల పారిశ్రామిక-టూల్ (industrial-tool) క్యాటలాగ్ను ఆడిట్ చేసినప్పుడు, Googlebot సైట్లోని ఫిల్టర్ URLలను రోజుకు మూడుసార్లు క్రాల్ చేస్తోందని, కానీ ప్రధాన కేటగిరీ పేజీలను మాత్రం ప్రతి మూడు వారాలకు ఒకసారి మాత్రమే సందర్శిస్తోందని తేలింది. దీని ఫలితం? క్రాలర్ తక్కువ విలువ కలిగిన URLలలో చిక్కుకుపోవడం వల్ల, కొత్త ఉత్పత్తులు సెర్చ్ రిజల్ట్స్లో కనిపించడానికి ఒక నెల సమయం పడుతోంది.
ఫాసెటెడ్ సెర్చ్ (faceted search) క్రాల్ బడ్జెట్ను ఎందుకు దెబ్బతీస్తుంది
ఫాసెటెడ్ సెర్చ్ కొనుగోలుదారులు మెటీరియల్, సైజు, కోటింగ్ మరియు ఇతర లక్షణాల (attributes) ద్వారా ఫలితాలను తగ్గించుకోవడానికి అనుమతిస్తుంది. ప్రతి ఫాసెట్ URLకి ఒక పారామీటర్ను జోడిస్తుంది, మరియు ఐదు డైమెన్షన్లతో పోతే, సాధ్యమయ్యే కాంబినేషన్లు పదివేల ప్రత్యేక పేజీలుగా పెరిగిపోతాయి. ఆ పేజీలలో చాలా వరకు దాదాపు ఒకే రకమైన ఉత్పత్తి జాబితాను కలిగి ఉంటాయి, అయినప్పటికీ Google ప్రతి దానిని ఒక ప్రత్యేక URLగా పరిగణిస్తుంది. Google యొక్క క్రాల్ బడ్జెట్ – అంటే ఒక సైట్లోని పేజీలను అది ప్రతిరోజూ సేకరించే సంఖ్య – పరిమితంగా ఉండటం వల్ల, వినియోగదారులకు లేదా సెర్చ్కు తక్కువ విలువను ఇచ్చే URLల కోసం అది విలువైన సమయాన్ని వృథా చేస్తుంది.
సైట్ యొక్క URL నిర్మాణం బాట్ను ఒక “క్రాల్ ట్రాప్” (crawl trap) లోకి ఆహ్వానిస్తుంది, అక్కడ అది దాదాపు ఒకేలా ఉండే డూప్లికేట్ పేజీలకు దారితీసే లింక్లను అనంతంగా అనుసరిస్తుంది.
ఇందులో ఉన్న నష్టాలు
- ఇండెక్సింగ్ వేగం (Indexing speed) – ఆలస్యంగా కనుగొనడం వల్ల కొత్త ఇన్వెంటరీ వారాల పాటు కనిపించకుండా ఉంటుంది, ఇది అమ్మకాలను దెబ్బతీస్తుంది.
- సెర్చ్ విజిబిలిటీ (Search visibility) – Google తన బడ్జెట్ను ఫిల్టర్ పేజీల కోసం ఉపయోగిస్తే, ప్రాధాన్యత కలిగిన ఉత్పత్తి పేజీలు క్రాల్ చేయబడకపోవచ్చు, దీనివల్ల అవి ర్యాంక్ అయ్యే అవకాశం తగ్గుతుంది.
క్రాల్ బడ్జెట్ను తిరిగి పొందడానికి స్టెప్-బై-స్టెప్ గైడ్
అధిక విలువ కలిగిన ఫాసెట్లను గుర్తించండి (Identify high-value facets)
నిజమైన సెర్చ్ ట్రాఫిక్ను సృష్టించే ఫిల్టర్ కాంబినేషన్లను కనుగొనండి. ఆ URLలకు స్పష్టమైన, వివరణాత్మకమైన పాత్ను ఇవ్వండి (ఉదాహరణకు,/end-mill/coating-tialn/). అధిక విలువ కలిగిన పేజీలను పూర్తిగా క్రాల్ చేయగలిగేలా మరియు ఇండెక్స్ చేయగలిగేలా ఉంచండి.మధ్యస్థ విలువ కలిగిన ఫాసెట్లకు కానికానికల్ ట్యాగ్లను (canonical tags) ఉపయోగించండి
ఒక ఫిల్టర్ ఉపయోగకరంగా ఉండి కూడా తక్కువ సెర్చ్ వాల్యూమ్ను కలిగి ఉన్నప్పుడు, URLను యాక్సెస్ చేయగలిగేలా ఉంచండి కానీ ప్రధాన కేటగిరీ పేజీకి పాయింట్ చేసేrel=canonicalట్యాగ్ను జోడించండి. దీనివల్ల కేటగిరీయే ప్రాధాన్యత కలిగిన వెర్షన్ అని Googleకి తెలుస్తుంది.robots.txt ద్వారా తక్కువ విలువ కలిగిన ఫాసెట్లను బ్లాక్ చేయండి
robots.txtలో ఆ ప్యాటర్న్లను Disallow చేయండి, తద్వారా Googlebot వాటిని ఎప్పుడూ రిక్వెస్ట్ చేయదు.అడ్వాన్స్డ్ ఫిల్టర్లను లింక్లుగా కాకుండా బటన్లుగా చూపండి
బాట్లు<aఎలిమెంట్లను అనుసరిస్తాయి కానీ<buttonఎలిమెంట్లను పట్టించుకోవు. కొత్త URLలను సృష్టించకుండా JavaScriptను ట్రిగ్గర్ చేసే బటన్లుగా ఫిల్టర్ కంట్రోల్లను అందించండి. వినియోగదారులకు కావాల్సిన UI లభిస్తుంది, అదే సమయంలో క్రాలర్ అనవసరమైన URLలను కనుగొనలేదు.“noindex” ట్రాప్కు దూరంగా ఉండండి
30,000 ఫిల్టర్ URLలకుnoindexజోడించినా, Google మొదట ప్రతి పేజీని డౌన్లోడ్ చేసి, ఆ తర్వాత దానిని విస్మరించమని చెప్పే ఆదేశాన్ని చదవాల్సి ఉంటుంది. క్రాల్ ప్రక్రియను పూర్తిగా ఆపడానికిrobots.txtని ఉపయోగించండి; మీరు ఇండెక్స్ చేయాలనుకుంటున్న పేజీలు మాత్రమే అందుబాటులో ఉండాలి.
విజయాన్ని కొలవడం
దృష్టిని ర్యాంకింగ్స్ నుండి ఇండెక్సింగ్ వేగం వైపు మళ్లించండి. మార్పులు చేసిన ముందు మరియు తర్వాత, కొత్తగా జోడించిన ఉత్పత్తి Google ఇండెక్స్లో కనిపించడానికి ఎంత సమయం పడుతుందో ట్రాక్ చేయండి. 21 రోజుల ఆలస్యం నుండి 3 రోజుల ఆలస్యానికి తగ్గడం అనేది మీ వ్యూహం పనిచేస్తుందని చూపుతుంది.
కౌంటర్-పాయింట్: వినియోగదారుల సౌలభ్యం వర్సెస్ క్రాల్ సామర్థ్యం (usability versus crawl efficiency)
UIని యథాతథంగా ఉంచండి—బటన్లు వినియోగదారులను ఫలితాలను రిఫైన్ చేయడానికి అనుమతిస్తాయి—అదే సమయంలో అంతర్లీన URLలను క్రాలర్కు కనిపించకుండా ఉంచండి. ఏదైనా నిర్దిష్ట ఫిల్టర్ నావిగేషన్కు చాలా అవసరమని తేలితే, దానిని అధిక విలువ కలిగిన ఫాసెట్గా మార్చి, దానికి స్పష్టమైన, క్రాల్ చేయగల URLని ఇవ్వండి.
తదుపరి ఏమి గమనించాలి
- Search Console క్రాల్ స్టాట్స్ (Search Console crawl stats) – “Requests blocked by robots.txt” తగ్గడాన్ని మరియు ఉత్పత్తి పేజీల కోసం “Crawl depth” పెరగడాన్ని “Crawl Stats” రిపోర్ట్లో పర్యవేక్షించండి.
ముఖ్య అంశం (Takeaway): ఫాసెట్లను వర్గీకరించండి, కానికానికల్ ట్యాగ్లను ఉపయోగించండి, తక్కువ విలువ కలిగిన URLలను బ్లాక్ చేయండి మరియు లింక్ల బదులు బటన్లను వాడండి. పెద్ద ఇ-కామర్స్ సైట్లు వినియోగదారుల సౌలభ్యాన్ని తగ్గించకుండానే, ఇండెక్సింగ్ సమయాన్ని వారాల నుండి రోజులకు తగ్గించి, Googlebotను ముఖ్యమైన పేజీల వైపు మళ్లించగలవు.