మార్కెట్ప్లేస్ యొక్క SEO టీమ్ తన ఇండెక్సింగ్ రూల్ను తిరిగి రాసింది. ఎందుకంటే "3 కంటే తక్కువ లిస్టింగ్స్ = noindex" అనే సాధారణ పాలసీ వల్ల కేటగిరీ పేజీలు గూగుల్ నుండి మాయమైపోయి, మళ్ళీ తిరిగి రావడానికి వారాల సమయం పడుతోంది. ఒక పేజీ 'noindex' నుండి 'index' కి మారేలా, కానీ మళ్ళీ వెనక్కి రాకుండా చేసే ఒక "one-way unlock" రికార్డ్ను జోడించడం ద్వారా, ఆ సైట్ ఈ అస్థిరతను (flicker) నివారించింది.
అసలు రూల్ ఎందుకు వికటించింది
ఈ క్లాసిఫైడ్స్ ప్లాట్ఫారమ్ అనేక కేటగిరీ మరియు లొకేషన్ పేజీలను రూపొందిస్తుంది. ఒక పేజీ మొదటిసారి కనిపించినప్పుడు, అందులో చాలా తక్కువ లిస్టింగ్స్ మాత్రమే ఉంటాయి, కాబట్టి కనీసం మూడు ఐటమ్స్ వచ్చే వరకు ఆ పేజీని సెర్చ్ నుండి దాచిపెట్టాలని టీమ్ నిర్ణయించింది. దీని లాజిక్ చాలా సరళంగా ఉంది:
- < 3 లిస్టింగ్స్ →
noindexమెటా ట్యాగ్ను జోడించండి - ≥ 3 లిస్టింగ్స్ → ట్యాగ్ను తొలగించండి (ఇండెక్సింగ్కు అనుమతించండి)
మొదట్లో, ఇది తక్కువ విలువ కలిగిన పేజీలను (thin pages) గూగుల్ ఫలితాల్లో కనిపించకుండా చేసింది. కానీ లిస్టింగ్స్ గడువు ముగియడంతో సమస్య మొదలైంది. ఒక రోజు ఐదు లిస్టింగ్స్ ఉన్న పేజీ, మరుసటి రోజు రెండుకి పడిపోతే, అది వెంటనే noindex కి మారిపోతుంది. గూగుల్ దానిని పాటించి, ఇండెక్స్ నుండి ఆ URLను తొలగిస్తుంది, దీనివల్ల ఆ పేజీ సాధించిన ర్యాంకింగ్ అంతా పోతుంది. కొత్త లిస్టింగ్ వచ్చినప్పుడు, ఆ పేజీ మళ్ళీ ఇండెక్సబుల్గా మారుతుంది, కానీ మళ్ళీ ఇండెక్స్లోకి రావడానికి వారాల సమయం పడుతుంది.
దీని ఫలితంగా నిరంతరమైన "on-off" సైకిల్ ఏర్పడింది: పేజీలు ఇండెక్స్లోకి వస్తాయి, మాయమవుతాయి, మళ్ళీ వస్తాయి, ఇలా కొనసాగుతూనే ఉన్నాయి.
వన్-వే “unlock” పరిష్కారం
ప్రధాన లోపం ఏమిటంటే, ఆ రూల్కు ఎటువంటి మెమరీ లేదు; అది ప్రతి రిక్వెస్ట్కు త్రెషోల్డ్ను మళ్ళీ లెక్కిస్తుంది. టీమ్ ఒక చిన్న డేటాబేస్ టేబుల్ను—seo_unlocks—పరిచయం చేసింది, ఇది ఒక పేజీ మొదటిసారి మూడు లిస్టింగ్స్ మార్క్ను చేరుకున్నప్పుడు రికార్డ్ చేస్తుంది. కొత్త వర్క్ఫ్లో ఇలా ఉంది:
- లిస్టింగ్ కౌంట్ను తనిఖీ చేయండి. పేజీలో మూడు లేదా అంతకంటే ఎక్కువ యాక్టివ్ లిస్టింగ్స్ ఉంటే, ముందుకు సాగండి.
- అన్లాక్ రో (row) రాయండి. ఆ పేజీ కోసం
seo_unlocksలో ఒక రికార్డ్ను ఇన్సర్ట్ చేయండి. - పేజీని శాశ్వతంగా ఇండెక్సబుల్గా పరిగణించండి. తర్వాత కౌంట్ మూడు కంటే తక్కువకు పడిపోయినా, అన్లాక్ రో ఉండటం వల్ల ఆ పేజీ
noindexప్రక్రియలోకి వెళ్ళదు.
అన్లాక్ కేవలం ఒకేసారి రాయబడటం వల్ల, ఒక పేజీ "noindex" నుండి "index" కి మారగలదు కానీ మళ్ళీ వెనక్కి రాదు. ఫిల్టర్ చేసిన URLలు (ఉదాహరణకు, ధరల పరిధి ఉన్న సెర్చ్ రిజల్ట్స్) వాటి పేరెంట్ కేటగిరీల కోసం అన్లాక్లను సృష్టించకుండా టీమ్ భద్రతా చర్యలను (safeguards) జోడించింది. అలాగే, డేటాబేస్ ఫెయిల్యూర్ వల్ల మొత్తం సైట్ క్రాష్ అవ్వకుండా ఉండటానికి డేటాబేస్ కాల్ను try/catch బ్లాక్లో ఉంచారు.
క్రాల్ బడ్జెట్ మరియు తక్కువ విలువ కలిగిన పేజీల (thin pages) పరంగా దీని అర్థం ఏమిటి
noindex క్రాల్ బడ్జెట్ను ఆదా చేస్తుందనేది ఒక సాధారణ అపోహ. గూగుల్ ఇప్పటికీ ఆ పేజీని ఫెచ్ చేయాలి, ట్యాగ్ను చదవాలి మరియు ఆపై ఇండెక్స్ నుండి తొలగించాలి. ఒక పూర్తి URL ప్యాటర్న్ను గూగుల్ రిక్వెస్ట్ చేయకుండా ఆపడమే లక్ష్యమైతే, దానికి సరైన సాధనం robots.txt. గూగుల్ ఆ పేజీని చూడాలని కానీ, సెర్చ్ రిజల్ట్స్లో చూపించకూడదని మీరు అనుకున్నప్పుడు మాత్రమే noindex ఉపయోగించండి.
ఆటో-జనరేటెడ్ పేజీలపై ఆధారపడే డైరెక్టరీలు, జాబ్ బోర్డులు మరియు మార్కెట్ప్లేస్ల కోసం పాఠం స్పష్టంగా ఉంది: తక్కువ విలువ కలిగిన పేజీల (thin-page) నియమాలు, ఒక పేజీ ఇండెక్స్లో స్థానాన్ని సంపాదించినప్పుడు దానిని గుర్తుంచుకునే పర్సిస్టెన్స్ లేయర్ (persistence layer) తో కలిసి ఉండాలి. ఆ మెమరీ లేకపోతే, కంటెంట్లో తాత్కాలికంగా వచ్చే తగ్గుదల వల్ల పేజీ సాధించిన ర్యాంకింగ్ పోవచ్చు మరియు మళ్ళీ ఇండెక్స్లోకి రావడానికి వారాల సమయం పట్టవచ్చు.
ముగింపు (Takeaway)
డైనమిక్ లిస్టింగ్ సైట్లకు స్టాటిక్ “if count < 3 then noindex” రూల్ SEO అస్థిరతను (volatility) కలిగిస్తుంది. వన్-వే అన్లాక్ రికార్డ్ను జోడించడం వల్ల ఆ రూల్కు మెమరీ లభిస్తుంది, దీనివల్ల లిస్టింగ్స్ హెచ్చుతగ్గులకు లోనైనప్పటికీ పేజీలు తమ ఇండెక్స్ స్థితిని సంపాదించుకుని నిలబెట్టుకోగలవు. నిజమైన క్రాల్-బడ్జెట్ ఆదా కోసం దీనిని robots.txt యొక్క సరైన వినియోగంతో జత చేస్తే, మీరు ర్యాంకింగ్లను మరియు సర్వర్ వనరులను రెండింటినీ కాపాడుకోవచ్చు.