"fewer-than-3-listings = noindex" என்ற எளிய கொள்கையினால், வகைப்பக்கங்கள் (category pages) கூகுளிலிருந்து மறைந்து போயின, அவை மீண்டும் திரும்புவதற்கு வாரக்கணக்கில் ஆனது. இதனால் marketplace-ன் SEO குழு தனது indexing விதியை மாற்றியமைத்தது. ஒரு பக்கம் noindex-லிருந்து index-க்கு மாற அனுமதிக்கப்படும், ஆனால் மீண்டும் மாறாது என்ற ஒருவழி "unlock" பதிவைச் சேர்ப்பதன் மூலம், அந்தத் தளம் இந்தத் தேவையற்ற மாற்றங்களைத் தடுத்தது.

அசல் விதி ஏன் தோல்வியடைந்தது

அந்த விளம்பரத் தளம் (classifieds platform) பல வகை மற்றும் இருப்பிடப் பக்கங்களை (category-and-location pages) உருவாக்குகிறது. ஒரு பக்கம் முதன்முதலில் தோன்றும் போது, அதில் மிகக் குறைந்த எண்ணிக்கையிலான பட்டியல்கள் மட்டுமே இருக்கும் என்பதால், மூன்று பட்டியல்கள் என்ற குறைந்தபட்ச வரம்பை எட்டும் வரை அந்தப் பக்கத்தை தேடலில் இருந்து மறைக்க குழு முடிவு செய்தது. அதன் தர்க்கம் (logic) எளிமையானது:

  • < 3 பட்டியல்கள் → noindex meta tag-ஐச் சேர்க்கவும்
  • ≥ 3 பட்டியல்கள் → அந்தத் டேக்-ஐ நீக்கவும் (indexing அனுமதிக்கப்பட வேண்டும்)

ஆரம்பத்தில், இது தரம் குறைந்த, குறைந்த மதிப்புள்ள பக்கங்களை கூகுள் முடிவுகளில் இருந்து தடுத்தது. ஆனால் பட்டியல்கள் காலாவதியாகும் போது சிக்கல் ஏற்பட்டது. ஒரு நாளில் ஐந்து பட்டியல்கள் கொண்ட ஒரு பக்கம், அடுத்த நாள் இரண்டு பட்டியல்களாகக் குறைந்தால், அது உடனடியாக noindex நிலைக்குத் திரும்பும். கூகுள் இதனை ஏற்றுக்கொண்டு, அந்த URL-ஐ தனது குறியீட்டிலிருந்து (index) நீக்கிவிடும், இதனால் அந்தப் பக்கம் ஏற்கனவே பெற்றிருந்த தரவரிசையையும் (ranking) இழக்கும். புதிய பட்டியல் வந்தவுடன், அந்தப் பக்கம் மீண்டும் index செய்யப்படலாம், ஆனால் அது மீண்டும் திரும்புவதற்கு வாரக்கணக்கில் ஆகும்.

இதன் விளைவாக, பக்கங்கள் index-க்குள் நுழைவது, மறைந்து போவது, மீண்டும் நுழைவது என ஒரு தொடர்ச்சியான "on-off" சுழற்சி ஏற்பட்டது.

ஒருவழி “unlock” தீர்வு

இதில் இருந்த முக்கியக் குறைபாடு என்னவென்றால், அந்த விதியானது எதையும் நினைவில் வைத்துக்கொள்ளவில்லை; ஒவ்வொரு முறையும் அது வரம்பை மீண்டும் கணக்கிட்டது. குழு seo_unlocks என்ற ஒரு சிறிய தரவுத்தள அட்டவணையை (database table) அறிமுகப்படுத்தியது—இது ஒரு பக்கம் முதன்முதலில் மூன்று பட்டியல்கள் என்ற இலக்கை எட்டும்போது அதைப் பதிவு செய்யும். புதிய பணிப்பாய்வு (workflow) இதுதான்:

  1. பட்டியல் எண்ணிக்கையைச் சரிபார்க்கவும். பக்கத்தில் மூன்று அல்லது அதற்கு மேற்பட்ட செயல்பாட்டில் உள்ள பட்டியல்கள் இருந்தால், தொடரவும்.
  2. ஒரு unlock வரிசையை எழுதவும். அந்தப் பக்கத்திற்கான பதிவை seo_unlocks-இல் சேர்க்கவும்.
  3. பக்கத்தை நிரந்தரமாக index செய்யக்கூடியதாகக் கருதவும். பிற்காலத்தில் பட்டியல்களின் எண்ணிக்கை மூன்றிற்கு கீழ் குறைந்தாலும், அந்த unlock பதிவு இருப்பதால், பக்கம் noindex நிலைக்குச் செல்லாது.

இந்த unlock ஒருமுறை மட்டுமே எழுதப்பட முடியும் என்பதால், ஒரு பக்கம் “noindex”-லிருந்து “index”-க்கு மாற முடியும், ஆனால் மீண்டும் மாற முடியாது. வடிகட்டப்பட்ட URL-கள் (உதாரணமாக, விலை வரம்புகளுடன் கூடிய தேடல் முடிவுகள்) அவற்றின் முதன்மைப் பிரிவுகளுக்கு (parent categories) unlock-களை உருவாக்க முடியாது என்பதற்கான பாதுகாப்புகளையும் குழு சேர்த்தது. மேலும், தரவுத்தளத் தோல்வியால் முழுத் தளமும் முடங்குவதைத் தவிர்க்க, database call-ஐ ஒரு try/catch block-க்குள் சேர்த்தது.

crawl budget மற்றும் தரம் குறைந்த பக்கங்களுக்கு இதன் பொருள் என்ன

noindex என்பது crawl budget-ஐச் சேமிக்கும் என்பது ஒரு பொதுவான தவறான கருத்து. கூகுள் இன்னும் அந்தப் பக்கத்தைப் பெற வேண்டும், டேக்-ஐப் படிக்க வேண்டும், பின்னர் அதை index-லிருந்து நீக்க வேண்டும். ஒரு முழு URL முறையையும் (pattern) கூகுள் கோரக்கூடாது என்பதே உங்கள் இலக்கு என்றால், அதற்கான சரியான கருவி robots.txt ஆகும். கூகுள் அந்தப் பக்கத்தைப் பார்க்க வேண்டும், ஆனால் தேடல் முடிவுகளில் காட்டக்கூடாது என்று நீங்கள் விரும்பும் போது மட்டும் noindex-ஐப் பயன்படுத்தவும்.

தானாக உருவாக்கப்படும் அதிகப்படியான பக்கங்களைச் சார்ந்திருக்கும் டைரக்டரிகள் (directories), வேலைவாய்ப்புத் தளங்கள் (job boards) மற்றும் சந்தைகளுக்கான (marketplaces) பாடம் தெளிவானது: தரம் குறைந்த பக்கங்களுக்கான விதிகள், ஒரு பக்கம் எப்போது index-இல் இடம் பெற்றது என்பதை நினைவில் கொள்ளும் ஒரு நிலைத்தன்மையை வழங்கும் அடுக்குடன் (persistence layer) இணைக்கப்பட்டிருக்க வேண்டும். அந்த நினைவாற்றல் இல்லையென்றால், உள்ளடக்கத்தில் ஏற்படும் தற்காலிகக் குறைவு, ஒரு பக்கம் ஏற்கனவே பெற்றிருந்த தரவரிசையை இழக்கச் செய்யும், மேலும் அது மீண்டும் திரும்புவதற்கு வாரக்கணக்கில் ஆகும்.

முக்கியக் கருத்து (Takeaway)

மாறும் பட்டியல்களைக் கொண்ட தளங்களுக்கு, “if count < 3 then noindex” என்ற நிலையான விதி SEO நிலையற்ற தன்மையை (volatility) உருவாக்கும். ஒருவழி unlock பதிவைச் சேர்ப்பது அந்த விதிக்கு நினைவாற்றலைத் தருகிறது, இதனால் பட்டியல்கள் மாறினாலும் பக்கங்கள் தங்கள் index நிலையைப் பெறவும் தக்கவைத்துக் கொள்ளவும் முடிகிறது. உண்மையான crawl-budget சேமிப்பிற்கு robots.txt-ஐச் சரியாகப் பயன்படுத்துவதோடு இதையும் இணைத்தால், தரவரிசை மற்றும் சர்வர் வளங்கள் (server resources) இரண்டையும் நீங்கள் பாதுகாக்கலாம்.