മാർക്കറ്റ് പ്ലേസിന്റെ SEO ടീം അവരുടെ ഇൻഡെക്സിംഗ് നിയമം മാറ്റിയെഴുതി. "3-ൽ താഴെ ലിസ്റ്റിംഗുകൾ ഉണ്ടെങ്കിൽ noindex" എന്ന ലളിതമായ നയം കാരണം കാറ്റഗറി പേജുകൾ ഗൂഗിളിൽ നിന്ന് അപ്രത്യക്ഷമാവുകയും അവ തിരികെ വരാൻ ആഴ്ചകൾ എടുക്കുകയും ചെയ്തു. ഒരു പേജിനെ noindex-ൽ നിന്ന് index-ലേക്ക് മാറ്റാൻ അനുവദിക്കുകയും എന്നാൽ ഒരിക്കലും തിരികെ മാറ്റാൻ അനുവദിക്കാത്ത ഒരു വൺ-വേ "unlock" റെക്കോർഡ് ചേർക്കുന്നതിലൂടെ, സൈറ്റിലെ ഈ അസ്ഥിരത അവർ തടഞ്ഞു.

എന്തുകൊണ്ടാണ് യഥാർത്ഥ നിയമം തിരിച്ചടിയായതുകൊണ്ട്

ഈ ക്ലാസിഫൈഡ്സ് പ്ലാറ്റ്‌ഫോം ധാരാളം കാറ്റഗറി-ലൊക്കേഷൻ പേജുകൾ നിർമ്മിക്കുന്നു. ഒരു പേജ് ആദ്യമായി വരുമ്പോൾ അതിൽ വളരെ കുറച്ച് ലിസ്റ്റിംഗുകൾ മാത്രമേ ഉണ്ടാകാറുള്ളൂ, അതിനാൽ മൂന്ന് ഐറ്റങ്ങൾ എന്ന കുറഞ്ഞ പരിധിയിൽ എത്തുന്നതുവരെ അത് സെർച്ചിൽ നിന്ന് മറച്ചുവെക്കാൻ ടീം തീരുമാനിച്ചു. അതിന്റെ യുക്തി ലളിതമായിരുന്നു:

  • < 3 ലിസ്റ്റിംഗുകൾ → ഒരു noindex മെറ്റാ ടാഗ് ചേർക്കുക
  • ≥ 3 ലിസ്റ്റിംഗുകൾ → ടാഗ് നീക്കം ചെയ്യുക (ഇൻഡെക്സിംഗിന് അനുവദിക്കുക)

തുടക്കത്തിൽ ഇത് കുറഞ്ഞ മൂല്യമുള്ള പേജുകളെ ഗൂഗിൾ റിസൾട്ടുകളിൽ നിന്ന് ഒഴിവാക്കിയിരുന്നു. എന്നാൽ ലിസ്റ്റിംഗുകളുടെ കാലാവധി കഴിയുന്നതോടെ പ്രശ്നം ഉടലെടുത്തു. ഒരു ദിവസം അഞ്ച് ലിസ്റ്റിംഗുകൾ ഉള്ള ഒരു പേജ് അടുത്ത ദിവസം രണ്ട് ലിസ്റ്റിംഗുകളായി കുറഞ്ഞാൽ, അത് ഉടൻ തന്നെ noindex ആയി മാറുന്നു. ഗൂഗിൾ ഇത് അനുസരിക്കുകയും ആ URL അതിന്റെ ഇൻഡക്സിൽ നിന്ന് നീക്കം ചെയ്യുകയും ചെയ്തു, തൽഫലമായി ആ പേജിന് ഇതുവരെ നേടിയ റാങ്കിംഗ് നഷ്ടപ്പെട്ടു. പുതിയൊരു ലിസ്റ്റിംഗ് വരുമ്പോൾ പേജ് വീണ്ടും ഇൻഡെക്സ് ചെയ്യാൻ സാധിക്കുമെങ്കിലും, അത് വീണ്ടും ഇൻഡക്സിൽ വരാൻ ആഴ്ചകൾ എടുത്തു.

ഇതിന്റെ ഫലമായി ഒരു നിരന്തരമായ "on-off" ചക്രം ഉണ്ടായി: പേജുകൾ ഇൻഡക്സിലേക്ക് വരുന്നു, അപ്രത്യക്ഷമാകുന്നു, വീണ്ടും വരുന്നു, അങ്ങനെ തുടർന്നുപോയി.

വൺ-വേ “unlock” പരിഹാരം

ഈ നിയമത്തിന്റെ പ്രധാന പോരായ്മ അതിന് ഒരു 'മെമ്മറി' ഇല്ല എന്നതായിരുന്നു; ഓരോ റിക്വസ്റ്റ് വരുമ്പോഴും അത് പരിധി (threshold) വീണ്ടും കണക്കാക്കിയിരുന്നു. ഒരു പേജ് ആദ്യമായി മൂന്ന് ലിസ്റ്റിംഗുകൾ എന്ന പരിധിയിൽ എത്തുമ്പോൾ അത് രേഖപ്പെടുത്തുന്നതിനായി ടീം seo_unlocks എന്ന ചെറിയൊരു ഡാറ്റാബേസ് ടേബിൾ അവതരിപ്പിച്ചു. പുതിയ പ്രവർത്തനരീതി ഇതാണ്:

  1. ലിസ്റ്റിംഗ് എണ്ണം പരിശോധിക്കുക. പേജിൽ മൂന്നോ അതിലധികമോ ആക്ടീവ് ലിസ്റ്റിംഗുകൾ ഉണ്ടെങ്കിൽ മുന്നോട്ട് പോകുക.
  2. ഒരു അൺലോക്ക് റോ (unlock row) എഴുതുക. ആ പേജിനായുള്ള ഒരു റെക്കോർഡ് seo_unlocks-ൽ ചേർക്കുക.
  3. പേജിനെ സ്ഥിരമായി ഇൻഡെക്സ് ചെയ്യാവുന്ന ഒന്നായി പരിഗണിക്കുക. പിന്നീട് ലിസ്റ്റിംഗുകളുടെ എണ്ണം മൂന്നിൽ താഴെയായാലും, ഒരു അൺലോക്ക് റോ ഉള്ളതിനാൽ ആ പേജ് noindex പ്രക്രിയയിൽ നിന്ന് ഒഴിവാക്കപ്പെടും.

അൺലോക്ക് ഒരിക്കൽ മാത്രമേ എഴുതാൻ കഴിയൂ എന്നതിനാൽ, ഒരു പേജിന് “noindex”-ൽ നിന്ന് “index”-ലേക്ക് മാറാൻ കഴിയും, എന്നാൽ ഒരിക്കലും തിരികെ വരാൻ കഴിയില്ല. ഫിൽട്ടർ ചെയ്ത URL-കൾക്ക് (ഉദാഹരണത്തിന്, വില പരിധി ഉള്ള സെർച്ച് റിസൾട്ടുകൾ) അവയുടെ പാരന്റ് കാറ്റഗറികൾക്കായി അൺലോക്കുകൾ സൃഷ്ടിക്കാൻ കഴിയില്ലെന്ന് ഉറപ്പാക്കാൻ ടീം സുരക്ഷാ സംവിധാനങ്ങൾ ചേർത്തു. കൂടാതെ, ഡാറ്റാബേസ് പരാജയം കാരണം സൈറ്റ് മുഴുവൻ തകരാറിലാകാതിരിക്കാൻ ഡാറ്റാബേസ് കോൾ ഒരു try/catch ബ്ലോക്കിനുള്ളിൽ ഉൾപ്പെടുത്തി.

ക്രോൾ ബജറ്റിനും തിൻ പേജുകൾക്കും (thin pages) ഇത് എന്താണ് അർത്ഥമാക്കുന്നത്

noindex ഉപയോഗിക്കുന്നത് ക്രോൾ ബജറ്റ് ലാഭിക്കുമെന്നത് ഒരു തെറ്റായ ധാരണയാണ്. ഗൂഗിൾ ഇപ്പോഴും ആ പേജ് ഫെച്ച് ചെയ്യുകയും, ടാഗ് വായിക്കുകയും, അതിനുശേഷം ഇൻഡക്സിൽ നിന്ന് നീക്കം ചെയ്യുകയും ചെയ്യേണ്ടതുണ്ട്. ഒരു മുഴുവൻ URL പാറ്റേൺ ഗൂഗിൾ ആവശ്യപ്പെടുന്നത് തടയുക എന്നതാണ് ലക്ഷ്യമെങ്കിൽ, അതിന് ശരിയായ മാർഗ്ഗം robots.txt ആണ്. ഗൂഗിൾ പേജ് കാണണമെന്നും എന്നാൽ സെർച്ച് റിസൾട്ടുകളിൽ അത് പ്രദർശിപ്പിക്കരുതെന്നുമാണ് നിങ്ങളുടെ ലക്ഷ്യമെങ്കിൽ മാത്രം noindex ഉപയോഗിക്കുക.

ഓട്ടോ-ജനറേറ്റഡ് പേജുകളെ ആശ്രയിക്കുന്ന ഡയറക്ടറികൾ, ജോബ് ബോർഡുകൾ, മാർക്കറ്റ് പ്ലേസുകൾ എന്നിവർക്കുള്ള പാഠം വ്യക്തമാണ്: തിൻ-പേജ് നിയമങ്ങൾ (thin-page rules), ഒരു പേജ് ഇൻഡക്സിൽ ഇടം നേടിയത് എപ്പോഴാണെന്ന് ഓർമ്മിച്ചുവെക്കുന്ന ഒരു പെർസിസ്റ്റൻസ് ലെയറുമായി (persistence layer) ബന്ധിപ്പിക്കണം. ആ ഓർമ്മയില്ലാതെ, ഉള്ളടക്കത്തിൽ ഉണ്ടാകുന്ന താൽക്കാലിക കുറവ് ഒരു പേജിന് നിലവിലുള്ള റാങ്കിംഗ് നഷ്ടപ്പെടാൻ കാരണമായേക്കാം, അത് വീണ്ടും ഇൻഡക്സിലേക്ക് വരാൻ ആഴ്ചകൾ എടുത്തേക്കാം.

പ്രധാന പാഠം

ഡൈനാമിക് ലിസ്റ്റിംഗ് സൈറ്റുകളിൽ ഒരു സ്റ്റാറ്റിക് “if count < 3 then noindex” നിയമം SEO ചാഞ്ചാട്ടം (volatility) ഉണ്ടാക്കുന്നു. ഒരു വൺ-വേ അൺലോക്ക് റെക്കോർഡ് ചേർക്കുന്നത് ആ നിയമത്തിന് ഒരു 'മെമ്മറി' നൽകുന്നു, ഇത് ലിസ്റ്റിംഗുകളിൽ വ്യതിയാനങ്ങൾ ഉണ്ടാകുമ്പോഴും പേജുകൾക്ക് അവരുടെ ഇൻഡക്സ് സ്റ്റാറ്റസ് നിലനിർത്താൻ സഹായിക്കുന്നു. യഥാർത്ഥ ക്രോൾ ബജറ്റ് ലാഭത്തിനായി ഇതിനോടൊപ്പം ശരിയായ രീതിയിൽ robots.txt ഉപയോഗിച്ചാൽ, നിങ്ങൾക്ക് റാങ്കിംഗും സെർവർ റിസോഴ്സുകളും സംരക്ഷിക്കാൻ കഴിയും.