5,000-SKU ഉള്ള ഒരു ഇൻഡസ്ട്രിയൽ ടൂൾ കാറ്റലോഗ് പരിശോധിച്ചപ്പോൾ, മെയിൻ കാറ്റഗറി പേജുകൾ മൂന്നാഴ്ച കൂടുമ്പോൾ ഒരിക്കൽ മാത്രം സന്ദർശിക്കപ്പെടുമ്പോൾ, ഗൂഗിൾബോട്ട് (Googlebot) സൈറ്റിലെ ഫിൽട്ടർ URL-കൾ ദിവസവും മൂന്ന് തവണ ക്രോൾ ചെയ്യുന്നുണ്ടെന്ന് കണ്ടെത്തി. ഇതിന്റെ ഫലമോ? ക്രോളർ മൂല്യമില്ലാത്ത URL-കളിൽ കുടുങ്ങിക്കിടന്നതിനാൽ പുതിയ ഉൽപ്പന്നങ്ങൾ സെർച്ച് റിസൾട്ടുകളിൽ വരാൻ ഒരു മാസം എടുത്തു.

ഫസറ്റഡ് സെർച്ച് ഉപഭോക്താക്കൾക്ക് മെറ്റീരിയൽ, സൈസ്, കോട്ടിംഗ് തുടങ്ങിയ മറ്റ് സവിശേഷതകൾ ഉപയോഗിച്ച് ഫലങ്ങൾ ചുരുക്കി കാണാൻ സഹായിക്കുന്നു. ഓരോ ഫസറ്റും URL-ലേക്ക് ഒരു പാരാമീറ്റർ ചേർക്കുന്നു, അഞ്ച് ഡൈമെൻഷനുകൾ ഉണ്ടെങ്കിൽ സാധ്യമായ കോമ്പിനേഷനുകൾ പതിനായിരക്കണക്കിന് യുണീക് പേജുകളായി വർദ്ധിക്കുന്നു. ഈ പേജുകളിൽ മിക്കവയും ഒരേ ഉൽപ്പന്ന പട്ടിക തന്നെയാണെങ്കിലും, ഗൂഗിൾ ഓരോന്നും പ്രത്യേക URL ആയി കണക്കാക്കുന്നു. ഗൂഗിളിന്റെ ക്രോൾ ബജറ്റ് – ഒരു സൈറ്റിൽ നിന്ന് ഓരോ ദിവസവും അത് ശേഖരിക്കുന്ന പേജുകളുടെ എണ്ണം – പരിമിതമായതിനാൽ, ഉപയോക്താക്കൾക്കോ സെർച്ചിനോ വലിയ മൂല്യം നൽകാത്ത URL-കളിൽ അത് വിലപ്പെട്ട സമയം ചെലവഴിക്കുന്നു.

സൈറ്റിലെ URL ഘടന ബോട്ടിനെ ഒരു “ക്രോൾ ട്രാപ്പിലേക്ക്” (crawl trap) നയിക്കുന്നു, അവിടെ അത് ഒരേപോലെയുള്ള പേജുകളിലേക്ക് നയിക്കുന്ന ലിങ്കുകൾ പിന്തുടർന്നുകൊണ്ടേയിരിക്കുന്നു.

ഇതിന്റെ ആഘാതം എന്താണ്

  • ഇൻഡക്സിംഗ് വേഗത (Indexing speed) – പുതിയ ഉൽപ്പന്നങ്ങൾ കണ്ടെത്താൻ വൈകുന്നത് അവ ആഴ്ചകളോളം കാണപ്പെടാതെ ഇരിക്കാൻ കാരണമാകുന്നു, ഇത് വിൽപ്പനയെ ബാധിക്കുന്നു.
  • സെർച്ച് വിസിബിലിറ്റി (Search visibility) – ഗൂഗിൾ അതിന്റെ ബജറ്റ് ഫിൽട്ടർ പേജുകൾക്കായി ചെലവഴിച്ചാൽ, ഉയർന്ന മുൻഗണനയുള്ള ഉൽപ്പന്ന പേജുകൾ ക്രോൾ ചെയ്യപ്പെടണമെന്നില്ല, ഇത് അവയുടെ റാങ്കിംഗ് സാധ്യത കുറയ്ക്കുന്നു.

ക്രോൾ ബജറ്റ് തിരിച്ചുപിടിക്കുന്നതിനുള്ള ഘട്ടം ഘട്ടമായുള്ള മാർഗ്ഗനിർദ്ദേശം

  1. ഉയർന്ന മൂല്യമുള്ള ഫസറ്റുകൾ തിരിച്ചറിയുക
    യഥാർത്ഥ സെർച്ച് ട്രാഫിക് നൽകുന്ന ഫിൽട്ടർ കോമ്പിനേഷനുകൾ കണ്ടെത്തുക. അവയ്ക്ക് വ്യക്തവും വിവരണാത്മകവുമായ പാതകൾ നൽകുക (ഉദാഹരണത്തിന്, /end-mill/coating-tialn/). ഉയർന്ന മൂല്യമുള്ള പേജുകൾ പൂർണ്ണമായും ക്രോൾ ചെയ്യാനും ഇൻഡക്സ് ചെയ്യാനും കഴിയുന്ന രീതിയിൽ നിലനിർത്തുക.

  2. മിതമായ മൂല്യമുള്ള ഫസറ്റുകൾക്ക് കാനോണിക്കൽ ടാഗുകൾ ഉപയോഗിക്കുക
    ഒരു ഫിൽട്ടർ ഉപയോഗപ്രദമാണെങ്കിലും സെർച്ച് വോളിയം കുറവാണെങ്കിൽ, ആ URL ലഭ്യമാക്കുക, എന്നാൽ മെയിൻ കാറ്റഗറി പേജിലേക്ക് പോയിംഗ് ചെയ്യുന്ന ഒരു rel=canonical ടാഗ് ചേർക്കുക. കാറ്റഗറി പേജാണ് മുൻഗണന നൽകേണ്ട പതിപ്പ് എന്ന് ഇത് ഗൂഗിളിനെ അറിയിക്കുന്നു.

  3. robots.txt വഴി കുറഞ്ഞ മൂല്യമുള്ള ഫസറ്റുകളെ തടയുക
    ഗൂഗിൾബോട്ട് അവ ആവശ്യപ്പെടാതിരിക്കാൻ robots.txt-ൽ ആ പാറ്റേണുകൾ ഡിസലൗ (Disallow) ചെയ്യുക.

  4. അഡ്വാൻസ്ഡ് ഫിൽട്ടറുകൾ ലിങ്കുകൾക്ക് പകരം ബട്ടണുകളായി നൽകുക
    ബോട്ടുകൾ <a എലമെന്റുകൾ പിന്തുടരും എന്നാൽ <button എലമെന്റുകളെ അവഗണിക്കും. പുതിയ URL-കൾ സൃഷ്ടിക്കാതെ ജാവാസ്ക്രിപ്റ്റ് (JavaScript) പ്രവർത്തിപ്പിക്കുന്ന ബട്ടണുകളായി ഫിൽട്ടർ കൺട്രോളുകൾ നൽകുക. ഉപയോക്താക്കൾക്ക് അവർക്ക് ആവശ്യമുള്ള UI ലഭിക്കുന്നു, അതേസമയം ക്രോളർ ഉപയോഗശൂന്യമായ URL-കൾ കണ്ടെത്തില്ല.

  5. “noindex” കെണി ഒഴിവാക്കുക
    30,000 ഫിൽട്ടർ URL-കളിൽ noindex ചേർക്കുന്നത് ഗൂഗിളിനെ ഓരോ പേജും ആദ്യം ഡൗൺലോഡ് ചെയ്യാനും, തുടർന്ന് അത് അവഗണിക്കാൻ നിർദ്ദേശം വായിക്കാനും നിർബന്ധിക്കുന്നു. ക്രോളിംഗ് പൂർണ്ണമായും നിർത്താൻ robots.txt ഉപയോഗിക്കുക; ഇൻഡക്സ് ചെയ്യാൻ ഉദ്ദേശിക്കുന്ന പേജുകൾ മാത്രമേ ലഭ്യമാകൂ എന്ന് ഉറപ്പാക്കുക.

വിജയം അളക്കുന്നത് എങ്ങനെ

ശ്രദ്ധ റാങ്കിംഗിൽ നിന്ന് ഇൻഡക്സിംഗ് വേഗതയിലേക്ക് മാറ്റുക. മാറ്റങ്ങൾ വരുത്തുന്നതിന് മുമ്പും ശേഷവും ഒരു പുതിയ ഉൽപ്പന്നം ഗൂഗിളിന്റെ ഇൻഡക്സിൽ വരാൻ എത്ര സമയമെടുക്കുന്നു എന്ന് നിരീക്ഷിക്കുക. 21 ദിവസത്തെ കാലതാമസം 3 ദിവസമായി കുറയുന്നത് നിങ്ങളുടെ തന്ത്രം വിജയിക്കുന്നു എന്നതിന്റെ സൂചനയാണ്.

ഒരു വിയോജിപ്പ്: ഉപയോഗക്ഷമതയും ക്രോൾ കാര്യക്ഷമതയും

ഉപയോക്താക്കൾക്ക് ഫലങ്ങൾ ചുരുക്കി കാണാൻ ബട്ടണുകൾ ഉപയോഗിക്കാം എന്നതിനാൽ UI മാറ്റമില്ലാതെ നിലനിർത്തുക—അതേസമയം ക്രോളർക്ക് URL-കൾ കാണാൻ കഴിയാത്ത രീതിയിൽ ക്രമീകരിക്കുക. ഒരു പ്രത്യേക ഫിൽട്ടർ നാവിഗേഷന് അത്യാവശ്യമാണെന്ന് കണ്ടാൽ, അതിനെ ഉയർന്ന മൂല്യമുള്ള ഫസറ്റായി ഉയർത്തുകയും അതിന് വ്യക്തമായ, ക്രോൾ ചെയ്യാവുന്ന URL നൽകുകയും ചെയ്യുക.

അടുത്തതായി ശ്രദ്ധിക്കേണ്ടവ

  • Search Console ക്രോൾ സ്റ്റാറ്റുകൾ – “Requests blocked by robots.txt” കുറയുന്നതും ഉൽപ്പന്ന പേജുകളുടെ “Crawl depth” കൂടുന്നതും “Crawl Stats” റിപ്പോർട്ടിലൂടെ നിരീക്ഷിക്കുക.

ചുരുക്കത്തിൽ: ഫസറ്റുകളെ തരംതിരിക്കുക, കാനോണിക്കൽ ടാഗുകൾ ഉപയോഗിക്കുക, കുറഞ്ഞ മൂല്യമുള്ള URL-കൾ തടയുക, ലിങ്കുകൾക്ക് പകരം ബട്ടണുകൾ ഉപയോഗിക്കുക. വലിയ ഇ-കൊമേഴ്‌സ് സൈറ്റുകൾക്ക് ഉപയോക്താക്കളുടെ സൗകര്യങ്ങളിൽ വിട്ടുവീഴ്ച ചെയ്യാതെ തന്നെ ഗൂഗിൾബോട്ടിനെ പ്രധാനപ്പെട്ട പേജുകളിലേക്ക് നയിക്കാനും ഇൻഡക്സിംഗ് സമയം ആഴ്ചകളിൽ നിന്ന് ദിവസങ്ങളിലേക്ക് കുറയ്ക്കാനും ഇതിലൂടെ സാധിക്കും.