𝗖𝗿𝗮𝘄𝗹 𝗕𝘂𝗱𝗴𝗲𝘁 𝗥𝗲𝗰𝗹𝗮𝗺𝗮𝘁𝗶𝗼𝗻 (ക്രോൾ ബജറ്റ് വീണ്ടെടുക്കൽ)
നിങ്ങളുടെ സൈറ്റിലെ എത്ര URL-കൾ ഗൂഗിൾ ക്രോൾ ചെയ്യണമെന്ന് ഗൂഗിൾ തന്നെ തീരുമാനിക്കുന്നു. ഇതിനെയാണ് നിങ്ങളുടെ ക്രോൾ ബജറ്റ് (crawl budget) എന്ന് പറയുന്നത്. ഇതിന് രണ്ട് ഭാഗങ്ങളുണ്ട്: ക്രോൾ കപ്പാസിറ്റി (crawl capacity), ക്രോൾ ഡിമാൻഡ് (crawl demand).
ക്രോൾ കപ്പാസിറ്റി നിങ്ങളുടെ സെർവറിന്റെ വേഗതയെ ആശ്രയിച്ചിരിക്കുന്നു. നിങ്ങളുടെ സെർവർ വേഗത്തിൽ പ്രതികരിക്കുന്നുണ്ടെങ്കിൽ, ഗൂഗിൾ കൂടുതൽ പേജുകൾ ക്രോൾ ചെയ്യും.
ക്രോൾ ഡിമാൻഡ് നിങ്ങളുടെ ഉള്ളടക്കത്തെ (content) ആശ്രയിച്ചിരിക്കുന്നു. നിങ്ങളുടെ ഉള്ളടക്കം പുതുമയുള്ളതും ജനപ്രിയവുമാണെങ്കിൽ, അത് ഇടയ്ക്കിടെ പരിശോധിക്കാൻ ഗൂഗിൾ ആഗ്രഹിക്കുന്നു.
മിക്ക ചെറിയ വെബ്സൈറ്റുകളും ഇതിനെക്കുറിച്ച് ആശങ്കപ്പെടേണ്ടതില്ല. നിങ്ങൾക്ക് 10,000-ൽ താഴെ പേജുകൾ മാത്രമേയുള്ളൂ എങ്കിൽ, പകരം ഒരു നല്ല സൈറ്റ്മാപ്പ് (sitemap) തയ്യാറാക്കുന്നതിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുക.
താഴെ പറയുന്ന സാഹചര്യങ്ങളിൽ മാത്രമേ നിങ്ങൾ നടപടികൾ സ്വീകരിക്കേണ്ടതുള്ളൂ:
- 1 മില്യണിലധികം സവിശേഷമായ (unique) പേജുകൾ ഉണ്ടെങ്കിൽ.
- ദിവസവും മാറുന്ന 10,000-ൽ അധികം പേജുകൾ ഉണ്ടെങ്കിൽ.
- സെർച്ച് കൺസോളിൽ (Search Console) ധാരാളം URL-കൾ "Discovered – currently not indexed" എന്ന അവസ്ഥയിൽ നിൽക്കുന്നുണ്ടെങ്കിൽ.
ക്രോൾ ബജറ്റ് പാഴാകുന്നത് സാധാരണയായി സൈറ്റിന്റെ ഘടനയിലെ പ്രശ്നങ്ങൾ മൂലമാണ്. സാധാരണയായി കണ്ടുവരുന്ന പ്രശ്നങ്ങൾ ഇവയാണ്:
- ഫസറ്റഡ് നാവിഗേഷൻ (Faceted navigation), URL പാരാമീറ്ററുകൾ.
- അനന്തമായ ഫിൽട്ടർ ചെയിനുകൾ അല്ലെങ്കിൽ കലണ്ടറുകൾ.
- സോഫ്റ്റ് 404 (Soft 404) എററുകൾ.
- ഡ്യൂപ്ലിക്കേറ്റ് അല്ലെങ്കിൽ കുറഞ്ഞ വിവരങ്ങളുള്ള (thin) ഉള്ളടക്കം.
- നീളമുള്ള റീഡയറക്ട് ചെയിനുകൾ.
- സെർവറിന്റെ സാവധാനത്തിലുള്ള പ്രതികരണ സമയം.
നിങ്ങളുടെ ക്രോൾ ബജറ്റ് ശരിയാക്കാൻ ഈ ഘട്ടങ്ങൾ പാലിക്കുക:
- ഡ്യൂപ്ലിക്കേറ്റ് പേജുകൾ യോജിപ്പിക്കുക, കാനോണിക്കൽ ടാഗുകൾ (canonical tags) ഉപയോഗിക്കുക.
- അപ്രധാനമായ URL-കൾ തടയാൻ robots.txt ഉപയോഗിക്കുക. ഇതിനായി noindex ഉപയോഗിക്കരുത്. ഒരു പേജിലെ noindex ടാഗ് കാണുന്നതിനായി ഗൂഗിൾ ആ പേജ് ക്രോൾ ചെയ്യേണ്ടി വരും, ഇത് ബജറ്റ് പാഴാക്കാൻ കാരണമാകും.
- നീക്കം ചെയ്ത പേജുകൾക്കായി 404 അല്ലെങ്കിൽ 410 സ്റ്റാറ്റസ് കോഡുകൾ നൽകുക.
- ശരിയായ lastmod തീയതികൾ ഉപയോഗിച്ച് നിങ്ങളുടെ സൈറ്റ്മാപ്പുകൾ അപ്ഡേറ്റ് ചെയ്യുക.
- കപ്പാസിറ്റി വർദ്ധിപ്പിക്കുന്നതിനായി സെർവർ വേഗത മെച്ചപ്പെടുത്തുക.
ട്രാഫിക് വർദ്ധിപ്പിക്കുന്നതിനായി കുറഞ്ഞ നിലവാരമുള്ള ഉള്ളടക്കം നീക്കം ചെയ്യാൻ ചില വിദഗ്ധർ നിർദ്ദേശിക്കുന്നുണ്ട്. പഴയതും ട്രാഫിക് ഇല്ലാത്തതുമായ പോസ്റ്റുകൾ നീക്കം ചെയ്തതിന് ശേഷം 67% വർദ്ധനവ് ഉണ്ടായതായി ഒരു പഠനം കാണിച്ചു. എന്നാൽ ശ്രദ്ധിക്കുക. ഉള്ളടക്കം നീക്കം ചെയ്യുന്നത് സൈറ്റിന്റെ ഗുണനിലവാരവും ശ്രദ്ധയും വർദ്ധിപ്പിക്കുമെങ്കിലും, ഇത് വളർച്ച ഉറപ്പാക്കുന്ന ഒരു വിദ്യയല്ല.
ക്രോൾ ബജറ്റ് വീണ്ടെടുക്കൽ എന്നത് കാര്യക്ഷമതയെക്കുറിച്ചുള്ളതാണ്. നിങ്ങളുടെ ഏറ്റവും മികച്ച പേജുകൾ ഗൂഗിളിന് വേഗത്തിൽ കണ്ടെത്താൻ ഇത് സഹായിക്കുന്നു. ഇത് നിങ്ങളുടെ റാങ്കിംഗിനെ നേരിട്ട് മാറ്റുന്നില്ല.
എന്തെങ്കിലും നീക്കം ചെയ്യുന്നതിന് മുമ്പ് നിങ്ങളുടെ സൈറ്റ് ഓഡിറ്റ് ചെയ്യുക. വെറുതെ ഒരു സംഖ്യ കുറയ്ക്കാൻ വേണ്ടി മാത്രമല്ല, ഗുണനിലവാരത്തിനായി മാത്രം ഉള്ളടക്കം കുറയ്ക്കുക (prune).
Source: https://dev.to/mrtd/crawl-budget-reclamation-what-it-is-who-needs-it-and-the-pruning-playbook-139g