വിക്കിമീഡിയയുടെ (Wikimedia) എഞ്ചിനീയറിംഗ് ടീം പറയുന്നത് AI അധിഷ്ഠിത ക്രോളറുകൾ (crawlers) പ്ലാറ്റ്‌ഫോമിലെ ഏറ്റവും ചിലവേറിയ ട്രാഫിക്കിന്റെ 65% ഉണ്ടാക്കുന്നു എന്നാണ്. ഇത് നിസ്സാരമെന്ന് തോന്നുന്ന ഒരു ബോട്ട് വർദ്ധനവിനെ സെർവർ ബില്ലുകളിലെ വലിയൊരു ചിലവായി മാറ്റുന്നു. ഇതേ രീതി ഇപ്പോൾ ചെറിയ ബ്ലോഗുകളിലും ഹോബി സൈറ്റുകളിലും കാണപ്പെടുന്നുണ്ട്.

ഈ വർദ്ധനവ് പ്രധാനമാകുന്നത് എന്തുകൊണ്ട്

മനുഷ്യരായ സന്ദർശകർ ഹോംപേജുകൾ, ഫീച്ചർ ചെയ്ത ലേഖനങ്ങൾ, മറ്റ് പ്രശസ്തമായ ഉള്ളടക്കങ്ങൾ എന്നിങ്ങനെയുള്ള ജനപ്രിയ പേജുകളിൽ കൂടുതൽ സമയം ചെലവഴിക്കുന്നു. CDN-കൾ ഈ പേജുകൾ എഡ്ജ് ലൊക്കേഷനുകളിൽ കാഷെ (cache) ചെയ്യുന്നു, അതിനാൽ ഒറിജിൻ സെർവറിന് വലിയ ജോലി ചെയ്യേണ്ടി വരുന്നില്ല. എന്നാൽ ഇതിനു വിപരീതമായി, AI ക്രോളറുകൾ ഒരൊറ്റ റണ്ണിൽ ആയിരക്കണക്കിന് അപരിചിതമായ URL-കൾ സ്ക്രാപ്പ് ചെയ്യുന്നു. ഈ പേജുകൾ അപൂർവ്വമായി മാത്രമേ കാഷെ ചെയ്യപ്പെടാറുള്ളൂ, അതിനാൽ ഓരോ റിക്വസ്റ്റും വിക്കിമീഡിയയുടെ ഒറിജിൻ ഇൻഫ്രാസ്ട്രക്ചറിലേക്ക് നേരിട്ട് എത്തുന്നു. ഇതിന്റെ ഫലമായി, ആകെ ട്രാഫിക്കിന്റെ വളരെ ചെറിയൊരു ഭാഗത്തിനായി അമിതമായ കമ്പ്യൂട്ട്, സ്റ്റോറേജ്, നെറ്റ്‌വർക്ക് ഉപയോഗം ആവശ്യമായി വരുന്നു.

ഈ വിവരങ്ങൾ പുറത്തുവിട്ട എഞ്ചിനീയറിംഗ് ബ്ലോഗ് പറയുന്നത്, ആകെ റിക്വസ്റ്റുകളിൽ ബോട്ടുകൾ ചെറിയൊരു ഭാഗം മാത്രമാണെങ്കിലും, "ചിലവേറിയ" വിഭാഗത്തിൽ അവ വലിയൊരു പങ്കുവഹിക്കുന്നു എന്നാണ്.

ആർക്കാണ് ഇതിന്റെ പ്രത്യാഘാതം അനുഭവപ്പെടുന്നത്

ചെറിയ ഓപ്പറേറ്റർമാർക്ക് ഇത്രയും വലിയ സാമ്പത്തിക ശേഷിയോ സുരക്ഷാ കവചമോ ഇല്ല. ഈ മറഞ്ഞിരിക്കുന്ന ചിലവ് പണം മാത്രമല്ല; ഇത് യഥാർത്ഥ സന്ദർശകർക്ക് സൈറ്റിന്റെ പ്രവർത്തനം മന്ദഗതിയിലാകാനും കാരണമായേക്കാം.

സൈറ്റ് ഉടമകൾക്ക് എന്തുചെയ്യാൻ കഴിയും

  • റേറ്റ്-ലിമിറ്റിംഗിലൂടെ (rate-limiting) തുടങ്ങുക – ഒരു ചെറിയ സമയപരിധിക്കുള്ളിൽ ഒരു ഐപി (IP) അഡ്രസ്സിൽ നിന്ന് വരാവുന്ന റിക്വസ്റ്റുകളുടെ എണ്ണം നിയന്ത്രിക്കുക. ഇത് ക്രോളറുകൾക്ക് പൂർണ്ണമായും പ്രവേശനം നിഷേധിക്കാതെ തന്നെ അവയുടെ വേഗത കുറയ്ക്കാൻ സഹായിക്കുന്നു.
  • കാഴ്ചപ്പാടും ചിലവും തമ്മിൽ താരതമ്യം ചെയ്യുക – ഒരു സെർച്ച് എഞ്ചിൻ ബോട്ടിനെ ബ്ലോക്ക് ചെയ്യുന്നത് ട്രാഫിക് കുറയ്ക്കാൻ സഹായിച്ചേക്കാം, എന്നാൽ ഇത് നിങ്ങളുടെ പേജുകൾ ഇൻഡക്സുകളിൽ നിന്ന് നീക്കം ചെയ്യാനും അതുവഴി ഓർഗാനിക് സെർച്ച് റിസൾട്ടുകളിൽ നിങ്ങളുടെ സൈറ്റ് കാണപ്പെടാതിരിക്കാനും കാരണമായേക്കാം.
  • ബോട്ടുകളെ തരംതിരിക്കുക – എല്ലാ ക്രോളറുകളും ഒരേപോലെയല്ല. ചിലത് ട്രാഫിക് കൊണ്ടുവരുന്ന നിയമപരമായ സെർച്ച് ടൂളുകളാണ്; മറ്റു ചിലത് യാതൊരു മൂല്യവും നൽകാത്ത വെറും സ്ക്രാപ്പറുകൾ മാത്രമാണ്.
  • പ്രൂഫ്-ഓഫ്-വർക്ക് (proof-of-work) ചലഞ്ചുകൾ ഉപയോഗിക്കുക – ഒരു പേജ് കാണിക്കുന്നതിന് മുമ്പ് ചെറിയൊരു കമ്പ്യൂട്ടേഷണൽ പസിൽ പരിഹരിക്കാൻ ആവശ്യപ്പെടുക. മനുഷ്യർ ഇത് പെട്ടെന്ന് പരിഹരിക്കും; എന്നാൽ ബോട്ടുകൾക്ക് ഇതിനായി കൂടുതൽ കമ്പ്യൂട്ടേഷണൽ പവർ ഉപയോഗിക്കേണ്ടി വരും, ഇത് അവയുടെ ചിലവ് വർദ്ധിപ്പിക്കും.
  • CDN അനലിറ്റിക്സ് ഉപയോഗിക്കുക – മിക്ക CDN-കളും ഓരോ ബോട്ടിന്റെയും റിക്വസ്റ്റ് വിവരങ്ങൾ നൽകുന്നുണ്ട്. ഏത് ഏജന്റുകളാണ് ഒറിജിൻ സെർവറിൽ ഏറ്റവും കൂടുതൽ റിക്വസ്റ്റുകൾ അയക്കുന്നത് എന്ന് കണ്ടെത്തി അതനുസരിച്ച് നിയമങ്ങൾ ക്രമീകരിക്കുക.

ഇതിന്റെ സാരം ലളിതമാണ്: AI ക്രോളറുകൾ ഇനി വെറുമൊരു കൗതുകമല്ല; അവ കൃത്യമായി കണക്കാക്കാവുന്ന ഒരു ചിലവാണ്. നിങ്ങൾ ഒരു ആഗോള എൻസൈക്ലോപീഡിയ നടത്തുകയാണെങ്കിലും അല്ലെങ്കിൽ ഒരു സിംഗിൾ പേജ് പോർട്ട്‌ഫോളിയോ ആണെങ്കിലും, ബോട്ട് ട്രാഫിക്കിനെ നിങ്ങളുടെ ഇൻഫ്രാസ്ട്രക്ചർ ബജറ്റിലെ ഒരു പ്രധാന ചിലവായി കണക്കാക്കുന്നത് അപ്രതീക്ഷിത ബില്ലുകൾ ഒഴിവാക്കാനും യഥാർത്ഥ ഉപയോക്താക്കൾക്ക് സൈറ്റ് വേഗത്തിൽ ലഭ്യമാക്കാനും സഹായിക്കും.