Cloudflare-ന്റെ പുതിയ AI Crawler Controls
വെബ്സൈറ്റ് ട്രാഫിക് മാറിക്കൊണ്ടിരിക്കുകയാണ്.
മുൻകാലങ്ങളിൽ, ആളുകൾക്ക് നിങ്ങളെ കണ്ടെത്താൻ സഹായിക്കുന്നതിനായി സെർച്ച് എഞ്ചിനുകൾ നിങ്ങളുടെ സൈറ്റ് ക്രോൾ ചെയ്യുമായിരുന്നു. അതൊരു ലളിതമായ കാര്യമായിരുന്നു. AI ഇത് കൂടുതൽ സങ്കീർണ്ണമാക്കിയിരിക്കുന്നു.
ഒരു സെർച്ച് റിസൾട്ടിൽ കാണിക്കുന്നതിനായി ഒരു ബോട്ട് നിങ്ങളുടെ പേജ് ക്രോൾ ചെയ്തേക്കാം. എന്നാൽ ഒരു AI മോഡൽ പരിശീലിപ്പിക്കുന്നതിനായി (train) ഒരു ബോട്ട് നിങ്ങളുടെ പേജ് ക്രോൾ ചെയ്യുന്നതിൽ നിന്നും ഇത് വ്യത്യസ്തമാണ്.
ഇത് നിങ്ങൾ എങ്ങനെ നിയന്ത്രിക്കുന്നു എന്നതിൽ Cloudflare മാറ്റങ്ങൾ വരുത്തുന്നു. 2026 ജൂലൈ 1 മുതൽ എല്ലാ ഉപഭോക്താക്കൾക്കും പുതിയ AI ട്രാഫിക് നിയന്ത്രണങ്ങൾ ലഭിക്കും. ഇത് ട്രാഫിക്കിനെ മൂന്ന് ഗ്രൂപ്പുകളായി തിരിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു:
- Search: സെർച്ച് എഞ്ചിനുകൾക്കോ AI ഉത്തരങ്ങൾക്കോ വേണ്ടി ഉള്ളടക്കം ഇൻഡക്സ് ചെയ്യുന്ന ബോട്ടുകൾ.
- Agent: ഒരു ഉപയോക്താവിന് വേണ്ടി ഒരു ടാസ്ക് പൂർത്തിയാക്കാൻ പ്രവർത്തിക്കുന്ന ബോട്ടുകൾ.
- Training: AI മോഡലുകൾ പരിശീലിപ്പിക്കാനോ ഫൈൻ ട്യൂൺ ചെയ്യാനോ ഡാറ്റ ശേഖരിക്കുന്ന ബോട്ടുകൾ.
ഈ മാറ്റം വെളിപ്പെടൽ (visibility) എന്നത് ഒരു ആക്സസ് പോളിസി തീരുമാനമായി മാറ്റുന്നു. ഇത് ഇനി വെറുമൊരു SEO തീരുമാനം മാത്രമല്ല.
നിങ്ങൾ ഒരു SaaS കമ്പനി നടത്തുന്നുണ്ടെങ്കിൽ, ഡോക്യുമെന്റേഷൻ, പ്രൈസിംഗ്, ഹെൽപ്പ് സെന്ററുകൾ തുടങ്ങിയ നിങ്ങളുടെ പബ്ലിക് പേജുകൾ മൂല്യം സൃഷ്ടിക്കുന്നു. അവ ഉപഭോക്താക്കളെ നേടാനും അവരെ സഹായിക്കാനും നിങ്ങളെ സഹായിക്കുന്നു.
നിങ്ങൾക്ക് എത്രത്തോളം ആക്സസ് നൽകണമെന്ന് നിങ്ങൾ തീരുമാനിക്കണം.
പഴയ ചോദ്യം ഇതായിരുന്നു: സെർച്ച് എഞ്ചിനുകൾക്ക് ഞങ്ങളെ കണ്ടെത്താൻ കഴിയുമോ? പുതിയ ചോദ്യം ഇതാണ്: ഏത് ഓട്ടോമേറ്റഡ് സിസ്റ്റങ്ങൾ നമ്മുടെ സൈറ്റ് ഉപയോഗിക്കണം, ഏത് ആവശ്യത്തിനായിരിക്കണം?
എല്ലാ AI ബോട്ടുകളെയും ഒരേപോലെ കാണരുത്.
സെർച്ച് ബോട്ടുകൾ ഉപയോക്താക്കൾക്ക് നിങ്ങളുടെ ഉൽപ്പന്നം കണ്ടെത്താൻ സഹായിക്കുന്നു. അവയെ തടയുന്നത് AI അധിഷ്ഠിത സെർച്ച് റിസൾട്ടുകളിൽ നിങ്ങളെ കാണാതാക്കിയേക്കാം.
AI ഏജന്റുകൾ ഉപയോഗപ്രദമായേക്കാം. പ്ലാനുകൾ താരതമ്യം ചെയ്യാൻ ഒരു ഉപയോക്താവിനെ സഹായിക്കുന്നതിനായി ഒരു ഏജന്റ് നിങ്ങളുടെ പ്രൈസിംഗ് പേജ് സന്ദർശിച്ചേക്കാം. എന്നിരുന്നാലും, ഈ ഏജന്റുകൾക്ക് ഓതന്റിക്കേഷൻ (authentication) അല്ലെങ്കിൽ റേറ്റ് ലിമിറ്റുകൾ (rate limits) ആവശ്യമുണ്ടോ എന്ന് നിങ്ങൾ തീരുമാനിക്കണം.
ട്രെയിനിംഗ് ബോട്ടുകൾ നേരിട്ടുള്ള മൂല്യം കുറഞ്ഞവയാണ്. അവ മോഡലുകൾ നിർമ്മിക്കാൻ നിങ്ങളുടെ ഉള്ളടക്കം ഉപയോഗിക്കുന്നുണ്ടെങ്കിലും ഉപയോക്താക്കളെ നിങ്ങളുടെ സൈറ്റിലേക്ക് തിരികെ എത്തിച്ചേക്കില്ല. പല കമ്പനികളും ഇവയെ തടയാൻ തീരുമാനിക്കുന്നു.
ഒരു മികച്ച പോളിസി ഇപ്രകാരമായിരിക്കണം:
- നിങ്ങളുടെ ഉൽപ്പന്നവും ഹെൽപ്പ് പേജുകളും ഇൻഡക്സ് ചെയ്യാൻ സെർച്ച് ബോട്ടുകളെ അനുവദിക്കുക.
- ഉപയോക്താക്കൾ നിർദ്ദേശിക്കുന്ന ഏജന്റുകൾക്ക് പബ്ലിക് ഡോക്യുമെന്റേഷൻ ആക്സസ് ചെയ്യാൻ അനുവദിക്കുക.
- ട്രെയിനിംഗ് ബോട്ടുകൾക്ക് ആക്സസ് തടയുകയോ ലൈസൻസ് നൽകുകയോ ചെയ്യുക.
- ഓതന്റിക്കേറ്റ് ചെയ്ത എല്ലാ ഉൽപ്പന്ന മേഖലകളും സുരക്ഷിതമായി സൂക്ഷിക്കുക.
നിങ്ങളുടെ ട്രാഫിക് കൃത്യമായി പരിശോധിക്കുക. ക്രോളർ കാറ്റഗറികൾ, സെർവർ ലോഡ്, സെർച്ച് വിസിബിലിറ്റി എന്നിവ ശ്രദ്ധിക്കുക.
എല്ലാ ബോട്ടുകളെയും തടയുക എന്നതല്ല ലക്ഷ്യം. അവ എന്ത് ചെയ്യുന്നു എന്ന് നിയന്ത്രിക്കുക എന്നതാണ് ലക്ഷ്യം.