ഈ സെപ്റ്റംബറിൽ AI ഏജന്റ് ക്രോളറുകളെ (AI Agent Crawlers) ഡിഫോൾട്ടായി തടയാൻ Cloudflare തീരുമാനിക്കുന്നു

ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് ഉപയോഗിച്ചുള്ള നിയന്ത്രണമില്ലാത്ത വെബ് സ്‌ക്രാപ്പിംഗ് (web scraping) കാലഘട്ടം അവസാനിക്കുകയാണ്. സെപ്റ്റംബർ 15 മുതൽ, AI ഏജന്റ് ക്രോളറുകളെ ഡിഫോൾട്ടായി തടയുന്ന ഒരു പ്രധാന നയമാറ്റം Cloudflare നടപ്പിലാക്കും. ഇത് അനുമതി അടിസ്ഥാനമാക്കിയുള്ള ഡാറ്റാ ആക്സസിന്റെ (permission-based data access) ഒരു പുതിയ യുഗത്തിന് തുടക്കമിടും.

പാസീവ് സ്‌ക്രാപ്പിംഗിൽ നിന്ന് ആക്റ്റീവ് പെർമിഷനിലേക്കുള്ള മാറ്റം

വർഷങ്ങളായി, AI മോഡലുകളും സ്വയം പ്രവർത്തിക്കുന്ന ഏജന്റുകളും (autonomous agents) തുറന്ന വെബ് പ്ലാറ്റ്‌ഫോമുകൾ പരിശോധിച്ചും ഡാറ്റ സ്‌ക്രാപ്പ് ചെയ്തും ഉപയോക്താക്കൾക്ക് തത്സമയ മറുപടികൾ നൽകിക്കൊണ്ടുമാണ് പ്രവർത്തിക്കുന്നത്. എന്നാൽ, ഇത്തരം "ഏജന്റിക്" (agentic) ബോട്ടുകളെ വെബ് ഇൻഫ്രാസ്ട്രക്ചർ എങ്ങനെ കൈകാര്യം ചെയ്യുന്നു എന്നതിൽ Cloudflare-ന്റെ ഈ പുതിയ പ്രഖ്യാപനം വലിയൊരു മാറ്റം കുറിക്കുന്നു. വിവരങ്ങൾ ശേഖരിക്കാനായി പേജുകൾ ഇൻഡക്സ് ചെയ്യുന്ന പരമ്പരാഗത സെർച്ച് എഞ്ചിൻ ക്രോളറുകളിൽ നിന്ന് വ്യത്യസ്തമായി, AI ഏജന്റ് ക്രോളറുകൾ ഒരു ഉപയോക്താവിന് വേണ്ടി പ്രത്യേക ജോലികൾ ചെയ്യാനോ സങ്കീർണ്ണമായ ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകാനോ വേണ്ടി തത്സമയം ഉള്ളടക്കം ശേഖരിക്കുന്നു.

സെപ്റ്റംബർ 15 മുതൽ, Cloudflare ഉപയോഗിച്ച് സംരക്ഷിക്കപ്പെടുന്ന വെബ്സൈറ്റുകളുടെ വലിയൊരു ഭാഗം ഈ ഏജന്റുകളെ സ്വയമേവ നിയന്ത്രിക്കും. വെബ്സൈറ്റ് ഉടമകൾക്കും പബ്ലിഷർമാർക്കും അവരുടെ ഉടമസ്ഥതയിലുള്ള ഡാറ്റയും സർഗ്ഗാത്മകമായ ഉള്ളടക്കവും (creative content) Large Language Models (LLMs), സ്വയം പ്രവർത്തിക്കുന്ന ഏജന്റുകൾ എന്നിവ എങ്ങനെ ഉപയോഗിക്കുന്നു എന്നതിനെക്കുറിച്ച് കൂടുതൽ നിയന്ത്രണം നൽകുന്നതിനാണ് ഈ നീക്കം ലക്ഷ്യമിടുന്നത്. വെബ്ബ് എല്ലാവർക്കും ലഭ്യമായ ഒരു ഇടത്തിന് പകരം, ബോട്ടുകൾക്ക് കൃത്യമായി അനുമതി ചോദിക്കേണ്ടി വരുന്ന ഒരു നിയന്ത്രിത മാതൃകയിലേക്ക് മാറുകയാണ്.

ഡെവലപ്പർമാർക്കും സൈറ്റ് ഉടമകൾക്കും എങ്ങനെ അനുമതി നൽകാം

ഡിഫോൾട്ട് സെറ്റിംഗ് നിയന്ത്രണങ്ങൾ ഏർപ്പെടുത്തുന്നതാണെങ്കിലും, ഉപകാരപ്രദമായ AI ടൂളുകളുടെ പ്രവർത്തനത്തെ തടയുക എന്നതല്ല Cloudflare-ന്റെ ലക്ഷ്യം. പകരം, ക്രോളറും ഹോസ്റ്റും തമ്മിൽ ഒരു വ്യവസ്ഥാപിതമായ ബന്ധം (structured handshake) സ്ഥാപിക്കുക എന്നതാണ് ലക്ഷ്യം. ഡെവലപ്പർമാരെയും സൈറ്റ് അഡ്മിനിസ്ട്രേറ്റർമാരെയും സംബന്ധിച്ചിടത്തോളം, "എല്ലാം സ്‌ക്രാപ്പ് ചെയ്യുക" എന്ന രീതിയിൽ നിന്ന് മാറി ഒരു നിയന്ത്രിത സമീപനത്തിലേക്ക് മാറാൻ ഇത് അർത്ഥമാക്കുന്നു.

വിശ്വസനീയവും മൂല്യമുള്ളതുമായ AI ഏജന്റുകൾക്ക് ഒരു വെബ്സൈറ്റിലെ പ്രത്യേക ഭാഗങ്ങൾ ഉപയോഗിക്കാൻ കഴിയുന്നുണ്ടെന്ന് ഉറപ്പാക്കാൻ, ഉടമകൾ പ്രത്യേക അനുമതികൾ നൽകേണ്ടതുണ്ട്. OpenAI, Anthropic അല്ലെങ്കിൽ Google എന്നിവയുടെ സഹായത്തോടെ പ്രവർത്തിക്കുന്ന ഏത് AI ഏജന്റുകൾക്ക് അവരുടെ ഉള്ളടക്കം വായിക്കാം എന്നും ഏത് നിബന്ധനകളോടെയാണെന്നും തീരുമാനിക്കാൻ ഇത് ബിസിനസ്സുകളെ സഹായിക്കുന്നു. വിപുലമായ AI മേഖലയെ സംബന്ധിച്ചിടത്തോളം, ഏജന്റ് ഡെവലപ്പർമാർ തങ്ങളുടെ ഐഡന്റിറ്റി വെളിപ്പെടുത്താനും വെബ് സെർവറുകൾക്ക് മുന്നിൽ തങ്ങളുടെ വിശ്വാസ്യത തെളിയിക്കാനും കൂടുതൽ വിപുലമായ ഒരു മാർഗ്ഗം ആവശ്യമായി വരും.

എന്തുകൊണ്ടാണ് ഇത് AI ഇക്കോസിസ്റ്റത്തിന് പ്രധാനമാകുന്നത്

ഈ മാറ്റം ഉള്ളടക്കം നിർമ്മിക്കുന്നവർക്കും AI കമ്പനികൾക്കും ഒരുപോലെ നിർണ്ണായകമായ ഒരു ഘട്ടമാണ്. പബ്ലിഷർമാരെ സംബന്ധിച്ചിടത്തോളം, തങ്ങളുടെ ഉള്ളടക്കം ഉപയോഗിച്ച് പരിശീലിപ്പിക്കപ്പെടുന്ന മോഡലുകൾ പിന്നീട് തങ്ങളോട് തന്നെ മത്സരിക്കാൻ സാധ്യതയുള്ള "ഡാറ്റ സ്‌ക്രാപ്പിംഗ് തളർച്ചയിൽ" (data scraping fatigue) നിന്ന് രക്ഷനേടാൻ ഇത് സഹായിക്കുന്നു. നിയന്ത്രണം തിരിച്ചുപിടിച്ചതിലൂടെ, പബ്ലിഷർമാർക്ക് അവരുടെ ബൗദ്ധിക സ്വത്ത് (intellectual property) സംരക്ഷിക്കാനും AI ആക്സസിനായി പുതിയ വരുമാന മാർഗ്ഗങ്ങൾ (monetization models) പര്യവേക്ഷണം ചെയ്യാനും സാധിക്കും.

ഏജന്റിക് വർക്ക്ഫ്ലോകൾ (agentic workflows) നിർമ്മിക്കുന്ന AI ഡെവലപ്പർമാരെയും സ്ഥാപകരെയും സംബന്ധിച്ചിടത്തോളം, ഈ മാറ്റം പുതിയ സങ്കീർണ്ണതകൾ കൊണ്ടുവരുന്നു. എല്ലാ പബ്ലിക് HTML-ഉം ലഭ്യമാണെന്ന ധാരണയിൽ ഇനി ഏജന്റുകൾക്ക് പ്രവർത്തിക്കാൻ കഴിയില്ല. ഭാവിയിൽ നിലനിൽക്കാൻ സാധിക്കുന്ന AI ഏജന്റുകൾക്ക് "കംപ്ലയൻസ് അവയർ" (compliance-aware) ആകേണ്ടതുണ്ട്; അതായത്, അനുമതികളുടെ വിവിധ തലങ്ങളിലൂടെ സഞ്ചരിക്കാനും Cloudflare പോലുള്ള പ്രധാന ഇൻഫ്രാസ്ട്രക്ചർ പ്രൊവൈഡർമാർ നിശ്ചയിച്ചിട്ടുള്ള പുതിയ പ്രോട്ടോക്കോളുകൾ പാലിക്കാനും അവർക്ക് കഴിയണം.

പ്രധാന കാര്യങ്ങൾ

• ഡിഫോൾട്ട് ബ്ലോക്കിംഗ്: സെപ്റ്റംബർ 15 മുതൽ, വ്യക്തമായ അനുമതി നൽകിയിട്ടില്ലെങ്കിൽ സംരക്ഷിക്കപ്പെട്ട സൈറ്റുകളിൽ AI ഏജന്റ് ക്രോളറുകളെ Cloudflare സ്വയമേവ തടയും.
• പബ്ലിഷർമാർക്കുള്ള നിയന്ത്രണം: ഈ നീക്കം അധികാരം വെബ്സൈറ്റ് ഉടമകളിലേക്ക് തിരികെ എത്തിക്കുന്നു, ഏത് AI സംവിധാനങ്ങൾക്ക് അവരുടെ തത്സമയ ഡാറ്റ ഉപയോഗിക്കാം എന്ന് തീരുമാനിക്കാൻ ഇത് അവരെ അനുവദിക്കുന്നു.
• ഏജന്റുകൾക്കായി പുതിയ മാനദണ്ഡം: AI ഡെവലപ്പർമാർ തങ്ങളുടെ ഏജന്റുകളെ വെബ് പെർമിഷനുകൾക്ക് കൂടുതൽ ബഹുമാനം നൽകുന്ന രീതിയിൽ മാറ്റിയെടുക്കണം, അതായത് ഒരു വ്യവസ്ഥാപിതവും അനുമതി അടിസ്ഥാനമാക്കിയുള്ളതുമായ ക്രോളിംഗ് മാതൃകയിലേക്ക് മാറണം.