AI കമ്പനികൾ പബ്ലിഷർമാർക്ക് പണം നൽകണമെന്ന് നിർബന്ധിക്കാൻ Cloudflare സമയപരിധി നിശ്ചയിക്കുന്നു

പരമ്പരാഗത സെർച്ച് ക്രോളിംഗിനെ (search crawling) AI പരിശീലനത്തിൽ നിന്നും ഏജന്റിക് സേവനങ്ങളിൽ നിന്നും വേർതിരിക്കുന്നതിനായി ഒരു സുപ്രധാന നയമാറ്റമാണ് Cloudflare പ്രഖ്യാപിച്ചിരിക്കുന്നത്. കർശനമായ പുതിയ ഡിഫോൾട്ട് ക്രമീകരണങ്ങൾ നടപ്പിലാക്കുന്നതിലൂടെ, ബൗദ്ധിക സ്വത്തവകാശം സംരക്ഷിക്കാനും വെബ് പബ്ലിഷർമാർക്കായി സുസ്ഥിരമായ ഒരു സാമ്പത്തിക വ്യവസ്ഥ സൃഷ്ടിക്കാനും എഡ്ജ് കമ്പ്യൂട്ടിംഗ് ഭീമനായ Cloudflare ലക്ഷ്യമിടുന്നു.

"മിക്സഡ്-യൂസ്" (Mixed-Use) ക്രോളറുകളുടെ അന്ത്യം

നിലവിലെ ഡാറ്റാ സ്ക്രാപ്പിംഗ് രീതികളെ നേരിട്ട് വെല്ലുവിളിച്ചുകൊണ്ട്, "മിക്സഡ്-യൂസ്" ക്രോളറുകളുടെ വർദ്ധനവ് പരിഹരിക്കുന്നതിനായി 2026 സെപ്റ്റംബർ 15 വരെ ഒരു സമയപരിധി Cloudflare നിശ്ചയിച്ചിട്ടുണ്ട്. പരമ്പരാഗത സെർച്ച് ഇൻഡക്സിംഗും AI മോഡൽ പരിശീലനവും ഏജന്റിക് ഫംഗ്ഷനുകളും ഒരേപോലെ ഉപയോഗിക്കുന്ന ബോട്ടുകളാണ് ഇവ. ആ തീയതി മുതൽ, പരസ്യങ്ങൾ ഉൾക്കൊള്ളുന്ന ഏതൊരു പേജിലേക്കും ഇത്തരം ഹൈബ്രിഡ് ക്രോളറുകൾ പ്രവേശിക്കുന്നത് Cloudflare-ന്റെ ഡിഫോൾട്ട് ക്രമീകരണങ്ങൾ സ്വയമേവ തടയും.

ഈ നയമാറ്റം എല്ലാ പുതിയ Cloudflare ഉപഭോക്താക്കൾക്കും, നിലവിലുള്ള ഉപഭോക്താക്കൾ നിർമ്മിക്കുന്ന പുതിയ സൈറ്റുകൾക്കും, നിലവിലെ എല്ലാ ഫ്രീ-ടിയർ ഉപഭോക്താക്കൾക്കും ബാധകമാണ്. AI കമ്പനികൾ അവരുടെ ഉദ്ദേശ്യം വ്യക്തമാക്കാൻ നിർബന്ധിക്കുക എന്നതാണ് ഇതിന്റെ ലക്ഷ്യം: ഒരു ബോട്ടിന് സെർച്ചിംഗിനായി ഒരു സൈറ്റ് ഇൻഡക്സ് ചെയ്യണമെന്നുണ്ടെങ്കിൽ അത് ഒരു വഴി പിന്തുടരണം; എന്നാൽ ഒരു Large Language Model (LLM) പരിശീലിപ്പിക്കുന്നതിനായി ഡാറ്റ ഉപയോഗിക്കണമെന്നുണ്ടെങ്കിൽ അത് മറ്റൊരു വഴി പിന്തുടരണം—അതിൽ പണം നൽകേണ്ടി വന്നേക്കാം.

സെർച്ച് ഭീമന്മാരുടെ ആധിപത്യത്തെ വെല്ലുവിളിക്കുന്നു

പ്രധാന സെർച്ച് എഞ്ചിനുകൾക്കുള്ള അന്യായമായ മുൻതൂക്കം ഈ തീരുമാനത്തിന് പിന്നിലെ പ്രധാന കാരണമാണ്. ലോകത്തിലെ ഏറ്റവും വലിയ സെർച്ച് എഞ്ചിനായ ഗൂഗിളിന് (Google), അതിന്റെ AI എതിരാളികളേക്കാൾ ഏകദേശം "രണ്ടിരട്ടി കൂടുതൽ വിവരങ്ങൾ" നിലവിൽ ലഭ്യമാണെന്ന് Cloudflare പ്രത്യേകം ചൂണ്ടിക്കാട്ടി.

സെർച്ച് വിസിബിലിറ്റിയെ ബാധിക്കാതെ തന്നെ AI പരിശീലനത്തിൽ നിന്ന് ഒഴിവാകാൻ പബ്ലിഷർമാർക്കായി ഗൂഗിൾ "Google Extended" വാഗ്ദാനം ചെയ്യുന്നുണ്ടെങ്കിലും, അതിന്റെ പ്രധാനപ്പെട്ട Googlebot ഇപ്പോഴും AI Overviews പോലുള്ള ഫീച്ചറുകൾക്കായി വ്യാപകമായി ക്രോൾ ചെയ്യുന്നുണ്ട്. AI കമ്പനികൾക്ക് സെർച്ച് എഞ്ചിനുകളുടെ വൻതോതിലുള്ള ഇൻഡക്സിംഗ് ശേഷി ഉപയോഗിച്ച് സൗജന്യമായി അവരുടെ മോഡലുകൾ പരിശീലിപ്പിക്കാൻ കഴിയില്ലെന്ന് ഉറപ്പാക്കിക്കൊണ്ട്, എല്ലാവർക്കും തുല്യമായ അവസരം നൽകാനാണ് Cloudflare ശ്രമിക്കുന്നത്.

"Pay Per Use" മോഡലുകളിലേക്ക് മാറുന്നു

വെറുതെ തടയുക എന്നതിലുപരി, പുതിയൊരു കണ്ടന്റ് ഇക്കോണമിക്ക് (content economy) ആവശ്യമായ അടിസ്ഥാന സൗകര്യങ്ങൾ Cloudflare സജീവമായി നിർമ്മിച്ചുവരികയാണ്. കമ്പനി അതിന്റെ "Pay Per Crawl" മാർക്കറ്റ് പ്ലേസിനെ കൂടുതൽ പരിഷ്കരിച്ച ഒരു "Pay Per Use" മോഡലായി മാറ്റുകയാണ്. ഈ ചട്ടക്കൂടിന് കീഴിൽ, ഡാറ്റ ശേഖരിക്കുന്നതിന് വേണ്ടി മാത്രമല്ല, ആ കണ്ടന്റ് മൂല്യം സൃഷ്ടിക്കുമ്പോൾ തന്നെ പണം ഈടാക്കാൻ പബ്ലിഷർമാർക്ക് AI കമ്പനികളോട് ആവശ്യപ്പെടാം.

ഇതിന്റെ പൈലറ്റ് പ്രോജക്റ്റായി Cloudflare Ceramic.ai, You.com എന്നിവയുമായി പങ്കാളിത്തം ഏർപ്പെടുത്തിയിട്ടുണ്ട്. ഈ പങ്കാളിത്തത്തിലൂടെ, Ceramic-ന്റെ AI സെർച്ച് റിസൾട്ടുകളിൽ പബ്ലിഷർമാരുടെ കണ്ടന്റ് വരുമ്പോഴോ അല്ലെങ്കിൽ You.com പ്രീമിയം വിവരങ്ങൾ ഉപയോഗിക്കുമ്പോഴോ അവർക്ക് നേരിട്ട് പ്രതിഫലം ലഭിക്കും. നിലവിലെ വെബിലെ ഒരു വലിയ പോരായ്മ പരിഹരിക്കാനാണ് ഈ മാറ്റം: AI ക്രോളർ ട്രാഫിക്കിന്റെ 50 ശതമാനത്തിലധികം മാറ്റമില്ലാത്ത പേജുകൾ വീണ്ടും ശേഖരിക്കുന്നതിനായി പാഴാകുന്നുവെന്ന് Cloudflare ഡാറ്റ വ്യക്തമാക്കുന്നു. ഇത് പബ്ലിഷർമാരുടെ ബാൻഡ്‌വിഡ്ത്തും AI കമ്പ്യൂട്ട് റിസോഴ്സുകളും ഒരുപോലെ നഷ്ടപ്പെടുത്തുന്നു.

AI മേഖലയിൽ ഇതിന്റെ പ്രാധാന്യം എന്തുകൊണ്ട്?

ഇന്റർനെറ്റിൽ മനുഷ്യരല്ലാത്ത ട്രാഫിക് മനുഷ്യരുടെ ട്രാഫിക്കിനെ മറികടക്കുന്ന സാഹചര്യത്തിൽ, "എല്ലാം സൗജന്യമായി സ്ക്രാപ്പ് ചെയ്യുക" എന്ന കാലഘട്ടം അവസാനിക്കുകയാണ്. കൂടുതൽ നിയന്ത്രിതവും ഇടപാടുകൾക്ക് പ്രാധാന്യമുള്ളതുമായ ഒരു വെബ്ബ് രീതിയിലേക്കുള്ള മാറ്റമാണ് Cloudflare-ന്റെ ഈ നീക്കം സൂചിപ്പിക്കുന്നത്. AI ഡെവലപ്പർമാരെ സംബന്ധിച്ചിടത്തോളം, തടസ്സങ്ങളില്ലാത്തതും സൗജന്യവുമായ ഡാറ്റാ ശേഖരണത്തിന്റെ കാലം അവസാനിക്കുകയാണ്. ദീർഘകാലാടിസ്ഥാനത്തിൽ ഡാറ്റയുടെ ലഭ്യത ഉറപ്പാക്കാൻ കണ്ടന്റ് ക്രിയേറ്റർമാരുമായി കൂടുതൽ സുതാര്യവും സഹകരണപരവുമായ ബന്ധം പുലർത്തേണ്ടത് അവർക്ക് അനിവാര്യമായി വരും.

പ്രധാന കാര്യങ്ങൾ

• ഡിഫോൾട്ട് ബ്ലോക്കിംഗ്: 2026 സെപ്റ്റംബർ 15 മുതൽ, പരസ്യങ്ങൾ ഉള്ള പേജുകളിൽ നിന്ന് "മിക്സഡ്-യൂസ്" ക്രോളറുകളെ തടയുന്ന രീതിയിൽ Cloudflare ക്രമീകരണങ്ങൾ മാറ്റും.
• മോണിറ്റൈസേഷൻ മാറ്റം: "Pay Per Crawl" എന്നതിൽ നിന്ന് "Pay Per Use" മോഡലിലേക്ക് Cloudflare മാറുന്നു, ഇത് കണ്ടന്റിന്റെ മൂല്യത്തിനനുസരിച്ച് AI കമ്പനികളിൽ നിന്ന് പണം ഈടാക്കാൻ പബ്ലിഷർമാരെ അനുവദിക്കുന്നു.
• കാര്യക്ഷമത വർദ്ധിപ്പിക്കുന്നു: മാറ്റമില്ലാത്ത വെബ് പേജുകൾ വീണ്ടും ശേഖരിക്കുന്നതിനായി പാഴാകുന്ന 50% AI ക്രോൾ ട്രാഫിക് കുറയ്ക്കുക എന്നതാണ് പുതിയ നയത്തിന്റെ ലക്ഷ്യം.