വെബിനെ ലൈസൻസ് ചെയ്യാൻ തുടങ്ങുന്ന ഈ കമ്പനിയെ ആർക്കും വോട്ട് ചെയ്ത് തിരഞ്ഞെടുത്തതല്ല

Cloudflare ജൂലൈ 1-ന് പുതിയൊരു വിലനിർണ്ണയ ഘടന അവതരിപ്പിച്ചു. അവരുടെ കാലങ്ങളായുള്ള "pay-per-crawl" മാതൃകയ്ക്ക് പകരം, ഓരോ തവണ ഒരു AI സിസ്റ്റം ഉള്ളടക്കം ഉപയോഗിക്കുമ്പോഴും പബ്ലിഷർമാർക്ക് പണം നൽകുന്ന "pay-per-use" പദ്ധതിയാണ് അവർ കൊണ്ടുവന്നത്. സെപ്റ്റംബർ 15 മുതൽ പ്രാബല്യത്തിൽ വരുന്ന ഈ മാറ്റത്തിലൂടെ, പരസ്യങ്ങൾ അടങ്ങിയ പേജുകളിൽ മിക്സഡ്-യൂസ് (mixed-use) ക്രൗളറുകളെ സ്വയമേവ തടയുന്ന സംവിധാനവും അവർ നടപ്പിലാക്കി. ഈ മാറ്റം CDN, സെക്യൂരിറ്റി സേവനദാതാവായ Cloudflare-നെ, ആർക്കൊക്കെ വെബ് വായിക്കാം എന്നും ഏത് നിബന്ധനകളോടെ വേണമെന്നും തീരുമാനിക്കുന്ന ഒരു യഥാർത്ഥ ഗേറ്റ്‌കീപ്പർ (de-facto gatekeeper) ആക്കി മാറ്റുന്നു. ഇത് AI പരിശീലനത്തിന്റെ സാമ്പത്തിക വ്യവസ്ഥയെയും ഇന്റർനെറ്റ് ആവാസവ്യവസ്ഥയെയും മാറ്റിമറിച്ചേക്കാം.

ഈ വിലനിർണ്ണയ മാറ്റം പ്രധാനമാകുന്നത് എന്തുകൊണ്ട്?

പഴയ രീതിയിൽ, ഒരു പേജ് ശേഖരിക്കാൻ ആഗ്രഹിക്കുന്ന ഒരു ബോട്ട് ഓരോ റിക്വസ്റ്റിനും Cloudflare-ന് ഫീസ് നൽകണമായിരുന്നു. ഈ ഫീസ് ലഭിച്ചിരുന്നത് Cloudflare-ന് ആയിരുന്നു, സൈറ്റ് ഉടമയ്ക്കല്ല. പുതിയ മാതൃക ഈ പ്രവാഹത്തെ തിരിച്ചിടുന്നു: ഒരു AI മോഡൽ ഒരു പേജ് ആക്സസ് ചെയ്യുമ്പോൾ, പബ്ലിഷർക്ക് Cloudflare-ൽ നിന്ന് പണം ലഭിക്കുന്നു. പണം ലഭിക്കുന്നു എന്നത് നല്ല കാര്യമാണ്; ഇത് സൈറ്റ് ഉടമകൾക്ക് വരുമാനം നൽകുന്നു.

എന്നാൽ, ഒരു AI ക്രൗളർ നിർമ്മിക്കുന്ന ആരെയും ഈ മാറ്റം ഉടനടി ബാധിക്കും. ഒരു ക്രൗളർ "മിക്സഡ് യൂസ്" (mixed use) ആയി തരംതിരിക്കപ്പെട്ടാൽ - അതായത് സെർച്ചിനായി പേജുകൾ ഇൻഡക്സ് ചെയ്യുകയും ഒപ്പം പരിശീലനത്തിനായി ഉള്ളടക്കം ശേഖരിക്കുകയും ചെയ്യുന്നുണ്ടെങ്കിൽ - പരസ്യങ്ങൾ നൽകുന്ന ഏത് പേജിലും Cloudflare അത് ഡിഫോൾട്ട് ആയി തടയും. ആക്സസ് ലഭിക്കുന്നതിന്, ഓപ്പറേറ്റർ ഒന്നുകിൽ Cloudflare-ന്റെ നിരക്ക് നൽകണം, അല്ലെങ്കിൽ ആ പേജുകൾ തടയപ്പെട്ടതായി അംഗീകരിക്കണം.

ഈ മാറ്റത്തിന് പിന്നിലെ നയപരമായ ഘടന

Cloudflare-ന്റെ ഉൽപ്പന്ന സ്പെസിഫിക്കേഷൻ AI ക്രൗളറുകളെ മൂന്ന് വിഭാഗങ്ങളായി തിരിച്ചിരിക്കുന്നു:

  • Search – ഒരു സെർച്ച് എഞ്ചിൻ പ്രവർത്തിപ്പിക്കാനായി പേജുകൾ ഇൻഡക്സ് ചെയ്യുന്ന ബോട്ടുകൾ.
  • Agent – ഒരു സംഭാഷണ AI-ക്കോ (conversational AI) സമാനമായ ഏജന്റിനോ വേണ്ടി വിവരങ്ങൾ ശേഖരിക്കുന്ന ബോട്ടുകൾ.
  • Training – ഒരു മെഷീൻ ലേണിംഗ് മോഡലിനെ പരിശീലിപ്പിക്കുന്നതിനായി ടെക്സ്റ്റ്, ചിത്രങ്ങൾ അല്ലെങ്കിൽ മറ്റ് ഡാറ്റകൾ ശേഖരിക്കുന്ന ബോട്ടുകൾ.

ഈ വർഗ്ഗീകരണം നിയമത്താലോ വ്യവസായ മാനദണ്ഡങ്ങളാലോ നിശ്ചയിക്കപ്പെട്ടതല്ല; Cloudflare-ന്റെ ആഭ്യന്തര ടീമാണ് ഇത് തീരുമാനിക്കുന്നത്. ഓരോ ബോട്ടും ഏത് വിഭാഗത്തിൽ പെടുന്നു എന്നും ആ ടീം തീരുമാനിക്കുന്നു. ഉദാഹരണത്തിന്, ഒരു ഗവേഷണ ആവശ്യത്തിനായുള്ള ക്രൗളർ "ഏജന്റ്" ആണോ അതോ "ട്രെയിനർ" ആണോ എന്നും, അല്ലെങ്കിൽ ഒരു ആർക്കൈവൽ ബോട്ട് "സെർച്ച്" ബോട്ട് ആണോ എന്നും അവർ തീരുമാനിക്കുന്നു.

ഈ വർഗ്ഗീകരണം ഒരു ബോട്ട് തടയപ്പെടുമോ, എത്രത്തോളം ചാർജ് ചെയ്യപ്പെടും, പബ്ലിഷർക്ക് പണം ലഭിക്കുമോ എന്നിവയെ നേരിട്ട് ബാധിക്കുന്നു.

ആർക്കാണ് നേട്ടം, ആർക്കാണ് നഷ്ടം?

പബ്ലിഷർമാർ (Publishers)

സൈറ്റ് ഉടമകൾക്ക് ഇപ്പോൾ പുതിയൊരു വരുമാന മാർഗ്ഗം ലഭിക്കുന്നു. ഓരോ തവണ ഒരു AI മോഡൽ അവരുടെ ലേഖനം വായിക്കുമ്പോഴും Cloudflare അവർക്ക് പണം നൽകുന്നു.

AI ഡെവലപ്പർമാർ (AI developers)

വലിയതും വൈവിധ്യമാർന്നതുമായ ഡാറ്റാസെറ്റുകളെ ആശ്രയിക്കുന്ന സ്റ്റാർട്ടപ്പുകളും ഗവേഷണ ലാബുകളും ഇപ്പോൾ അധിക ചിലവുകൾ നേരിടേണ്ടി വരും. ഒരു ക്രൗളർ Cloudflare-ന്റെ അംഗീകൃത പട്ടികയിൽ ഇല്ലെങ്കിൽ, ഡെവലപ്പർ ഒന്നുകിൽ ഓരോ ഉപയോഗത്തിനും പണം നൽകണം, അല്ലെങ്കിൽ വെബിന്റെ വലിയൊരു ഭാഗം ഉപയോഗിക്കാൻ കഴിയാതെ വരും.

ലഭ്യതക്കുറവിന് പിന്നിലെ ബിസിനസ് ലോജിക്

Cloudflare-ന്റെ മാതൃക ഒരു വിപണി (marketplace) രൂപപ്പെടുത്തുന്നതിനായി ലഭ്യതക്കുറവ് (scarcity) സൃഷ്ടിക്കുന്നു. ഡിഫോൾട്ട് ആയി, പരസ്യങ്ങളുള്ള പേജുകളിൽ മിക്സഡ്-യൂസ് ബോട്ടുകൾ തടയപ്പെടുന്നു, ഇത് ഓരോ റിക്വസ്റ്റിനെയും പണം ഈടാക്കാവുന്ന ഒന്നാക്കി മാറ്റുന്നു. കമ്പനി എല്ലാ ബോട്ടുകളെയും തടയുകയാണെങ്കിൽ, അത് അവരുടെ സ്വന്തം വരുമാന മാർഗ്ഗത്തെ ഇല്ലാതാക്കും. അതിനാൽ, ഈ തിരഞ്ഞെടുക്കപ്പെട്ട തടയൽ അവരുടെ ലാഭത്തെ സംരക്ഷിക്കുകയും ബോട്ടുകൾ പ്രവർത്തിപ്പിക്കുന്നവരെ പണം നൽകുന്ന ഒരു ബന്ധത്തിലേക്ക് എത്തിക്കുകയും ചെയ്യുന്നു.

ഈ മാറ്റം Cloudflare-ന്റെ വലിയ സൗജന്യ ഉപഭോക്തൃ നിരയെയും (free-tier user base) പ്രയോജനപ്പെടുത്തുന്നു. സൗജന്യ പ്ലാൻ എളുപ്പത്തിൽ CDN, സെക്യൂരിറ്റി സേവനങ്ങൾ നൽകുന്നതുകൊണ്ട് ദശലക്ഷക്കണക്കിന് സൈറ്റുകൾ ഇതിൽ ചേർന്നു. ആ "സൗജന്യ" ആക്സസ് ഉപഭോക്താക്കളെ ആകർഷിക്കാനുള്ള ഒരു തന്ത്രമായിരുന്നു, അല്ലാതെ ഒരു ജീവകാരുണ്യ പ്രവർത്തനം ആയിരുന്നില്ല. ഇപ്പോൾ ആ സൈറ്റുകൾ AI അവരുടെ ഉള്ളടക്കം ഉപയോഗിക്കുമ്പോൾ Cloudflare-ന് വരുമാനം നൽകുന്ന ഒരു ശൃംഖലയുടെ ഭാഗമാണ്. എന്നാൽ ആ സൈറ്റുകൾക്ക് വിലനിർണ്ണയത്തിലോ പണം ആർക്ക് ലഭിക്കണം എന്ന് തീരുമാനിക്കുന്ന നയങ്ങളിലോ യാതൊരു പങ്കുമില്ല.

ചുരുക്കത്തിൽ (Takeaway)

Cloudflare-ന്റെ ഈ pay-per-use പരിഷ്കരണം വെറുമൊരു പുതിയ വരുമാന മാർഗ്ഗം മാത്രമല്ല; ഏത് AI ക്രൗളറുകൾക്ക് വെബ് വായിക്കാം എന്ന് അടയാളപ്പെടുത്താനും ചാർജ് ചെയ്യാനും ഒടുവിൽ തീരുമാനിക്കാനുമുള്ള അധികാരം ഇത് കമ്പനിക്ക് നൽകുന്നു.