Cloudflare തങ്ങളുടെ പുതിയ AI-ക്രോളർ ലൈസൻസിംഗ് മോഡൽ ജൂലൈ 1-ന് അവതരിപ്പിച്ചു. പഴയ "pay-per-crawl" രീതിക്ക് പകരം, ഒരു ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് സർവീസ് ഒരു പേജ് വായിക്കുമ്പോഴെല്ലാം ചാർജ് ചെയ്യുന്ന "pay-per-use" സംവിധാനമാണ് ഇതിലൂടെ നടപ്പിലാക്കുന്നത്. ഈ മാറ്റം വെറുമൊരു വില ക്രമീകരണം മാത്രമല്ല – പൊതുവായ വെബ്ബ് ആർക്കൊക്കെ, ഏത് നിബന്ധനകളോടെ ഉപയോഗിക്കാം എന്ന് തീരുമാനിക്കാനുള്ള അധികാരം ഒരു സ്വകാര്യ കമ്പനിക്ക് നൽകുകയാണ് ഇത് ചെയ്യുന്നത്.
ഈ മാറ്റം പ്രധാനമാകുന്നത് എന്തുകൊണ്ട്
വർഷങ്ങളായി Cloudflare-ന്റെ സൗജന്യ സേവനം (free tier) ദശലക്ഷക്കണക്കിന് സൈറ്റുകൾക്ക് അവരുടെ പെർഫോമൻസ് വർദ്ധിപ്പിക്കാനും അനാവശ്യ ട്രാഫിക് തടയാനും കുറഞ്ഞ ചിലവിൽ സഹായിച്ചിരുന്നു. ഒരു ബോട്ട് ഒരു പേജ് എടുക്കുമ്പോൾ (fetch), ഓപ്പറേറ്റർ ഓരോ ക്രോളിനും നിശ്ചിത തുക നൽകണമായിരുന്നു. പുതിയ മോഡൽ ഈ ബന്ധത്തെ തിരുത്തിക്കുറിക്കുന്നു: ഓരോ തവണ ഒരു AI മോഡൽ ഉള്ളടക്കം ഉപയോഗിക്കുമ്പോഴും പബ്ലിഷർമാർക്ക് പണം ലഭിക്കും. ഉപരിതലത്തിൽ ഇത് സൈറ്റ് ഉടമകൾക്ക് വലിയ നേട്ടമായി തോന്നാം; തങ്ങളുടെ അധ്വാനത്തിലൂടെ വളരുന്ന AI വിപണിയിൽ നിന്ന് അവർക്ക് ഒടുവിൽ ഒരു വിഹിതം ലഭിക്കുന്നു.
ഈ മോഡൽ AI ക്രോളർമാർക്കായി Search, Agent, Training എന്നിങ്ങനെ മൂന്ന് പുതിയ വിഭാഗങ്ങൾ അവതരിപ്പിക്കുന്നു. ഒരു ബോട്ടിനെ ഈ വിഭാഗങ്ങളിൽ ഏതിലേക്ക് ഉൾപ്പെടുത്തണം എന്ന അധികാരം Cloudflare-ന്റെ ഉൽപ്പന്ന മാനദണ്ഡങ്ങളിൽ (product specifications) കൃത്യമായി നിശ്ചയിച്ചിരിക്കുന്നു. ഒരു റിസർച്ച് ബോട്ട് യഥാർത്ഥത്തിൽ ഒരു "Agent" ആണോ അതോ ഒരു "Training" ബോട്ട് ആണോ എന്നും, ഒരു ചെറിയ ടീമിന്റെ ടൂൾ ഒരു "Search" സർവീസാണോ അതോ "unlicensed thief" ആണോ എന്നും കമ്പനി തീരുമാനിക്കുന്നു. ഈ വർഗ്ഗീകരണങ്ങളാണ് നിരക്കുകൾ നിശ്ചയിക്കുന്നത്. കൂടാതെ, സെപ്റ്റംബർ 15 മുതൽ, പരസ്യം കാണിക്കുന്ന പേജുകളിൽ ഇത്തരം ബോട്ട് വരുന്നത് പൂർണ്ണമായും തടയാനും ഈ വർഗ്ഗീകരണങ്ങൾ കാരണമാകും.
നിയന്ത്രണത്തിന്റെ രീതികൾ
- മൂന്ന് വിഭാഗങ്ങൾ, ഒരു കാവൽക്കാരൻ – ഈ മൂന്ന് ഗ്രൂപ്പുകളെ Cloudflare മാത്രം നിർവചിക്കുന്നു. ഇതിന് പുറമെ ഒരു ബാഹ്യ മാനദണ്ഡ സംഘടനയോ, വ്യവസായ കൂട്ടായ്മയോ, പൊതു കൂടിയോ ഇല്ല. ഒരു ബോട്ട് "Training" വിഭാഗത്തിൽ ഉൾപ്പെട്ടാൽ, അതിന്റെ പ്രവർത്തനം "Search" വിഭാഗത്തിലുള്ളതിന് സമാനമാണെങ്കിൽ പോലും ഉയർന്ന ഫീസ് നൽകേണ്ടി വരും.
- പരസ്യം ഉള്ള പേജുകളിൽ തടയൽ – സെപ്റ്റംബർ പകുതി മുതൽ, പരസ്യം ഉള്ള ഒരു പേജിൽ എത്തുന്ന ഏതൊരു മിക്സഡ്-യൂസ് ക്രോളറിനെയും Cloudflare-ന്റെ മാനദണ്ഡങ്ങൾ പാലിച്ചില്ലെങ്കിൽ പ്രവേശനം നിഷേധിക്കും. ഈ തടയൽ സ്വയമേവ സംഭവിക്കുന്നതാണ്; ഇതിൽ നിന്ന് രക്ഷപ്പെടാനുള്ള ഏക വഴി Cloudflare നിശ്ചയിച്ചിട്ടുള്ള നിരക്ക് നൽകുക എന്നതാണ്.
- കാത്തിരിപ്പടലമുള്ള ഒരു വിപണി – "ലൈസൻസുള്ള" വെബ്ബ് ഉപയോഗിക്കാനുള്ള അനുമതി ഇനി സാങ്കേതിക ശേഷിയിൽ മാത്രം ആശ്രയിച്ചല്ല ഇരിക്കുന്നത്. വലിയ തോതിൽ ക്രോൾ ചെയ്യാൻ ആഗ്രഹിക്കുന്ന കമ്പനികൾ Cloudflare-ന്റെ അംഗീകൃത പട്ടികയിൽ (approved list) ഇടംപിടിക്കാൻ അപേക്ഷിക്കണം. പട്ടികയിൽ ഇടം ലഭിക്കാത്തവർക്ക് മുന്നിൽ രണ്ട് കടുത്ത ഓപ്ഷനുകൾ മാത്രമേയുള്ളൂ: Cloudflare നിശ്ചയിക്കുന്ന വില അംഗീകരിക്കുക അല്ലെങ്കിൽ ഇന്റർനെറ്റിന്റെ വലിയൊരു ഭാഗം സ്ക്രാപ്പ് ചെയ്യാനുള്ള കഴിവ് നഷ്ടപ്പെടുത്തുക.
- വോട്ട് ഇല്ലാതെ വരുമാനം – പണം ലഭിക്കുന്ന സൈറ്റ് ഉടമകൾക്ക് ഈ വിഭാഗങ്ങൾ എങ്ങനെ നിശ്ചയിക്കണം എന്നതിലോ, നിരക്കുകൾ എങ്ങനെ മാറണം എന്നതിലോ, അല്ലെങ്കിൽ വൈറ്റ്ലിസ്റ്റിൽ (whitelist) ആരെ ഉൾപ്പെടുത്തണം എന്നതിലോ അഭിപ്രായം പറയാൻ അവകാശമില്ല. വിലനിർണ്ണയവും "അംഗീകരിക്കപ്പെട്ട" ക്രോളിംഗ് എന്ന നിർവചനവും ഒരു പൊതു നയമല്ല, മറിച്ച് ഒരു കോർപ്പറേറ്റ് ഉൽപ്പന്ന മാനദണ്ഡമാണ്.
ആർക്കാണ് നേട്ടം, ആർക്കാണ് നഷ്ടം
പബ്ലിഷർമാർ – ഇതിന്റെ ഉടനടിയുള്ള നേട്ടം പുതിയൊരു വരുമാന മാർഗ്ഗമാണ്. ഓരോ തവണ ഒരു AI മോഡൽ ഒരു ലേഖനം വായിക്കുമ്പോഴും സൈറ്റ് ഉടമയ്ക്ക് പണം ലഭിക്കും. ട്രാഫിക്കിൽ നിന്ന് വരുമാനം കണ്ടെത്താൻ ബുദ്ധിമുട്ടുന്ന ചെറിയ പബ്ലിഷർമാരെ സംബന്ധിച്ചിടത്തോളം ഈ പണമൊഴുക്ക് വലിയ സഹായമാകും.
AI ഡെവലപ്പർമാരും ഗവേഷകരും – Cloudflare-ന്റെ നിരക്കുകൾ താങ്ങാൻ കഴിയുന്നവർക്കും വൈറ്റ്ലിസ്റ്റിൽ ഇടം ലഭിക്കുന്നവർക്കും വലിയ തോതിൽ മോഡലുകൾ പരിശീലിപ്പിക്കാനും പ്രവർത്തിപ്പിക്കാനും സാധിക്കും.
സ്റ്റാർട്ടപ്പുകൾ, ഓപ്പൺ സോഴ്സ് പ്രോജക്റ്റുകൾ, സ്വതന്ത്ര ഗവേഷകർ – വൈറ്റ്ലിസ്റ്റിൽ ഇടം ലഭിച്ചില്ലെങ്കിൽ, അവർക്ക് ഒന്നുകിൽ Cloudflare നിശ്ചയിക്കുന്ന നിരക്ക് നൽകേണ്ടി വരും, അല്ലെങ്കിൽ വെബിന്റെ വലിയൊരു ഭാഗം ഉപയോഗിക്കാൻ കഴിയാതെ വരും.
വിപുലമായ ഇന്റർനെറ്റ് ഇക്കോസിസ്റ്റം – പൊതു വെബ്ബ് ഉപയോഗിക്കുന്നത് ഒരു ലൈസൻസുള്ള സേവനമാക്കി മാറ്റുന്നതിലൂടെ, പണ്ട് നിയന്ത്രണങ്ങൾ കുറവായിരുന്ന ഒരു അന്തരീക്ഷത്തിൽ നിലനിന്നിരുന്ന "ഡിജിറ്റൽ ഗേറ്റ്കീപ്പിംഗ്" (digital gatekeeping) Cloudflare തന്റെ കൈപ്പിടിയിലാക്കുന്നു.
ദൗർലഭ്യത്തിന്റെ മറഞ്ഞിരിക്കുന്ന വില
സ്പാം, സ്ക്രാപ്പിംഗ്, ബാൻഡ്വിഡ്ത്ത് ദുരുപയോഗം എന്നിവയ്ക്കെതിരെയുള്ള പ്രതിരോധ നടപടിയായാണ് ബോട്ട് തടയുന്നതിനെ കാലങ്ങളായി കാണുന്നത്. എന്നാൽ Cloudflare-ന്റെ പുതിയ മോഡലിൽ, ഈ തടയൽ എന്നത് അവരുടെ സ്വാധീനം പ്രകടിപ്പിക്കാനുള്ള ഒരു മാർഗ്ഗമാണ്; യഥാർത്ഥ ഉൽപ്പന്നം ഓരോ പേജ് വ്യൂവും അളക്കുകയും അതിന് വില നിശ്ചയിക്കുകയും ചെയ്യുന്ന മീറ്റർ ആണ്. ആർക്കും ഒരേസമയം ദൗർലഭ്യം സൃഷ്ടിക്കാൻ കമ്പനിക്ക് സാധിക്കും, കാരണം ആ പ്രവേശനവും വിൽക്കുന്ന വിപണിയും അവർ തന്നെ നിയന്ത്രിക്കുന്നു.
ഇന്നത്തെ വെബ് ട്രാഫിക്കിനെ ആകർഷിച്ച സൗജന്യ സേവനം ഒരിക്കലും ഒരു ജീവകാരുണ്യ പ്രവർത്തനമായിരുന്നില്ല. അത് Cloudflare-ന് വിപണിയിൽ ആധിപത്യം നേടിക്കൊടുക്കാനുള്ള ഒരു തന്ത്രപരമായ നീക്കമായിരുന്നു. ആ ആധിപത്യം പിന്നീട് ലൈസൻസിംഗ് മോഡലിലൂടെ പണമാക്കി മാറ്റാൻ അവർക്ക് കഴിഞ്ഞു. ഒരിക്കൽ പേജ് ലോഡിംഗ് വേഗത്തിലാക്കാൻ സഹായിച്ച അതേ ഇൻഫ്രാസ്ട്രക്ചർ തന്നെയാണ് ഇപ്പോൾ ആ പേജുകൾ ആർക്ക് വായിക്കാം എന്ന് തീരുമാനിക്കുന്നത്.
വിപരീത വാദം: AI-ക്ക് ഇന്ധനമാകുന്ന ഉള്ളടക്കത്തിന് പണം നൽകുന്നതിനെക്കുറിച്ച്
പുതിയ സംവിധാനത്തിന് അനുകൂലമായ വാദം ലളിതമാണ്: സ്രഷ്ടാക്കൾക്ക് പ്രതിഫലം നൽകാതെ തന്നെ പൊതുവായി ലഭ്യമായ ടെക്സ്റ്റ്, ചിത്രങ്ങൾ, കോഡ് എന്നിവയിൽ നിന്ന് AI ഡെവലപ്പർമാർ ലാഭം കൊയ്യുന്നു. Cloudflare-ന്റെ മോഡൽ ഒരു പേയ്മെന്റ് ലൂപ്പ് നിർബന്ധിതമാക്കുന്നു, ഇത് ഉയർന്ന നിലവാരമുള്ള ഉള്ളടക്കത്തിന് പ്രോത്സാഹനം നൽകാനും AI സമ്പദ്വ്യവസ്ഥയിൽ പബ്ലിഷർമാർക്ക് പങ്കാളിത്തം നൽകാനും സഹായിച്ചേക്കാം. കൂടാതെ, സാധാരണ സെർച്ച് ബോട്ടുകളെയും വൻതോതിലുള്ള ഡാറ്റാ ശേഖരണ പ്രവർത്തനങ്ങളെയും വേർതിരിച്ചറിയാൻ ഇത് വ്യക്തവും നടപ്പിലാക്കാൻ കഴിയുന്നതുമായ ഒരു മാർഗ്ഗം നൽകുന്നു, ഇത് ദുരുപയോഗം തടയാൻ സഹായിച്ചേക്കാം.
എന്നിരുന്നാലും, ഈ ഗുണങ്ങൾ നിയമങ്ങൾ ഏകപക്ഷീയമായി നിശ്ചയിക്കപ്പെടുന്നു എന്ന വസ്തുതയെ ഇല്ലാതാക്കുന്നില്ല. വരുമാന വിഹിതം മികച്ചതാണെങ്കിൽ പോലും, ഒരു ജനാധിപത്യ പ്രക്രിയയുടെ അഭാവം കൊണ്ട്, വിഭാഗങ്ങൾ ഏകപക്ഷീയമാണെന്ന് തെളിയുകയോ നിരക്കുകൾ ചൂഷണപരമാവുകയോ ചെയ്താൽ പൊതുജനങ്ങൾക്ക് മറ്റ് മാർഗങ്ങളില്ല. ഈ മോഡൽ, അദൃശ്യമായ ഒരു തീരുമാനത്തിന് (ad-blocking heuristics) പകരം സാമ്പത്തികമായി കൂടുതൽ പ്രത്യാഘാതങ്ങൾ ഉണ്ടാക്കുന്ന മറ്റൊരു തീരുമാനത്തെയാണ് കൊണ്ടുവരുന്നത്.
ഇനി ശ്രദ്ധിക്കേണ്ട കാര്യങ്ങൾ
ചുരുക്കം
Cloudflare-ന്റെ ജൂലൈ 1-ലെ നിരക്ക് പരിഷ്കരണം, ഒരു വെബ് പേജ് വായിക്കുന്നത് ലൈസൻസി योग्यമായ ഒരു ഇടപാടായി മാറ്റുന്നു; ഇവിടെ ഒരു സ്വകാര്യ കമ്പനിയാണ് നിയമങ്ങൾ എഴുതുന്നതും ഫീസ് ശേഖരിക്കുന്നതും. AI അധിഷ്ഠിത ഉപയോഗത്തിൽ നിന്ന് പബ്ലിഷർമാർക്ക് ഒടുവിൽ പണം ലഭിക്കുന്നുണ്ടെങ്കിലും, ഇതിന്റെ വലിയ പ്രത്യാഘാതം ഡിജിറ്റൽ ഗേറ്റ്കീപ്പിംഗിന്റെ (digital gatekeeping) പുതിയൊരു രൂപമാണ്. ഇത് പൊതു ഇന്റർനെറ്റ് ആർക്ക്, ഏത് നിബന്ധനകളിൽ ഉപയോഗിക്കാം എന്നതിനെ പുനർനിർണ്ണയിക്കുന്നു. യഥാർത്ഥ വിഷയം വിലയല്ല; മറിച്ച്, തുറന്നതാണെന്ന് കാലങ്ങളായി കരുതപ്പെട്ടിരുന്ന ഒരു മേഖലയിലെ നിയന്ത്രണങ്ങൾ കേന്ദ്രീകരിക്കപ്പെടുന്നു എന്നതാണ്.