Cloudflare એ 1 જુલાઈના રોજ તેનું AI-ક્રોલર લાયસન્સિંગ મોડલ લોન્ચ કર્યું છે, જેમાં તેના જૂના "pay-per-crawl" સ્કીમને બદલે "pay-per-use" સિસ્ટમ અમલમાં મૂકી છે, જે દરેક વખતે જ્યારે કોઈ આર્ટિફિશિયલ-ઇન્ટેલિજન્સ સર્વિસ પેજ વાંચે ત્યારે ચાર્જ લે છે. આ ફેરફાર માત્ર કિંમતમાં ફેરફાર નથી – તે એક ખાનગી કંપનીને એ નક્કી કરવાની શક્તિ આપે છે કે જાહેર વેબ (public web) નો ઉપયોગ કોણ અને કઈ શરતો પર કરી શકે છે.

આ ફેરફાર શા માટે મહત્વનો છે

વર્ષોથી Cloudflare ના ફ્રી ટિયરે લાખો સાઇટ્સને પર્ફોર્મન્સ વધારવા અને બિનજરૂરી ટ્રાફિકને રોકવા માટે સસ્તો માર્ગ આપ્યો હતો. જ્યારે કોઈ બોટ પેજ ફેચ (fetch) કરતું, ત્યારે ઓપરેટર દરેક ક્રોલ દીઠ નિશ્ચિત ફી ચૂકવતો હતો. નવું મોડલ આ સંબંધને ઉલટાવી દે છે: જ્યારે પણ કોઈ AI મોડલ તેમનું કન્ટેન્ટ વાપરે છે, ત્યારે પ્રકાશકોને (publishers) ચુકવણી મળે છે. ઉપરછલ્લી રીતે જોતા આ સાઇટ માલિકો માટે ફાયદાકારક લાગે છે, જેમને આખરે AI ના વધતા જતા હિસ્સામાંથી પોતાનો ભાગ મળશે, જે તેમના જ કામના આધારે વધી રહ્યો છે.

આ મોડલ AI ક્રોલર્સ માટે ત્રણ નવી શ્રેણીઓ પણ રજૂ કરે છે – Search, Agent, અને Training – અને બોટને આમાંથી કોઈપણ શ્રેણીમાં મૂકવાની સત્તા સીધી Cloudflare ના પ્રોડક્ટ સ્પેસિફિકેશન્સમાં આપી દીધી છે. કંપની નક્કી કરે છે કે રિસર્ચ બોટ એ કાયદેસરનો “Agent” છે કે “Training” બોટ, અથવા કોઈ નાની ટીમનું ટૂલ “Search” સર્વિસ છે કે “બિન-લાઇસન્સ ધરાવતો ચોર.” આ વર્ગીકરણ દ્વારા લાગુ પડતા દરો નક્કી થાય છે અને 15 સપ્ટેમ્બરથી, જાહેરાતો દર્શાવતા પેજ પર બોટને સીધો જ બ્લોક કરી દેવામાં આવશે કે નહીં તે પણ નક્કી થશે.

નિયંત્રણની પદ્ધતિઓ

  • ત્રણ શ્રેણીઓ, એક ગેટકીપર – Cloudflare એકલી આ ત્રણ જૂથોને વ્યાખ્યાયિત કરે છે. કોઈ બાહ્ય સ્ટાન્ડર્ડ બોડી નથી, કોઈ ઇન્ડસ્ટ્રી કન્સોર્ટિયમ નથી, કે કોઈ જાહેર પરામર્શ નથી. “Training” શ્રેણીમાં આવતા બોટ માટે “Search” તરીકે ઓળખાતા બોટ કરતા વધુ ફી ચૂકવવી પડશે, ભલે તેની પાછળની પ્રવૃત્તિ લગભગ સમાન હોય.
  • જાહેરાત આધારિત પેજ પર ડિફોલ્ટ બ્લોકિંગ – સપ્ટેમ્બરના મધ્યથી, કોઈપણ મિશ્ર-ઉપયોગ કરતો ક્રોલર જે જાહેરાતોવાળા પેજ પર આવશે, તેને એક્સેસ denied કરવામાં આવશે, સિવાય કે તે Cloudflare ના માપદંડો પૂરા કરે. આ બ્લોક આપમેળે થશે; તેનાથી બચવાનો એકમાત્ર રસ્તો Cloudflare દ્વારા તે શ્રેણી માટે નક્કી કરેલા દરો ચૂકવવાનો છે.
  • વેઇટિંગ લિસ્ટ સાથેનું માર્કેટપ્લેસ – “લાઇસન્સ ધરાવતા” વેબનો એક્સેસ હવે માત્ર ટેકનિકલ ક્ષમતા પર આધારિત નથી. જે કંપનીઓ મોટા પાયે ક્રોલ કરવા માંગે છે તેમણે Cloudflare ની મંજૂર યાદીમાં આવવા માટે અરજી કરવી પડશે. જેઓ બહાર રહી જશે તેમની પાસે બે કડક વિકલ્પો છે: Cloudflare દ્વારા નક્કી કરેલી કિંમત સ્વીકારવી અથવા ઇન્ટરનેટના મોટા ભાગને સ્ક્રેપ કરવાની ક્ષમતા ગુમાવવી.
  • મત આપ્યા વગરની આવક – જે સાઇટ માલિકોને ચુકવણી મળે છે, તેમને શ્રેણીઓ કેવી રીતે નક્કી કરવામાં આવે છે, દરો કેવી રીતે બદલાય છે, અથવા વ્હાઇટલિસ્ટમાં કોણ સામેલ થશે તે બાબતે કોઈ કહેવાનો અધિકાર નથી. કિંમતનું માળખું અને “સ્વીકાર્ય” ક્રોલિંગની વ્યાખ્યા એક કોર્પોરેટ પ્રોડક્ટ સ્પેક પાછળ છે, જાહેર નીતિ પ્રક્રિયા પાછળ નહીં.

કોને ફાયદો થશે અને કોનું નુકસાન થશે

Publishers (પ્રકાશકો) – તાત્કાલિક ફાયદો એ આવકનો નવો સ્ત્રોત છે. જ્યારે પણ કોઈ AI મોડલ લેખ વાંચે છે, ત્યારે સાઇટ માલિકને ચુકવણી મળે છે. નાના પ્રકાશકો માટે જેઓ ટ્રાફિકમાંથી નાણાં કમાવવા માટે સંઘર્ષ કરી રહ્યા છે, તેમના માટે આ રોકડ પ્રવાહ મહત્વપૂર્ણ હોઈ શકે છે.

AI developers અને researchers – જેઓ Cloudflare ના દરો પરવડી શકે છે અને વ્હાઇટલિસ્ટમાં સ્થાન મેળવી શકે છે તેઓ મોટા પાયે મોડલ્સને તાલીમ આપવાનું અને ચલાવવાનું ચાલુ રાખશે.

Start-ups, open-source projects, અને independent researchers – વ્હાઇટલિસ્ટમાં સ્થાન વિના, તેમણે કાં તો Cloudflare દ્વારા નક્કી કરેલા દરો ચૂકવવા પડશે અથવા વેબના મોટા ભાગનો એક્સેસ ગુમાવવો પડશે.

વિશાળ ઇન્ટરનેટ ઇકોસિસ્ટમ – જાહેર વેબના એક્સેસને લાયસન્સપાત્ર સેવામાં ફેરવીને, Cloudflare એક પ્રકારનું “ડિજિટલ ગેટકીપિંગ” કેન્દ્રિત કરે છે જે પરંપરાગત રીતે ઓછા નિયમનકારી અને બહુવિધ એક્ટર્સ ધરાવતા વાતાવરણનું હતું.

અછતની છુપી કિંમત

બોટ્સને બ્લોક કરવાને લાંબા સમયથી સ્પામ, સ્ક્રેપિંગ અને બેન્ડવિડ્થના દુરુપયોગ સામે રક્ષણાત્મક પગલા તરીકે જોવામાં આવતું હતું. Cloudflare ના નવા મોડલમાં, આ બ્લોક એ તેની પકડ (leverage) દર્શાવવાનું સાધન છે; વાસ્તવિક પ્રોડક્ટ એ મીટર છે જે દરેક પેજ વ્યુ માપે છે અને તેની સાથે કિંમત જોડે છે. કંપની એકસાથે દરેક માટે અછત ઊભી કરી શકે છે, કારણ કે તે એ માર્કેટપ્લેસ પણ ચલાવે છે જે એક્સેસ વેચે છે.

આજના મોટાભાગના વેબ ટ્રાફિકને આકર્ષતું ફ્રી ટિયર ક્યારેય દાન નહોતું. તે એક વ્યૂહાત્મક પ્રવેશ બિંદુ હતું જેણે Cloudflare ને બજારમાં પ્રભુત્વ આપ્યું, જેનાથી તે પાછળથી લાયસન્સિંગ મોડલ દ્વારા તે પ્રભુત્વનું નાણાં કમાઈ શક્યું. હવે એ જ ઇન્ફ્રાસ્ટ્રક્ચર જેણે એક સમયે પેજ લોડિંગને ઝડપી અને લોકશાહી બનાવી દીધું હતું, તે હવે નક્કી કરે છે કે તે પેજ કોણ વાંચી શકે છે.

વિરોધ પક્ષ: AI ને પૂરું પાડતા કન્ટેન્ટ માટે ચૂકવણી કરવી

નવી પ્રણાલીના પક્ષમાં દલીલ સરળ છે: AI ડેવલપર્સ સર્જકોને વળતર આપ્યા વિના સાર્વજનિક રીતે ઉપલબ્ધ ટેક્સ્ટ, ઈમેજ અને કોડનો ઉપયોગ કરીને નફો કરી રહ્યા છે. Cloudflare નું મોડેલ એક પેમેન્ટ લૂપ ફરજિયાત બનાવે છે જે ઉચ્ચ-ગુણવત્તાયુક્ત સામગ્રીને પ્રોત્સાહિત કરી શકે છે અને પ્રકાશકોને AI અર્થતંત્રમાં હિસ્સો આપી શકે છે. તે સામાન્ય સર્ચ બોટ્સ અને મોટા પાયે ડેટા-હાર્વેસ્ટિંગ કામગીરી વચ્ચે તફાવત કરવા માટે એક સ્પષ્ટ અને અમલી બનાવી શકાય તેવો માર્ગ પણ પૂરો પાડે છે, જે સંભવિત રીતે દુરુપયોગને અટકાવી શકે છે.

જોકે, તે ફાયદા એ હકીકતને ભૂંસી શકતા નથી કે નિયમો એકપક્ષીય રીતે નક્કી કરવામાં આવ્યા છે. જો આવકનો હિસ્સો ઉદાર હોય તો પણ, લોકશાહી પ્રક્રિયાના અભાવનો અર્થ એ છે કે જો શ્રેણીઓ મનસ્વી સાબિત થાય અથવા જો દરો શોષણખોર બની જાય, તો જનતા પાસે કોઈ ઉપાય નથી. આ મોડેલ અસ્પષ્ટ નિર્ણયોના એક સેટ (ad-blocking heuristics) ને બદલે બીજા, વધુ નાણાકીય રીતે ગંભીર નિર્ણયોના સેટ સાથે બદલાવ કરે છે.

આગળ શું જોવું

મુખ્ય સારાંશ

Cloudflare દ્વારા ૧ જુલાઈના રોજ કરવામાં આવેલ કિંમતમાં મોટો ફેરફાર વેબ પેજ વાંચવાની પ્રક્રિયાને લાયસન્સપાત્ર વ્યવહારમાં ફેરવી દે છે, જેમાં એક ખાનગી કંપની નિયમો લખે છે અને ફી વસૂલ કરે છે. જ્યારે પ્રકાશકોને આખરે AI-સંચાલિત વપરાશમાંથી નાણાં મળે છે, ત્યારે તેનો વ્યાપક પરિણામ ડિજિટલ ગેટકીપિંગનું એક નવું સ્વરૂપ છે જે જાહેર ઇન્ટરનેટ કોણ અને કઈ શરતો પર એક્સેસ કરી શકે છે તેને નવું સ્વરૂપ આપે છે. વાસ્તવિક વાર્તા કિંમત વિશે નથી; તે એવા ક્ષેત્રમાં નિયંત્રણના કેન્દ્રીકરણ વિશે છે જેને લાંબા સમયથી ખુલ્લું માનવામાં આવતું હતું.