AI કંપનીઓને પ્રકાશકોને ચૂકવણી કરવા માટે મજબૂર કરવા માટે Cloudflare એ સમયમર્યાદા નક્કી કરી

Cloudflare એ પરંપરાગત સર્ચ ક્રોલિંગને AI તાલીમ અને એજન્ટિક સેવાઓથી અલગ કરવા માટે રચાયેલ એક સીમાચિહ્નરૂપ નીતિગત ફેરફારની જાહેરાત કરી છે. કડક નવા ડિફોલ્ટ સેટિંગ્સ લાગુ કરીને, એજ કમ્પ્યુટિંગ જાયન્ટનો ઉદ્દેશ્ય બૌદ્ધિક સંપત્તિનું રક્ષણ કરવાનો અને વેબ પ્રકાશકો માટે ટકાઉ આર્થિક ઇકોસિસ્ટમ બનાવવાનો છે.

"Mixed-Use" ક્રોલર્સનો અંત

વર્તમાન ડેટા-સ્ક્રેપિંગ સ્થિતિને સીધી પડકારતી એક ચાલમાં, Cloudflare એ "mixed-use" ક્રોલર્સના વધતા પ્રમાણને સંબોધવા માટે 15 સપ્ટેમ્બર, 2026 ની સમયમર્યાદા નક્કી કરી છે. આ એવા બોટ્સ છે જે પરંપરાગત સર્ચ ઇન્ડેક્સિંગને AI મોડેલ તાલીમ અને એજન્ટિક કાર્યો સાથે મિશ્રિત કરે છે. તે તારીખથી, Cloudflare ના ડિફોલ્ટ સેટિંગ્સ જાહેરાતો ધરાવતા કોઈપણ પેજને એક્સેસ કરતા આ હાઇબ્રિડ ક્રોલર્સને આપમેળે બ્લોક કરશે.

આ નીતિગત ફેરફાર તમામ નવા Cloudflare ગ્રાહકો, હાલના ગ્રાહકો દ્વારા બનાવવામાં આવેલી નવી સાઇટ્સ અને તમામ વર્તમાન ફ્રી-ટિયર વપરાશકર્તાઓ પર લાગુ થાય છે. તેનો ઉદ્દેશ્ય AI કંપનીઓને તેમના હેતુને સ્પષ્ટ કરવા માટે મજબૂર કરવાનો છે: જો કોઈ બોટ સર્ચ માટે સાઇટને ઇન્ડેક્સ કરવા માંગતું હોય, તો તે એક માર્ગ અનુસરે છે; જો તે Large Language Model (LLM) ને તાલીમ આપવા માટે ડેટા મેળવવા માંગતું હોય, તો તેણે બીજો માર્ગ અનુસરવો પડશે—જેમાં સંભવિતપણે વળતરની જરૂર પડે છે.

સર્ચ જાયન્ટના વર્ચસ્વને પડકારવું

આ નિર્ણય પાછળનું એક મહત્વનું કારણ મુખ્ય સર્ચ એન્જિન દ્વારા મેળવવામાં આવતો અયોગ્ય લાભ છે. Cloudflare એ ખાસ કરીને હાઇલાઇટ કર્યું કે વિશ્વનું સૌથી મોટું સર્ચ એન્જિન—જે વ્યાપકપણે Google તરીકે ઓળખાય છે—તેની પાસે હાલમાં તેના AI સ્પર્ધકો કરતા અંદાજે "2x વધુ માહિતી" નો એક્સેસ છે.

જોકે Google "Google Extended" ઓફર કરે છે જેથી પ્રકાશકો સર્ચ વિઝિબિલિટીને અસર કર્યા વિના AI તાલીમમાંથી બહાર નીકળી શકે (opt out), તેમ છતાં તેનું મુખ્ય Googlebot AI Overviews જેવી સુવિધાઓને સક્ષમ કરવા માટે વ્યાપકપણે ક્રોલ કરવાનું ચાલુ રાખે છે. Cloudflare ના હસ્તક્ષેપનો હેતુ સમાન તક પૂરી પાડવાનો છે, જે સુનિશ્ચિત કરે છે કે AI કંપનીઓ તેમના મોડેલ્સને મફતમાં તાલીમ આપવા માટે સર્ચ એન્જિનની વિશાળ ઇન્ડેક્સિંગ ક્ષમતાઓનો ઉપયોગ ન કરી શકે.

"Pay Per Use" મોડલ તરફ આગળ વધવું

માત્ર બ્લોક કરવા ઉપરાંત, Cloudflare સક્રિયપણે નવી કન્ટેન્ટ ઇકોનોમી માટે ઇન્ફ્રાસ્ટ્રક્ચર બનાવી રહ્યું છે. કંપની તેના "Pay Per Crawl" માર્કેટપ્લેસને વધુ અત્યાધુનિક "Pay Per Use" મોડેલમાં વિકસાવી રહી છે. આ માળખા હેઠળ, પ્રકાશકો AI કંપનીઓ પાસેથી માત્ર ડેટા મેળવવા માટે જ નહીં, પરંતુ જ્યારે તે કન્ટેન્ટ ખરેખર મૂલ્ય જનરેટ કરે છે ત્યારે પણ ચાર્જ કરી શકે છે.

આનું પરીક્ષણ કરવા માટે, Cloudflare Ceramic.ai અને You.com સાથે ભાગીદારી કરી રહ્યું છે. આ ભાગીદારી દ્વારા, જ્યારે પ્રકાશકોનું કન્ટેન્ટ Ceramic ના AI સર્ચ રિઝલ્ટમાં દેખાય અથવા જ્યારે You.com પ્રીમિયમ મટિરિયલનો ઉપયોગ કરે ત્યારે તેઓ સીધું વળતર મેળવી શકે છે. આ ફેરફાર વર્તમાન વેબની એક ગંભીર બિનકાર્યક્ષમતાને દૂર કરે છે: Cloudflare ના ડેટા દર્શાવે છે કે 50% થી વધુ AI ક્રોલર ટ્રાફિક બદલાયા વગરના પેજ ફરીથી મેળવવામાં વેડફાય છે, જે પ્રક્રિયા પ્રકાશકોના બેન્ડવિડ્થ અને AI કમ્પ્યુટ રિસોર્સિસ બંનેને નુકસાન પહોંચાડે છે.

AI લેન્ડસ્કેપ માટે આ શા માટે મહત્વનું છે

ઇન્ટરનેટ પર હવે માનવ ટ્રાફિક કરતા નોન-હ્યુમન (બિન-માનવ) ટ્રાફિક વધી રહ્યો હોવાથી, "બધું મફતમાં સ્ક્રેપ કરો" યુગ હવે અંત તરફ છે. Cloudflare નું આ પગલું વધુ નિયમિત અને વ્યવહારિક (transactional) વેબ તરફના સંક્રમણનો સંકેત આપે છે. AI ડેવલપર્સ માટે, આનો અર્થ એ છે કે અવરોધ વિનાના, શૂન્ય ખર્ચના ડેટા સંપાદનનો યુગ સમાપ્ત થઈ રહ્યો છે, જેના માટે લાંબા ગાળાની ડેટા વ્યવહારક્ષમતા સુનિશ્ચિત કરવા માટે કન્ટેન્ટ ક્રિએટર્સ સાથે વધુ પારદર્શક અને સહકારી સંબંધોની જરૂર પડશે.

મુખ્ય મુદ્દાઓ

• Default Blocking: 15 સપ્ટેમ્બર, 2026 થી, Cloudflare જાહેરાત-સહાયિત પેજ પરથી "mixed-use" ક્રોલર્સને બ્લોક કરવાનું ડિફોલ્ટ સેટિંગ રાખશે.
• Monetization Shift: Cloudflare "Pay Per Crawl" થી "Pay Per Use" મોડેલમાં પરિવર્તિત થઈ રહ્યું છે, જે પ્રકાશકોને કન્ટેન્ટના મૂલ્યના આધારે AI કંપનીઓ પાસેથી ચાર્જ કરવાની મંજૂરી આપે છે.
• Efficiency Gains: નવી નીતિનો ઉદ્દેશ્ય હાલમાં બદલાયા વગરના વેબ પેજ ફરીથી મેળવવામાં વેડફાતા 50% AI ક્રોલ ટ્રાફિકને ઘટાડવાનો છે.