उस कंपनी को किसी ने नहीं चुना जो अब वेब को लाइसेंस दे रही है

Cloudflare ने 1 जुलाई को एक नया मूल्य निर्धारण ढांचा (pricing structure) पेश किया, जिसमें अपने लंबे समय से चले आ रहे "pay-per-crawl" मॉडल को "pay-per-use" योजना से बदल दिया गया है, जो हर बार किसी AI सिस्टम द्वारा कंटेंट का उपयोग किए जाने पर प्रकाशकों (publishers) को भुगतान करती है। इस बदलाव में 15 सितंबर से विज्ञापन वाले पेजों पर "mixed-use crawlers" को स्वचालित रूप से ब्लॉक करने की सुविधा भी शामिल की गई है। यह बदलाव CDN और सुरक्षा प्रदाता को इस बात का वास्तविक द्वारपाल (de-facto gatekeeper) बना देता है कि कौन वेब को किन शर्तों पर पढ़ सकता है, एक ऐसा कदम जो AI ट्रेनिंग और व्यापक इंटरनेट इकोसिस्टम के अर्थशास्त्र को नया रूप दे सकता है।

मूल्य निर्धारण में यह बदलाव क्यों महत्वपूर्ण है

पुरानी प्रणाली के तहत, जो बॉट किसी पेज को फेच (fetch) करना चाहता था, वह प्रति अनुरोध Cloudflare को शुल्क देता था। यह शुल्क Cloudflare को जाता था, साइट मालिक को नहीं। नया मॉडल इस प्रवाह को उलट देता है: जब कोई AI मॉडल किसी पेज को एक्सेस करता है, तो प्रकाशक को Cloudflare से भुगतान प्राप्त होता है। भुगतान वाला हिस्सा अच्छा है। यह साइट मालिकों को पैसा देता है।

इसका व्यावहारिक प्रभाव तुरंत उन लोगों पर पड़ता है जो AI क्रॉलर बना रहे हैं। यदि क्रॉलर को "mixed use" के रूप में वर्गीकृत किया गया है — जिसका अर्थ है कि यह सर्च के लिए पेजों को इंडेक्स भी करता है और ट्रेनिंग के लिए कंटेंट भी निकालता है — तो Cloudflare विज्ञापन दिखाने वाले किसी भी पेज पर इसे डिफ़ॉल्ट रूप से ब्लॉक कर देता है। एक्सेस पाने के लिए, ऑपरेटर को या तो Cloudflare की दर का भुगतान करना होगा या यह स्वीकार करना होगा कि वे पेज पहुंच से बाहर हैं।

इस बदलाव के पीछे की नीतिगत रूपरेखा

Cloudflare का प्रोडक्ट स्पेसिफिकेशन AI क्रॉलर्स को तीन श्रेणियों में बांटता है:

  • Search – वे बॉट जो सर्च इंजन को चलाने के लिए पेजों को इंडेक्स करते हैं।
  • Agent – वे बॉट जो कन्वर्सेशनल AI या इसी तरह के एजेंट के लिए जानकारी प्राप्त करते हैं।
  • Training – वे बॉट जो मशीन-लर्निंग मॉडल को प्रशिक्षित करने के लिए टेक्स्ट, इमेज या अन्य डेटा इकट्ठा करते हैं।

यह वर्गीकरण कानून या किसी उद्योग मानक द्वारा निर्धारित नहीं है; Cloudflare की आंतरिक टीम इसे तय करती है। वही टीम प्रत्येक बॉट को एक श्रेणी में भी रखती है, उदाहरण के लिए कि क्या अनुसंधान-उन्मुख (research-oriented) क्रॉलर को "agent" माना जाए या "trainer," या क्या एक आर्काइवल बॉट को "search" बॉट माना जाए।

ये वर्गीकरण सीधे तौर पर इस बात को प्रभावित करते हैं कि क्या किसी बॉट को ब्लॉक किया जाएगा, उससे कितना शुल्क लिया जाएगा, और क्या प्रकाशक को भुगतान प्राप्त होगा।

किसे लाभ होगा और किसे नुकसान

प्रकाशक (Publishers)

साइट मालिकों को अब आय का एक नया स्रोत मिलता है। हर बार जब कोई AI मॉडल उनका लेख पढ़ता है, तो Cloudflare उन्हें भुगतान भेजता है।

AI डेवलपर्स

स्टार्टअप और रिसर्च लैब जो बड़े और विविध डेटासेट पर निर्भर हैं, उन्हें अब अतिरिक्त लागत का सामना करना पड़ेगा। यदि कोई क्रॉलर Cloudflare की स्वीकृत सूची में नहीं है, तो डेवलपर को या तो प्रति-उपयोग शुल्क देना होगा या वेब के एक बड़े हिस्से तक पहुंच खोनी होगी।

कमी (scarcity) के पीछे का व्यावसायिक तर्क

Cloudflare का मॉडल एक मार्केटप्लेस चलाने के लिए कमी (scarcity) पैदा करता है। डिफ़ॉल्ट रूप से, विज्ञापन वाले पेजों पर mixed-use बॉट्स को ब्लॉक कर दिया जाता है, जिससे हर अनुरोध एक बिल योग्य घटना (billable event) बन जाता है। यदि कंपनी सभी बॉट्स को ब्लॉक कर देती, तो यह अपने स्वयं के राजस्व प्रवाह को समाप्त कर देती। इसलिए, चयनात्मक ब्लॉकिंग (selective blocking) मुनाफे की रक्षा करती है और बॉट ऑपरेटरों को भुगतान करने वाले संबंध में आने के लिए मजबूर करती है।

यह बदलाव Cloudflare के विशाल फ्री-टियर यूजर बेस का भी लाभ उठाता है। लाखों साइटों ने साइन अप किया क्योंकि फ्री प्लान ने आसान CDN और सुरक्षा सेवाएं प्रदान की थीं। वह "मुफ्त" एक्सेस ग्राहक अधिग्रहण (customer-acquisition) की एक रणनीति थी, कोई दान नहीं। अब वे साइटें एक ऐसे नेटवर्क का हिस्सा हैं जो AI द्वारा उनके कंटेंट का उपयोग किए जाने पर Cloudflare के लिए राजस्व उत्पन्न करती हैं, लेकिन साइटों का मूल्य निर्धारण या उन नीतिगत श्रेणियों पर कोई नियंत्रण नहीं है जो यह तय करती हैं कि किसे भुगतान किया जाएगा।

निष्कर्ष

Cloudflare का pay-per-use ओवरहाल केवल राजस्व की एक नई लाइन जोड़ने से कहीं अधिक है; यह कंपनी को लेबल करने, शुल्क लेने और अंततः यह तय करने की शक्ति देता है कि कौन से AI क्रॉलर वेब को पढ़ सकते हैं।