ज्या कंपनीने आता वेबचे लायसन्सिंग सुरू केले आहे, तिला कोणाचेही समर्थन नाही

Cloudflare ने १ जुलै रोजी एक नवीन किंमत संरचना (pricing structure) लागू केली आहे, ज्यामध्ये त्यांच्या जुन्या "प्रत्येक क्रॉलसाठी शुल्क" (pay-per-crawl) मॉडेलऐवजी "वापरानुसार शुल्क" (pay-per-use) योजना आणली आहे. यामध्ये जेव्हा एखादी AI प्रणाली त्यांचे साहित्य (content) वापरते, तेव्हा प्रकाशकांना (publishers) प्रत्येक वेळी पैसे दिले जातात. या बदलामुळे जाहिराती असलेल्या पानांवर 'मिश्र-वापर' (mixed-use) क्रॉलर्सना आपोआप ब्लॉक करण्याची सुविधा देखील सुरू झाली आहे, जी १५ सप्टेंबरपासून प्रभावी होईल. या बदलामुळे हा CDN आणि सुरक्षा प्रदाता आता वेब कोणी आणि कोणत्या अटींवर वाचू शकेल याचा 'डी-फॅक्टो गेटकीपर' (de-facto gatekeeper) बनला आहे, ज्यामुळे AI ट्रेनिंगचे अर्थशास्त्र आणि व्यापक इंटरनेट इकोसिस्टम बदलू शकते.

या किंमत बदलाचे महत्त्व काय आहे

जुन्या प्रणालीमध्ये, एखादा बॉट एखाद्या पेजचा डेटा मिळवू इच्छित असेल, तर त्याला प्रत्येक विनंतीसाठी (request) Cloudflare ला शुल्क द्यावे लागत असे. हे शुल्क Cloudflare ला जात असे, साइट मालकाला नाही. नवीन मॉडेल ही प्रक्रिया उलट करते: जेव्हा एखादे AI मॉडेल एखाद्या पेजचा वापर करते, तेव्हा प्रकाशकाला Cloudflare कडून पेमेंट मिळते. पेमेंट मिळणे ही चांगली गोष्ट आहे, कारण यामुळे साइट मालकांना पैसे मिळतात.

याचा प्रत्यक्ष परिणाम AI क्रॉलर बनवणाऱ्यांवर लगेच दिसून येईल. जर क्रॉलरला "मिश्र-वापर" (mixed use) म्हणून वर्गीकृत केले गेले असेल – म्हणजेच तो सर्च इंजिनसाठी पेजेस इंडेक्स देखील करतो आणि ट्रेनिंगसाठी कंटेंट देखील काढतो – तर जाहिराती देणाऱ्या कोणत्याही पेजवर Cloudflare त्याला डीफॉल्टनुसार ब्लॉक करेल. प्रवेश मिळवण्यासाठी, ऑपरेटरला एकतर Cloudflare चा दर स्वीकारून पैसे द्यावे लागतील किंवा त्या पेजेसचा वापर करता येणार नाही हे मान्य करावे लागेल.

या बदलामागील धोरणात्मक आराखडा

Cloudflare च्या उत्पादन वैशिष्ट्यांनुसार (product specification) AI क्रॉलर्सना तीन गटांत विभागले आहे:

  • Search – सर्च इंजिन चालवण्यासाठी पेजेस इंडेक्स करणारे बॉट्स.
  • Agent – संवादात्मक AI (conversational AI) किंवा तत्सम एजंटसाठी माहिती मिळवणारे बॉट्स.
  • Training – मशीन-लर्निंग मॉडेल प्रशिक्षित करण्यासाठी मजकूर, प्रतिमा किंवा इतर डेटा गोळा करणारे बॉट्स.

हे वर्गीकरण कायद्याने किंवा उद्योगाच्या मानकाद्वारे (industry standard) ठरवलेले नाही; Cloudflare ची अंतर्गत टीम हे ठरवते. ही टीम प्रत्येक बॉटला एका गटात नियुक्त करते, उदाहरणार्थ, एखादा संशोधन-केंद्रित क्रॉलर "agent" मानला जावा की "trainer", किंवा एखादा आर्काइव्हल बॉट "search" बॉट मानला जावा की नाही.

या वर्गीकरणामुळे बॉट ब्लॉक केला जाईल की नाही, त्याला किती शुल्क आकारले जाईल आणि प्रकाशकाला पेमेंट मिळेल की नाही, यावर थेट परिणाम होतो.

कोणाचा फायदा आणि कोणाचे नुकसान

प्रकाशक (Publishers)

साइट मालकांना आता उत्पन्नाचा एक नवीन स्रोत मिळाला आहे. जेव्हा जेव्हा एखादे AI मॉडेल त्यांचा लेख वाचते, तेव्हा Cloudflare त्यांना पेमेंट पाठवते.

AI डेव्हलपर्स

मोठ्या आणि वैविध्यपूर्ण डेटासेटवर अवलंबून असलेल्या स्टार्टअप्स आणि संशोधन प्रयोगशाळांना आता अतिरिक्त खर्चाचा सामना करावा लागेल. जर क्रॉलर Cloudflare च्या मंजूर यादीत नसेल, तर डेव्हलपरला एकतर प्रति-वापर शुल्क (per-use fee) द्यावे लागेल किंवा वेबचा एक मोठा भाग वापरण्यापासून वंचित राहावे लागेल.

दुर्मिळतेमागील व्यावसायिक तर्क

Cloudflare चे मॉडेल मार्केटप्लेस चालवण्यासाठी 'दुर्मिळता' (scarcity) निर्माण करते. डीफॉल्टनुसार, जाहिराती असलेल्या पानांवर मिश्र-वापर बॉट्सना ब्लॉक केले जाते, ज्यामुळे प्रत्येक विनंती ही बिल करण्यायोग्य (billable) घटना बनते. जर कंपनीने सर्व बॉट्सना ब्लॉक केले असते, तर तिचा स्वतःचा महसूल स्रोत संपला असता. त्यामुळे, हे निवडक ब्लॉकिंग कंपनीचा नफा सुरक्षित करते आणि बॉट ऑपरेटर्सना पैसे देऊन सेवा घेण्यास भाग पाडते.

हा बदल Cloudflare च्या प्रचंड मोठ्या 'फ्री-टियर' (free-tier) वापरकर्त्यांचाही फायदा घेतो. लाखो साइट्सनी मोफत प्लॅनमुळे सोप्या CDN आणि सुरक्षा सेवा मिळवण्यासाठी नोंदणी केली होती. तो "मोफत" प्रवेश हा ग्राहक मिळवण्याचा एक धोरणात्मक भाग (customer-acquisition strategy) होता, कोणताही परोपकार नव्हता. आता त्या साइट्स अशा नेटवर्कचा भाग आहेत जे AI द्वारे त्यांचा कंटेंट वापरला गेल्यावर Cloudflare साठी महसूल निर्माण करते, परंतु किंमत किंवा धोरणात्मक श्रेणींबाबत (policy categories) ज्याद्वारे कोणाला पैसे दिले जातील हे ठरवले जाते, त्यामध्ये साइट मालकांचा कोणताही अधिकार नाही.

निष्कर्ष

Cloudflare चा 'पे-पर-युज' (pay-per-use) बदल केवळ उत्पन्नाचा नवीन स्रोत निर्माण करत नाही; तर तो कंपनीला कोणत्या AI क्रॉलर्सना वेब वाचण्याची परवानगी द्यायची, याचे लेबल लावण्याचे, शुल्क आकारण्याचे आणि अंतिम निर्णय घेण्याचे अधिकार देतो.