Cloudflare ने १ जुलै रोजी त्यांचे AI-crawler लायसन्सिंग मॉडेल लाँच केले, ज्यामध्ये त्यांची जुनी “pay-per-crawl” (प्रति-क्रॉल शुल्क) योजना बदलून “pay-per-use” (प्रति-वापर शुल्क) प्रणाली आणली आहे. यामध्ये एखादी आर्टिफिशियल-इंटेलिजन्स सेवा जेव्हा एखादे पेज वाचते, तेव्हा शुल्क आकारले जाते. हा बदल केवळ किमतीतील बदल नाही – तर यामुळे एका खाजगी कंपनीला सार्वजनिक वेबवर कोणाला आणि कोणत्या अटींवर प्रवेश द्यायचा, याचा निर्णय घेण्याचे अधिकार प्राप्त झाले आहेत.

हा बदल का महत्त्वाचा आहे

अनेक वर्षांपासून Cloudflare च्या मोफत स्तरामुळे (free tier) लाखो साइट्सना कार्यक्षमता वाढवण्यासाठी आणि अवांछित ट्रॅफिकपासून वाचण्यासाठी स्वस्त मार्ग मिळत होता. जेव्हा एखादा बॉट एखादे पेज फेच (fetch) करायचा, तेव्हा ऑपरेटरला प्रति-क्रॉल एक ठराविक शुल्क द्यावे लागे. नवीन मॉडेल हे नाते उलट करते: जेव्हा एखादे AI मॉडेल प्रकाशकांचे (publishers) कंटेंट वापरते, तेव्हा प्रकाशकांना त्याचे पेमेंट मिळते. वरवर पाहता हे साइट मालकांसाठी फायद्याचे वाटते, कारण त्यांना अखेर त्या AI क्षेत्रातील नफ्याचा हिस्सा मिळत आहे, जो त्यांच्याच कामाच्या जोरावर वाढत आहे.

हे मॉडेल AI क्रॉलर्ससाठी तीन नवीन श्रेणी देखील सादर करते – Search, Agent, आणि Training – आणि एखाद्या बॉटला यापैकी कोणत्या श्रेणीत ठेवायचे, याचा पूर्ण अधिकार Cloudflare च्या उत्पादन वैशिष्ट्यांमध्ये (product specifications) देण्यात आला आहे. एखादा रिसर्च बॉट हा काय वैध “Agent” आहे की “Training” बॉट, किंवा एखादे लहान टीमचे टूल हे “Search” सेवा आहे की “विनापरवाना चोर” (unlicensed thief), याचा निर्णय कंपनी घेते. या वर्गीकरणामुळे लागू होणारे दर ठरवले जातात आणि १५ सप्टेंबरपासून, जाहिराती प्रदर्शित करणाऱ्या पानांवर तो बॉट थेट ब्लॉक केला जाईल की नाही, हे देखील यावरून ठरवले जाते.

नियंत्रणाची यंत्रणा

  • तीन श्रेणी, एक नियंत्रक (gatekeeper) – Cloudflare एकटीच या तीन गटांची व्याख्या करते. यामध्ये कोणतीही बाह्य मानक संस्था, उद्योग समूह किंवा सार्वजनिक सल्लामसलत नाही. “Training” श्रेणीत येणाऱ्या बॉटला “Search” श्रेणीतील बॉटपेक्षा जास्त शुल्क द्यावे लागते, जरी त्यामागील क्रिया जवळपास सारखीच असली तरीही.
  • जाहिराती असलेल्या पानांवर डिफॉल्ट ब्लॉकिंग – सप्टेंबरच्या मध्यापासून, जाहिराती असलेल्या पानावर येणारा कोणताही मिश्र-वापर करणारा (mixed-use) क्रॉलर, जो Cloudflare च्या निकषांची पूर्तता करत नाही, त्याला प्रवेश नाकारला जाईल. हे ब्लॉकिंग स्वयंचलित आहे; त्यातून वाचण्याचा एकमेव मार्ग म्हणजे Cloudflare ने त्या श्रेणीसाठी ठरवलेले शुल्क भरणे.
  • वेटिंग लिस्ट असलेले मार्केटप्लेस – “लायसन्स प्राप्त” वेबवरील प्रवेश आता केवळ तांत्रिक क्षमतेवर अवलंबून नाही. ज्या कंपन्यांना मोठ्या प्रमाणावर क्रॉल करायचे आहे, त्यांना Cloudflare च्या मंजूर सूचीमध्ये (approved list) समाविष्ट होण्यासाठी अर्ज करावा लागेल. यातून बाहेर पडलेल्यांना दोन कठीण पर्याय समोर आहेत: Cloudflare ने ठरवलेली किंमत स्वीकारणे किंवा इंटरनेटचा मोठा भाग स्क्रॅप करण्याची क्षमता गमावणे.
  • मतदानाशिवाय मिळणारे उत्पन्न – ज्या साइट मालकांना पेमेंट मिळते, त्यांना श्रेणी कशा ठरवल्या जातात, दर कसे बदलतात किंवा व्हाईटलिस्टमध्ये कोणाला समाविष्ट केले जाते, यावर काहीही सांगण्याचा अधिकार नाही. किंमत संरचना आणि “स्वीकार्य” क्रॉलिंगची व्याख्या ही कॉर्पोरेट उत्पादन वैशिष्ट्यांच्या मागे आहे, सार्वजनिक धोरण प्रक्रियेच्या मागे नाही.

कोणाचा फायदा, कोणाचे नुकसान

प्रकाशक (Publishers) – याचा तात्काळ फायदा म्हणजे उत्पन्नाचा एक नवीन स्रोत. जेव्हा जेव्हा एखादे AI मॉडेल लेख वाचते, तेव्हा साइट मालकाला त्याचे पेमेंट मिळते. ज्या लहान प्रकाशकांना ट्रॅफिकमधून पैसे कमावण्यासाठी संघर्ष करावा लागला आहे, त्यांच्यासाठी ही रोख रक्कम महत्त्वपूर्ण ठरू शकते.

AI डेव्हलपर्स आणि संशोधक – जे Cloudflare चे दर परवडू शकतात आणि व्हाईटलिस्टमध्ये आपले स्थान सुरक्षित करू शकतात, ते मोठ्या प्रमाणावर मॉडेल्स प्रशिक्षित करणे आणि चालवणे सुरू ठेवू शकतील.

स्टार्ट-अप्स, ओपन-सोर्स प्रोजेक्ट्स आणि स्वतंत्र संशोधक – व्हाईटलिस्टमध्ये स्थान नसल्यामुळे, त्यांना एकतर Cloudflare ने ठरवलेले शुल्क भरावे लागेल किंवा वेबचा मोठा भाग वापरण्यापासून वंचित राहावे लागेल.

व्यापक इंटरनेट इकोसिस्टम – सार्वजनिक वेबवरील प्रवेशाचे रूपांतर एका लायसन्स करण्यायोग्य सेवेत करून, Cloudflare अशा प्रकारच्या “डिजिटल गेटकीपिंग”चे (digital gatekeeping) केंद्रीकरण करत आहे, जे पारंपारिकपणे कमी नियमन केलेल्या आणि बहु-अॅक्टर वातावरणात असायचे.

दुर्मिळतेची (scarcity) छुपी किंमत

बॉट ब्लॉक करणे हे स्पॅम, स्क्रॅपिंग आणि बँडविड्थच्या गैरवापरापासून संरक्षणासाठी उचललेले पाऊल म्हणून नेहमी मांडले गेले आहे. Cloudflare च्या नवीन मॉडेलमध्ये, हे ब्लॉकिंग त्यांच्या वर्चस्वाचे (leverage) प्रदर्शन आहे; खरे उत्पादन म्हणजे प्रत्येक पेज व्ह्यू मोजणारे आणि त्याला किंमत लावणारे मीटर आहे. कंपनी एकाच वेळी सर्वांसाठी दुर्मिळता निर्माण करणारे बटण दाबू शकते, कारण ती स्वतःच त्या प्रवेशाची विक्री करणारे मार्केटप्लेस चालवते.

आजच्या बहुतेक वेब ट्रॅफिकला आकर्षित करणारा मोफत स्तर कधीही दानधर्म नव्हता. तो एक धोरणात्मक प्रवेश बिंदू होता ज्याने Cloudflare ला बाजारपेठेत वर्चस्व मिळवून दिले, ज्यामुळे त्यांना नंतर लायसन्सिंग मॉडेलद्वारे त्या वर्चस्वाचे व्यापारीकरण करणे शक्य झाले. आता तेच इन्फ्रास्ट्रक्चर, ज्याने एकेकाळी वेगवान पेज लोडिंगचे लोकशाहीकरण केले होते, तेच आता ठरवते की कोणाला ती पाने वाचता येतील.

प्रतिवाद: AI ला इंधन देणाऱ्या कंटेंटसाठी पैसे देणे

नवीन प्रणालीच्या बाजूने असलेला युक्तिवाद साधा आहे: AI डेव्हलपर्स निर्मात्यांना मोबदला न देता सार्वजनिकरित्या उपलब्ध असलेला मजकूर, प्रतिमा आणि कोडचा वापर करून नफा मिळवत आहेत. Cloudflare चे मॉडेल एक पेमेंट लूप (payment loop) अनिवार्य करते, ज्यामुळे उच्च-गुणवत्तेच्या सामग्रीला प्रोत्साहन मिळू शकते आणि प्रकाशकांना AI अर्थव्यवस्थेत हिस्सा मिळू शकतो. हे साध्या सर्च बॉट्स आणि मोठ्या प्रमाणावरील डेटा-हार्वेस्टिंग ऑपरेशन्समध्ये फरक करण्यासाठी एक स्पष्ट आणि अंमलात आणण्यायोग्य मार्ग देखील प्रदान करते, ज्यामुळे संभाव्य गैरवापर रोखता येईल.

तथापि, हे फायदे या वस्तुस्थितीला पुसून टाकत नाहीत की नियम एकतर्फी ठरवले गेले आहेत. महसूल हिस्सा उदार असला तरी, लोकशाही प्रक्रियेच्या अभावामुळे, जर श्रेणी मनमानी ठरल्या किंवा दर शोषणकारक झाले, तर जनतेकडे कोणताही पर्याय उरत नाही. हे मॉडेल पारदर्शक नसलेल्या निर्णयांच्या एका संचाची (ad-blocking heuristics) जागा आर्थिकदृष्ट्या अधिक परिणामकारक असलेल्या दुसऱ्या संचाने घेतली आहे.

पुढे काय पाहावे

मुख्य निष्कर्ष

Cloudflare च्या १ जुलैच्या किंमत रचनेतील बदलामुळे (pricing overhaul) वेब पेज वाचण्याची क्रिया ही परवानायोग्य व्यवहारांत रूपांतरित झाली आहे, जिथे एक खाजगी कंपनी नियम ठरवत आहे आणि शुल्क गोळा करत आहे. प्रकाशकांना अखेर AI-चालित वापरामुळे पैसा मिळत असला तरी, याचे व्यापक परिणाम म्हणजे 'डिजिटल गेटकीपिंग'चे (digital gatekeeping) एक नवीन स्वरूप, जे सार्वजनिक इंटरनेटवर कोणाचा आणि कोणत्या अटींवर प्रवेश असू शकतो, याचे स्वरूप बदलत आहे. खरी गोष्ट किमतीची नाही; तर दीर्घकाळ मोकळी मानली जाणारी ही जागा आता नियंत्रणाच्या केंद्रीकरणाकडे वळत आहे, ही आहे.