AI कंपन्यांना प्रकाशकांचे पैसे देण्यास भाग पाडण्यासाठी Cloudflare ने अंतिम मुदत निश्चित केली

पारंपारिक सर्च क्रॉलिंग (search crawling) आणि AI ट्रेनिंग व एजन्टिक सेवा (agentic services) यांना वेगळे करण्यासाठी Cloudflare ने एका महत्त्वपूर्ण धोरणात्मक बदलाची घोषणा केली आहे. कडक नवीन डीफॉल्ट नियम लागू करून, या एज कॉम्प्युटिंग क्षेत्रातील दिग्गज कंपनीचा उद्देश बौद्धिक संपदांचे संरक्षण करणे आणि वेब प्रकाशकांसाठी एक शाश्वत आर्थिक परिसंस्था (economic ecosystem) निर्माण करणे हा आहे.

"Mixed-Use" क्रॉलर्सचा अंत

सध्याच्या डेटा-स्क्रॅपिंगच्या स्थितीला थेट आव्हान देण्याच्या दृष्टीने, Cloudflare ने "mixed-use" क्रॉलर्सच्या वाढत्या वापराला हाताळण्यासाठी १५ सप्टेंबर २०२६ ही अंतिम मुदत निश्चित केली आहे. हे असे बॉट्स आहेत जे पारंपारिक सर्च इंडेक्सिंग आणि AI मॉडेल ट्रेनिंग व एजन्टिक फंक्शन्स यांचे मिश्रण करतात. त्या तारखेपासून, Cloudflare च्या डीफॉल्ट सेटिंग्ज जाहिराती असलेल्या कोणत्याही पेजेसना प्रवेश करण्यापासून या हायब्रिड क्रॉलर्सना आपोआप रोखतील.

हा धोरणात्मक बदल Cloudflare च्या सर्व नवीन ग्राहकांसाठी, विद्यमान ग्राहकांनी तयार केलेल्या नवीन साइट्ससाठी आणि सध्याच्या सर्व फ्री-टियर वापरकर्त्यांसाठी लागू असेल. AI कंपन्यांना त्यांचा हेतू स्पष्ट करण्यास भाग पाडणे हे याचे उद्दिष्ट आहे: जर एखाद्या बॉटला सर्चसाठी साइट इंडेक्स करायची असेल, तर त्याला एका मार्गाचा अवलंब करावा लागेल; परंतु जर त्याला Large Language Model (LLM) ट्रेनिंगसाठी डेटा घ्यायचा असेल, तर त्याला दुसऱ्या मार्गाचा अवलंब करावा लागेल—ज्यामध्ये संभाव्यतः मोबदला (compensation) देणे आवश्यक असेल.

सर्च क्षेत्रातील दिग्गज कंपन्यांच्या वर्चस्वाला आव्हान

या निर्णयामागील एक महत्त्वाचे कारण म्हणजे प्रमुख सर्च इंजिन्सना मिळणारा अन्यायकारक फायदा. Cloudflare ने विशेषतः नमूद केले की जगातील सर्वात मोठे सर्च इंजिन—जे प्रामुख्याने Google आहे—त्याच्याकडे सध्या त्याच्या AI स्पर्धकांच्या तुलनेत अंदाजे "दुप्पट अधिक माहिती" उपलब्ध आहे.

Google "Google Extended" द्वारे प्रकाशकांना सर्च व्हिजिबिलिटीवर परिणाम न करता AI ट्रेनिंगमधून बाहेर पडण्याची (opt out) सुविधा देते, तरीही त्याचे प्रमुख Googlebot हे AI Overviews सारखी वैशिष्ट्ये चालवण्यासाठी मोठ्या प्रमाणावर क्रॉलिंग सुरूच ठेवते. Cloudflare चा हा हस्तक्षेप खेळाचे मैदान समान करण्याचा प्रयत्न करतो, ज्यामुळे AI कंपन्या सर्च इंजिन्सच्या प्रचंड इंडेक्सिंग क्षमतेचा फायदा घेऊन मोफत मॉडेल ट्रेनिंग करू शकणार नाहीत.

"Pay Per Use" मॉडेल्सकडे वाटचाल

केवळ ब्लॉक करण्यापलीकडे, Cloudflare सक्रियपणे नवीन कंटेंट इकॉनॉमीसाठी पायाभूत सुविधा (infrastructure) तयार करत आहे. कंपनी आपले "Pay Per Crawl" मार्केटप्लेस अधिक प्रगत "Pay Per Use" मॉडेलमध्ये रूपांतरित करत आहे. या चौकटीतर्गत, प्रकाशक AI कंपन्यांकडून केवळ डेटा मिळवल्याबद्दलच नाही, तर तो कंटेंट प्रत्यक्षात मूल्य निर्माण करतो तेव्हाही शुल्क आकारू शकतात.

याचे प्रायोगिक तत्त्वावर अंमलबजावणी करण्यासाठी, Cloudflare ने Ceramic.ai आणि You.com सोबत भागीदारी केली आहे. या भागीदारीमुळे, जेव्हा प्रकाशकांचा कंटेंट Ceramic च्या AI सर्च रिझल्टमध्ये दिसतो किंवा जेव्हा You.com प्रीमियम मटेरियल वापरते, तेव्हा प्रकाशकांना थेट मोबदला मिळू शकतो. हा बदल सध्याच्या वेबमधील एका गंभीर त्रुटीवर उपाय शोधतो: Cloudflare च्या डेटावरून असे दिसून येते की, AI क्रॉलर ट्रॅफिकमधील ५०% पेक्षा जास्त ट्रॅफिक न बदललेल्या पेजेस पुन्हा पुन्हा मिळवण्यात (re-fetching) वाया जाते, ज्यामुळे प्रकाशकांचा बँडविड्थ आणि AI कॉम्प्युट रिसोर्सेस या दोन्हीचा अपव्यय होतो.

AI क्षेत्रासाठी हे का महत्त्वाचे आहे

इंटरनेटवरील मानवी ट्रॅफिकपेक्षा आता नॉन-ह्युमन (non-human) ट्रॅफिक जास्त झाले असल्याने, "सर्व काही मोफत स्क्रॅप करा" (scrape everything for free) हा काळ आता संपत चालला आहे. Cloudflare चा हा निर्णय अधिक नियमन केलेले आणि व्यवहारात्मक (transactional) वेबकडे होणाऱ्या संक्रमणाचे संकेत देतो. AI डेव्हलपर्ससाठी, याचा अर्थ असा आहे की विनाअडथळा आणि शून्य-खर्च डेटा मिळवण्याचा काळ संपत आहे, ज्यामुळे दीर्घकालीन डेटाच्या टिकून राहण्यासाठी कंटेंट क्रिएटर्सशी अधिक पारदर्शक आणि सहकार्याचे संबंध प्रस्थापित करणे आवश्यक ठरेल.

मुख्य मुद्दे

• डीफॉल्ट ब्लॉकिंग: १५ सप्टेंबर २०२६ पासून, Cloudflare जाहिरात-आधारित पेजेसवरून "mixed-use" क्रॉलर्सना ब्लॉक करणे डीफॉल्ट म्हणून करेल.
• मोनेटायझेशनमधील बदल: Cloudflare "Pay Per Crawl" कडून "Pay Per Use" मॉडेलकडे वळत आहे, ज्यामुळे प्रकाशकांना कंटेंटच्या मूल्यावर आधारित AI कंपन्यांकडून शुल्क आकारणे शक्य होईल.
• कार्यक्षमतेत वाढ: नवीन धोरणाचे उद्दिष्ट सध्या न बदललेल्या वेब पेजेस पुन्हा मिळवण्यात वाया जाणारे ५०% AI क्रॉल ट्रॅफिक कमी करणे हे आहे.