AI நிறுவனங்கள் பதிப்பகங்களுக்குப் பணம் செலுத்த Cloudflare காலக்கெடுவை நிர்ணயிக்கிறது

பாரம்பரியத் தேடல் குரோலிங் (search crawling) முறையிலிருந்து AI பயிற்சி மற்றும் ஏஜென்டிக் சேவைகளை (agentic services) பிரிக்கும் நோக்கில் ஒரு முக்கியக் கொள்கை மாற்றத்தை Cloudflare அறிவித்துள்ளது. கடுமையான புதிய இயல்புநிலை அமைப்புகளை (defaults) அமல்படுத்துவதன் மூலம், அறிவுசார் சொத்துரிமையைப் பாதுகாக்கவும், இணையப் பதிப்பகர்களுக்கு ஒரு நிலையான பொருளாதாரச் சூழலை உருவாக்கவும் இந்த எட்ஜ் கம்ப்யூட்டிங் (edge computing) நிறுவனம் இலக்கு வைத்துள்ளது.

"கலப்புப் பயன்பாட்டு" (Mixed-Use) குரோலர்களின் முடிவு

தற்போதைய தரவுத் திரட்டுதல் (data-scraping) முறையை நேரடியாகச் சவாலுக்கு உட்படுத்தும் வகையில், "கலப்புப் பயன்பாட்டு" குரோலர்களின் அதிகரிப்பைக் கையாள Cloudflare செப்டம்பர் 15, 2026 என்ற காலக்கெடுவை நிர்ணயித்துள்ளது. இவை பாரம்பரியத் தேடல் குறியீட்டு முறையுடன் (search indexing), AI மாடல் பயிற்சி மற்றும் ஏஜென்டிக் செயல்பாடுகளை இணைக்கும் பாட்களாகும் (bots). அந்தத் தேதியிலிருந்து, விளம்பரங்களைக் கொண்ட எந்தவொரு பக்கத்தையும் அணுகும் வகையில் இந்த கலப்பின குரோலர்களை (hybrid crawlers) Cloudflare-ன் இயல்புநிலை அமைப்புகள் தானாகவே தடுக்கும்.

இந்தக் கொள்கை மாற்றம் அனைத்துப் புதிய Cloudflare வாடிக்கையாளர்களுக்கும், தற்போதுள்ள வாடிக்கையாளர்களால் உருவாக்கப்படும் புதிய தளங்களுக்கும் மற்றும் தற்போதைய அனைத்து இலவசப் பயலார்களுக்கும் பொருந்தும். AI நிறுவனங்கள் தங்கள் நோக்கத்தைத் தெளிவுபடுத்த வைப்பதே இதன் நோக்கமாகும்: ஒரு பாட் தேடலுக்காக ஒரு தளத்தைப் பட்டியலிட (index) விரும்பினால், அது ஒரு பாதையைப் பின்பற்ற வேண்டும்; ஒரு பெரிய மொழி மாதிரியை (Large Language Model - LLM) பயிற்றுவிக்கத் தரவுகளைப் பெற விரும்பினால், அது மற்றொரு பாதையைப் பின்பற்ற வேண்டும்—அதில் இழப்பீடு வழங்க வேண்டிய கட்டாயம் ஏற்படலாம்.

தேடல் நிறுவனங்களின் ஆதிக்கத்திற்கு சவால்

முக்கியத் தேடுபொறிகள் கொண்டுள்ள அநீதியான சாதகமே இந்த முடிவுக்குப் பின்னால் உள்ள முக்கியக் காரணியாகும். உலகின் மிகப்பெரிய தேடுபொறி—அது Google என்று பரவலாக அறியப்படுகிறது—தற்போது தனது AI போட்டியாளர்களை விட சுமார் "2 மடங்கு அதிகத் தகவல்களை" அணுக முடியும் என்பதை Cloudflare குறிப்பாகச் சுட்டிக்காட்டியுள்ளது.

தேடல் தெரிவுத்திறனைப் (search visibility) பாதிக்காமல், AI பயிற்சியிலிருந்து விலகப் பதிப்பகர்களுக்கு "Google Extended" வசதியை Google வழங்கினாலும், அதன் முதன்மைத் தேடுபொறியான Googlebot, AI Overviews போன்ற அம்சங்களைச் செயல்படுத்தத் தொடர்ந்து விரிவாகத் தரவுகளைத் திரட்டுகிறது. AI நிறுவனங்கள் தேடுபொறிகளின் பிரம்மாண்டமான குறியீட்டுத் திறனைப் பயன்படுத்தித் தங்கள் மாடல்களை இலவசமாகப் பயிற்றுவிப்பதைத் தடுப்பதன் மூலம், சமமான வாய்ப்பை உறுதி செய்ய Cloudflare தலையிடுகிறது.

"பயன்பாட்டிற்கு ஏற்பப் பணம் செலுத்தும்" (Pay Per Use) மாதிரிகளை நோக்கி நகர்தல்

வெறும் தடையை விதிப்பதோடு மட்டுமல்லாமல், Cloudflare ஒரு புதிய உள்ளடக்கப் பொருளாதாரத்திற்கான (content economy) கட்டமைப்பைத் தீவிரமாக உருவாக்கி வருகிறது. நிறுவனம் தனது "Pay Per Crawl" சந்தையை மிகவும் மேம்பட்ட "Pay Per Use" மாதிரியாக மாற்றியமைத்து வருகிறது. இந்த கட்டமைப்பின் கீழ், தரவுகளைப் பெறுவதற்கு மட்டுமல்லாமல், அந்த உள்ளடக்கமானது உண்மையான மதிப்பை உருவாக்கும் போதும் பதிப்பகங்கள் AI நிறுவனங்களிடம் கட்டணம் வசூலிக்க முடியும்.

இதைச் சோதனை செய்ய, Cloudflare நிறுவனம் Ceramic.ai மற்றும் You.com ஆகியவற்றுடன் இணைந்து செயல்படுகிறது. இந்தத் கூட்டாண்மை மூலம், பதிப்பகங்களின் உள்ளடக்கம் Ceramic-ன் AI தேடல் முடிவுகளில் தோன்றும் போதோ அல்லது You.com பிரீமியம் உள்ளடக்கத்தைப் பயன்படுத்தும் போதோ, பதிப்பகங்கள் நேரடி இழப்பீட்டைப் பெற முடியும். தற்போதைய இணையத்தில் உள்ள ஒரு முக்கியமான திறமையின்மையை இந்த மாற்றம் சரிசெய்கிறது: மாற்றப்படாத பக்கங்களை மீண்டும் மீண்டும் திரட்டுவதில் 50% க்கும் அதிகமான AI குரோலர் போக்குவரத்து வீணாகிறது என்று Cloudflare தரவுகள் தெரிவிக்கின்றன; இது பதிப்பகங்களின் இணையப் பயன்பாட்டுத் திறன் (bandwidth) மற்றும் AI கணினித் திறனை (compute resources) ஆகிய இரண்டையுமே வீணாக்குகிறது.

AI சூழலுக்கு இது ஏன் முக்கியமானது

இணையத்தில் மனிதர்களைத் தவிர்த்த பிற போக்குவரத்து (non-human traffic) இப்போது மனிதப் போக்குவரத்தை விட அதிகமாக இருப்பதால், "அனைத்தையும் இலவசமாகத் திரட்டுவது" என்ற காலம் முடிவுக்கு வருகிறது. Cloudflare-ன் இந்த நடவடிக்கை, அதிகக் கட்டுப்பாடுகள் மற்றும் பரிவர்த்தனை சார்ந்த இணையத்தை நோக்கி ஒரு மாற்றத்தைக் குறிக்கிறது. AI உருவாக்குநர்களுக்கு, இது தடையற்ற, பூஜ்ஜியச் செலவில் தரவுகளைப் பெறும் காலம் முடிவுக்கு வருவதைக் குறிக்கிறது; எனவே, நீண்டகாலத் தரவுத் தன்மையை உறுதிப்படுத்த உள்ளடக்க உருவாக்குநர்களுடன் மிகவும் வெளிப்படையான மற்றும் ஒத்துழைப்புமிக்க உறவுகளைப் பேணுவது அவசியமாகிறது.

முக்கியக் குறிப்புகள்

• இயல்புநிலைத் தடை: செப்டம்பர் 15, 2026 முதல், விளம்பரங்கள் மூலம் ஆதரிக்கப்படும் பக்கங்களிலிருந்து "கலப்புப் பயன்பாட்டு" குரோலர்களைத் தடுப்பதே Cloudflare-ன் இயல்புநிலையாக இருக்கும்.
• வருவாய் ஈட்டும் முறை மாற்றம்: Cloudflare "Pay Per Crawl" முறையிலிருந்து "Pay Per Use" மாதிரிக்கு மாறி வருகிறது, இது உள்ளடக்கத்தின் மதிப்பின் அடிப்படையில் AI நிறுவனங்களிடம் கட்டணம் வசூலிக்கப் பதிப்பகர்களுக்கு அனுமதிக்கிறது.
• திறன் மேம்பாடு: மாற்றப்படாத இணையப் பக்கங்களை மீண்டும் மீண்டும் திரட்டுவதில் தற்போது வீணாகும் 50% AI குரோலர் போக்குவரத்தைக் குறைப்பதே இந்த புதிய கொள்கையின் நோக்கமாகும்.