Cloudflare நிறுவனத்தின் AI-crawler உரிம மாதிரி (licensing model) ஜூலை 1 அன்று தொடங்கப்பட்டது. இது அதன் பழைய “ஒவ்வொரு முறை ஸ்கேன் செய்யும்போதும் பணம் செலுத்தும்” (pay-per-crawl) முறையை மாற்றி, ஒரு செயற்கை நுண்ணறிவுச் சேவை ஒரு பக்கத்தைப் படிக்கும் ஒவ்வொரு முறையும் கட்டணம் வசூலிக்கும் “பயன்பாட்டிற்கு ஏற்ப பணம் செலுத்தும்” (pay-per-use) முறைக்கு மாறியுள்ளது. இந்த மாற்றம் வெறும் விலையை மட்டும் மாற்றவில்லை – பொது இணையதளத்தை யார், எந்த நிபந்தனைகளின் கீழ் அணுகலாம் என்பதைத் தீர்மானிக்கும் அதிகாரத்தை ஒரு தனிப்பட்ட நிறுவனத்திற்கு வழங்குகிறது.
இந்த மாற்றம் ஏன் முக்கியமானது
பல ஆண்டுகளாக, Cloudflare-ன் இலவசத் திட்டம் (free tier) மில்லியன் கணக்கான இணையதளங்களுக்குச் செயல்திறனை மேம்படுத்தவும், தேவையற்ற டிராஃபிக்கைத் தடுக்கவும் ஒரு மலிவான வழியை வழங்கியிருந்தது. ஒரு பாட் (bot) ஒரு பக்கத்தைப் பெறும்போது, அந்தத் தளத்தின் உரிமையாளர் ஒவ்வொரு முறை ஸ்கேன் செய்யும்போதும் ஒரு நிலையான கட்டணத்தைச் செலுத்த வேண்டும். புதிய மாதிரி இந்த உறவை மாற்றுகிறது: ஒரு AI மாடல் ஒரு பதிப்பகத்தின் உள்ளடக்கத்தைப் பயன்படுத்தும் ஒவ்வொரு முறையும், அந்தப் பதிப்பகத்திற்குப் பணம் வழங்கப்படுகிறது. மேலோட்டமாகப் பார்க்கும்போது, இது இணையதள உரிமையாளர்களுக்கு ஒரு வெற்றியாகத் தோன்றுகிறது; அவர்களின் உழைப்பால் வளர்ந்து வரும் AI சந்தையில் அவர்களுக்கு ஒரு பங்கு கிடைக்கிறது.
இந்த மாதிரி AI க்ராலர்களுக்காக (crawlers) Search, Agent, மற்றும் Training ஆகிய மூன்று புதிய பிரிவுகளை அறிமுகப்படுத்துகிறது. ஒரு பாட்டை இந்தத் தொகுதிகளில் எதில் வைப்பது என்ற அதிகாரத்தை Cloudflare நிறுவனத்தின் தயாரிப்பு விவரக்குறிப்புகளுக்குள் (product specifications) கொண்டு வருகிறது. ஒரு ஆராய்ச்சி பாட் (research bot) முறையான “Agent” தானா அல்லது “Training” பாட் தானா என்பதையும், ஒரு சிறிய குழுவின் கருவி “Search” சேவையா அல்லது “unlicensed thief” (உரிமம் இல்லாத திருடன்) தானா என்பதையும் அந்த நிறுவனமே தீர்மானிக்கிறது. இந்த வகைப்பாடுகளே விதிக்கப்படும் கட்டணங்களையும், செப்டம்பர் 15 முதல் விளம்பரங்களைக் காட்டும் பக்கங்களில் அந்த பாட் முற்றிலுமாகத் தடுக்கப்படுமா என்பதையும் தீர்மானிக்கின்றன.
கட்டுப்பாட்டின் வழிமுறைகள்
- மூன்று பிரிவுகள், ஒரு காவலர் – Cloudflare மட்டுமே இந்த மூன்று குழுக்களையும் வரையறுக்கிறது. எந்தவொரு வெளிப்படையான தர நிர்ணய அமைப்போ, தொழில்முறை கூட்டமைப்போ அல்லது பொது ஆலோசனையோ இதில் இல்லை. ஒரு பாட் “Training” பிரிவில் இருந்தால், அதன் செயல்பாடு “Search” பிரிவில் உள்ள பாட்டிற்கு இணையானதாக இருந்தாலும், அதற்கு அதிகக் கட்டணம் வசூலிக்கப்படும்.
- விளம்பரங்கள் கொண்ட பக்கங்களில் தானியங்கித் தடை – செப்டம்பர் நடுப்பகுதியிலிருந்து, விளம்பரங்கள் உள்ள பக்கத்திற்கு வரும் எந்தவொரு கலப்புப் பயன்பாட்டு க்ராலரும் (mixed-use crawler), Cloudflare-ன் நிபந்தனைகளைப் பூர்த்தி செய்யாவிட்டால், அதன் அணுகல் மறுக்கப்படும். இந்தத் தடை தானியங்கி முறையில் நடக்கும்; இதிலிருந்து தப்பிக்க Cloudflare அந்தப் பிரிவிற்கு நிர்ணயித்துள்ள கட்டணத்தைச் செலுத்துவதைத் தவிர வேறு வழியில்லை.
- காத்திருப்புப் பட்டியல் கொண்ட ஒரு சந்தை – “உரிமம் பெற்ற” இணையதளங்களை அணுகுவது இனி தொழில்நுட்பத் திறனை மட்டும் சார்ந்தது அல்ல. பெரிய அளவில் க்ராலிங் செய்ய விரும்பும் நிறுவனங்கள், Cloudflare-ன் அங்கீகரிக்கப்பட்ட பட்டியலில் சேர விண்ணப்பிக்க வேண்டும். பட்டியலில் இடம் பெறாதவர்கள் இரண்டு கடினமான முடிவுகளைச் சந்திக்க நேரிடும்: Cloudflare நிர்ணயிக்கும் விலையை ஏற்க வேண்டும் அல்லது இணையத்தின் பெரும் பகுதியைத் தரவிறக்கம் (scrape) செய்யும் திறனை இழக்க வேண்டும்.
- வாக்குரிமை இல்லாத வருமானம் – பணம் பெறும் இணையதள உரிமையாளர்களுக்கு, பிரிவுகள் எவ்வாறு பிரிக்கப்படுகின்றன, கட்டணங்கள் எவ்வாறு மாறுகின்றன அல்லது பட்டியலில் யார் இடம்பெறுவார்கள் என்பதில் எந்தக் கருத்தும் தெரிவிக்க உரிமை இல்லை. விலை நிர்ணயக் கட்டமைப்பும், “ஏற்றுக்கொள்ளத்தக்க” க்ராலிங் என்பதன் வரையறையும் ஒரு பொதுக் கொள்கை செயல்முறையின் கீழ் இல்லாமல், ஒரு நிறுவனத்தின் தயாரிப்பு விவரக்குறிப்பின் (corporate product spec) கீழ் உள்ளது.
யார் வெற்றி பெறுகிறார்கள், யார் தோற்கிறார்கள்
பதிப்பகங்கள் – உடனடிப் பயன் என்பது ஒரு புதிய வருமான வழிமுறையாகும். ஒரு AI மாடல் ஒரு கட்டுரையைப் படிக்கும் ஒவ்வொரு முறையும், தளத்தின் உரிமையாளருக்குப் பணம் கிடைக்கும். டிராஃபிக்கை வருமானமாக மாற்ற முடியாமல் தவிக்கும் சிறிய பதிப்பகங்களுக்கு, இந்தத் தொகை பயனுள்ளதாக இருக்கும்.
AI உருவாக்குநர்கள் மற்றும் ஆராய்ச்சியாளர்கள் – Cloudflare-ன் கட்டணங்களைச் செலுத்தக்கூடிய மற்றும் அங்கீகரிக்கப்பட்ட பட்டியலில் இடம் பெறக்கூடியவர்கள், தொடர்ந்து பெரிய அளவில் மாடல்களைப் பயிற்றுவிக்கவும் இயக்கவும் முடியும்.
ஸ்டார்ட்-அப்கள், ஓப்பன் சோர்ஸ் திட்டங்கள் மற்றும் தனிப்பட்ட ஆராய்ச்சியாளர்கள் – அங்கீகரிக்கப்பட்ட பட்டியலில் இடம் பெறாமல், அவர்கள் Cloudflare நிர்ணயிக்கும் கட்டணத்தைச் செலுத்த வேண்டும் அல்லது இணையத்தின் பெரும் பகுதியை அணுகும் வாய்ப்பை இழக்க வேண்டும்.
பரந்த இணையச் சூழல் (Internet ecosystem) – பொது இணையதளத்தை அணுகுவதை ஒரு உரிமம் பெற்ற சேவையாக மாற்றுவதன் மூலம், பாரம்பரியமாகத் தளர்வான கட்டுப்பாடுகளுக்கு உட்பட்ட சூழலில் இருந்த “டிஜிட்டல் நுழைவாயில்” (digital gatekeeping) அதிகாரத்தை Cloudflare தன்வசம் குவித்துக்கொள்கிறது.
பற்றாக்குறையின் மறைமுகச் செலவு
ஸ்பேம், ஸ்கிராப்பிங் மற்றும் பேண்ட்வித் (bandwidth) துஷ்பிரயோகத்திற்கு எதிரான ஒரு பாதுகாப்பு நடவடிக்கையாக பாட்களைத் தடுப்பது நீண்டகாலமாகப் பார்க்கப்படுகிறது. Cloudflare-ன் புதிய மாதிரியில், இந்தத் தடை என்பது அதன் அதிகாரத்தைக் காட்டும் ஒரு செயலாகும்; ஒவ்வொரு பக்கப் பார்வையும் (page view) அளவிட்டு அதற்கு விலையைத் தீர்மானிக்கும் கருவியே உண்மையான தயாரிப்பாகும். அந்த நிறுவனம் அணுகலை விற்பனை செய்யும் சந்தையையும் நடத்துவதால், ஒரே நேரத்தில் அனைவருக்கும் பற்றாக்குறையை உருவாக்கும் அதிகாரத்தை அது கொண்டுள்ளது.
இன்றைய இணைய டிராஃபிக்கில் பெரும்பகுதியை ஈர்த்த அந்த இலவசத் திட்டம் ஒருபோதும் அறப்பணி அல்ல. அது Cloudflare நிறுவனத்திற்குச் சந்தையில் ஆதிக்கம் செலுத்த ஒரு மூலோபாய நுழைவுப் புள்ளியாக இருந்தது, அதன் மூலம் பின்னர் உரிம மாதிரியின் மூலம் அந்த ஆதிக்கத்தை வருமானமாக மாற்ற முடிந்தது. ஒரு காலத்தில் வேகமான பக்கப் பதிவுகளை ஜனநாயகப்படுத்திய அதே உள்கட்டமைப்பு, இப்போது அந்தப் பக்கங்களைப் படிக்க யாருக்கு அனுமதி என்பதைத் தீர்மானிக்கிறது.
எதிர்முனை: AI-க்கு எரிபொருளாக இருக்கும் உள்ளடக்கத்திற்குப் பணம் செலுத்துதல்
The argument in favor of the new system is simple: AI developers have been profiting from publicly available text, images, and code without compensating the creators. Cloudflare’s model forces a payment loop that could incentivize higher-quality content and give publishers a stake in the AI economy. It also provides a clear, enforceable way to differentiate between benign search bots and massive data-harvesting operations, potentially curbing abuse.
Those benefits, however, do not erase the fact that the rules are set unilaterally. Even if the revenue share is generous, the lack of a democratic process means the public has no recourse if the categories prove arbitrary or if rates become exploitative. The model trades one set of opaque decisions (ad-blocking heuristics) for another, more financially consequential set.
What to watch next
Takeaway
Cloudflare’s July 1 pricing overhaul turns the act of reading a web page into a licensable transaction, with a single private company writing the rules and collecting the fees. While publishers finally see money from AI-driven consumption, the broader consequence is a new form of digital gatekeeping that reshapes who can access the public internet and on what terms. The real story isn’t the price tag; it’s the concentration of control in a space that has long been assumed to be open.