Cloudflare-ன் புதிய AI Crawler கட்டுப்பாடுகள்
இணையதளப் போக்குவரத்து மாறிக்கொண்டிருக்கிறது.
கடந்த காலத்தில், தேடுபொறிகள் (search engines) மக்கள் உங்களைக் கண்டறிய உதவும் வகையில் உங்கள் தளத்தை ஸ்கேன் (crawl) செய்தன. அது ஒரு எளிமையான விஷயமாக இருந்தது. AI இதனை மிகவும் சிக்கலானதாக மாற்றியுள்ளது.
ஒரு தேடல் முடிவில் உங்கள் பக்கத்தைக் காட்டுவதற்காக ஒரு பாட் (bot) உங்கள் பக்கத்தை ஸ்கேன் செய்யலாம். ஆனால், ஒரு AI மாதிரியைப் பயிற்றுவிப்பதற்காக (train) ஒரு பாட் உங்கள் பக்கத்தை ஸ்கேன் செய்வது முற்றிலும் வேறானது.
இதை நீங்கள் எவ்வாறு நிர்வகிக்கிறீர்கள் என்பதை Cloudflare மாற்றியமைக்கிறது. ஜூலை 1, 2026 அன்று, அனைத்து வாடிக்கையாளர்களுக்கும் புதிய AI போக்குவரத்து கட்டுப்பாடுகள் (AI traffic controls) வழங்கப்படும். இது போக்குவரத்தை மூன்று குழுக்களாகப் பிரிக்க அனுமதிக்கிறது:
- Search: தேடுபொறிகள் அல்லது AI பதில்களுக்காக உள்ளடக்கத்தை அட்டவணைப்படுத்தும் (index) பாட்கள்.
- Agent: ஒரு பயனரின் சார்பாக ஒரு பணியை முடிக்கச் செயல்படும் பாட்கள்.
- Training: AI மாதிரிகளைப் பயிற்றுவிக்க அல்லது நுணுக்கமாக்க (fine-tune) தரவுகளைச் சேகரிக்கும் பாட்கள்.
இந்த மாற்றம், இணையதளத் தெரிவுத்திறனை (visibility) ஒரு அணுகல் கொள்கை முடிவாக (access policy decision) மாற்றுகிறது. இது இனி வெறும் SEO முடிவு மட்டுமல்ல.
நீங்கள் ஒரு SaaS நிறுவனத்தை நடத்துகிறீர்கள் என்றால், உங்கள் ஆவணங்கள் (documentation), விலைப்பட்டியல் (pricing) மற்றும் உதவி மையங்கள் (help centers) போன்ற பொதுப் பக்கங்கள் மதிப்பினை உருவாக்குகின்றன. அவை வாடிக்கையாளர்களைப் பெறவும் அவர்களுக்கு ஆதரவளிக்கவும் உதவுகின்றன.
நீங்கள் எவ்வளவு அணுகலை வழங்க விரும்புகிறீர்கள் என்பதை நீங்கள் தீர்மானிக்க வேண்டும்.
பழைய கேள்வி: தேடுபொறிகளால் எங்களைக் கண்டறிய முடியுமா? புதிய கேள்வி: எந்தத் தானியங்கி அமைப்புகள் (automated systems) எங்கள் தளத்தைப் பயன்படுத்த வேண்டும், மற்றும் எந்த நோக்கத்திற்காக?
அனைத்து AI பாட்களையும் ஒரே மாதிரியாகக் கருத வேண்டாம்.
Search பாட்கள் பயனர்கள் உங்கள் தயாரிப்பைக் கண்டறிய உதவுகின்றன. அவற்றை முடக்குவது (blocking), AI மூலம் இயங்கும் தேடல் முடிவுகளில் உங்களை மறைக்கக்கூடும்.
AI ஏஜென்ட்கள் (agents) பயனுள்ளதாக இருக்கலாம். ஒரு பயனர் திட்டங்களை ஒப்பிட்டுப் பார்க்க உதவும் வகையில் ஒரு ஏஜென்ட் உங்கள் விலைப்பட்டியல் பக்கத்தைப் பார்வையிடலாம். இருப்பினும், இந்த ஏஜென்ட்களுக்கு அங்கீகாரம் (authentication) அல்லது வேகக் கட்டுப்பாடுகள் (rate limits) தேவையா என்பதை நீங்கள் தீர்மானிக்க வேண்டும்.
Training பாட்கள் குறைந்த நேரடி மதிப்பையே வழங்குகின்றன. அவை மாதிரிகளை உருவாக்க உங்கள் உள்ளடக்கத்தைப் பயன்படுத்துகின்றன, ஆனால் பயனர்களை மீண்டும் உங்கள் தளத்திற்கு அனுப்பாமல் இருக்கலாம். பல நிறுவனங்கள் இவற்றை முடக்குவதையே தேர்ந்தெடுக்கின்றன.
ஒரு புத்திசாலித்தனமான கொள்கை இவ்வாறு இருக்கும்:
- உங்கள் தயாரிப்பு மற்றும் உதவிப் பக்கங்களை அட்டவணைப்படுத்த (index) Search பாட்களுக்கு அனுமதி அளிக்கவும்.
- பயனர் வழிநடத்தும் ஏஜென்ட்கள் பொது ஆவணங்களை அணுக அனுமதிக்கவும்.
- Training பாட்களுக்கான அணுகலை முடக்கவும் அல்லது உரிமம் (license) வழங்கவும்.
- அங்கீகரிக்கப்பட்ட அனைத்து தயாரிப்புப் பகுதிகளையும் பாதுகாப்பாக வைத்திருக்கவும்.
உங்கள் போக்குவரத்தைத் தொடர்ந்து ஆய்வு செய்யுங்கள். Crawler பிரிவுகள், சர்வர் சுமை (server load) மற்றும் தேடல் தெரிவுத்திறன் (search visibility) ஆகியவற்றைக் கவனியுங்கள்.
ஒவ்வொரு பாட்டையும் முடக்குவதே இலக்கல்ல. அவை என்ன செய்கின்றன என்பதைக் கட்டுப்படுத்துவதே இலக்கு.