விக்கிமீடியாவின் பொறியியல் குழுவின் கூற்றுப்படி, AI மூலம் இயங்கும் கிராலர்கள் (crawlers) அந்தத் தளத்தின் மிகவும் செலவுமிக்க போக்குவரத்தில் 65% பங்களிக்கின்றன. இது பார்ப்பதற்குத் தீங்கு விளைவிக்காதது போலத் தோன்றும் பாட் (bot) அதிகரிப்பை, சர்வர் கட்டணங்களில் ஒரு முக்கியப் பிரிவாக மாற்றுகிறது. இதே போன்ற போக்கு இப்போது சிறிய வலைப்பதிவுகள் மற்றும் பொழுதுபோக்கு இணையதளங்களிலும் காணப்படுகிறது.

இந்த அதிகரிப்பு ஏன் முக்கியமானது

மனிதப் பார்வையாளர்கள் பிரபலமான பக்கங்களில்—முகப்புப் பக்கங்கள், சிறப்பம்சக் கட்டுரைகள் மற்றும் பிற நன்கு அறியப்பட்ட உள்ளடக்கங்களில்—அதிக நேரம் செலவிடுகிறார்கள். CDNs அந்தப் பக்கங்களை எட்ஜ் லொகேஷன்களில் (edge locations) சேமித்து (cache) வைப்பதால், ஒரிஜின் சர்வர் (origin server) அரிதாகவே அதிக வேலைகளைச் செய்ய வேண்டியுள்ளது. இதற்கு நேர்மாறாக, AI கிராலர்கள் ஒரே நேரத்தில் ஆயிரக்கணக்கான அறியப்படாத URL-களைத் தேடித் திரட்டுகின்றன (scrape). அந்தப் பக்கங்கள் அரிதாகவே சேமிக்கப்படுவதால் (cached), ஒவ்வொரு கோரிக்கையும் (request) விக்கிமீடியாவின் ஒரிஜின் உள்கட்டமைப்பிற்கே (origin infrastructure) செல்ல வேண்டியுள்ளது. இதன் விளைவாக: மொத்தப் போக்குவரத்தில் மிகச் சிறிய பகுதிக்காகவே கணினித் திறன் (compute), சேமிப்பு (storage) மற்றும் நெட்வொர்க் பயன்பாடு ஆகியவை விகிதாச்சாரத்திற்கு மீறி அதிகரிக்கின்றன.

இந்தத் தரவை வெளியிட்ட பொறியியல் வலைப்பதிவு குறிப்பிடுவது என்னவென்றால், ஒட்டுமொத்த கோரிக்கைகளில் பாட்கள் ஒரு சிறிய பகுதியையே கொண்டிருந்தாலும், அவை "செலவுமிக்க" பிரிவில் ஆதிக்கம் செலுத்துகின்றன.

இதனால் பாதிக்கப்படுபவர்கள் யார்

சிறிய அளவிலான இணையதள இயக்குபவர்களுக்கு அத்தகைய பாதுகாப்பு (cushion) இல்லை. இந்த மறைமுகச் செலவு பணத்தை மட்டும் சார்ந்தது அல்ல; இது உண்மையான பார்வையாளர்களுக்கான இணையதளத்தின் செயல்திறன் குறைவதற்கும் வழிவகுக்கும்.

இணையதள உரிமையாளர்கள் என்ன செய்யலாம்

  • ரேட்-லிமிட்டிங் (rate-limiting) மூலம் தொடங்குங்கள் – ஒரு குறிப்பிட்ட கால இடைவெளியில் ஒரு ஐபி (IP) முகவரியிலிருந்து வரக்கூடிய கோரிக்கைகளின் எண்ணிக்கையைக் கட்டுப்படுத்துங்கள். இது ஆக்ரோஷமான கிராலர்களைத் தடையின்றித் தடுக்காமல், அவற்றின் வேகத்தைக் குறைக்க உதவும்.
  • காட்சித்திறன் மற்றும் செலவை ஒப்பிட்டுப் பாருங்கள் – ஒரு தேடுபொறி பாட்டைத் தடுப்பது போக்குவரத்தைக் குறைக்கலாம், ஆனால் அது உங்கள் பக்கங்களை தேடல் குறியீடுகளிலிருந்து (indexes) நீக்கிவிடக்கூடும், இது உங்கள் இணையதளத்தை மக்கள் எளிதாகக் கண்டறிவதைத் தடுக்கும்.
  • பாட்களை வகைப்படுத்துங்கள் – அனைத்து கிராலர்களும் ஒரே மாதிரியானவை அல்ல. சில தேடுபொறிகளுக்கான கருவிகளாக இருந்து போக்குவரத்தைக் கொண்டு வருகின்றன; மற்றவை எந்த மதிப்பையும் சேர்க்காத வெறும் ஸ்கிராப்பர்கள் (scrapers) மட்டுமே.
  • புரூஃப்-ஆஃப்-வொர்க் (proof-of-work) சவால்களைப் பயன்படுத்துங்கள் – ஒரு பக்கத்தைக் காண்பிப்பதற்கு முன் ஒரு சிறிய கணக்கீட்டுப் புதிரைத் (computational puzzle) தீர்க்கச் சொல்லுங்கள். மனிதப் பார்வையாளர்கள் அதை உடனடியாகத் தீர்த்துவிடுவார்கள்; ஆனால் பாட்கள் கூடுதல் கணக்கீட்டுத் திறனைப் பயன்படுத்த வேண்டியிருக்கும், இது அவற்றின் செலவை அதிகரிக்கும்.
  • CDN பகுப்பாய்வைப் (analytics) பயன்படுத்துங்கள் – பெரும்பாலான CDNs ஒவ்வொரு பாட்டிற்கும் தனித்தனியான கோரிக்கை அளவீடுகளைக் (metrics) காட்டுகின்றன. எந்த முகவர்கள் அடிக்கடி ஒரிஜின் சர்வரைத் தொடர்பு கொள்கிறார்கள் என்பதைக் கண்டறிந்து, அதற்கேற்ப விதிகளை அமைத்திடுங்கள்.

இதிலிருந்து நாம் புரிந்துகொள்ள வேண்டியது எளிது: AI கிராலர்கள் இனி வெறும் ஆர்வத்தைத் தூண்டும் விஷயங்கள் மட்டுமல்ல; அவை கணக்கிடக்கூடிய ஒரு செலவுப் பகுதியாகும். நீங்கள் ஒரு உலகளாவிய கலைக்களஞ்சியத்தை நடத்தினாலும் அல்லது ஒரு சிறிய போர்ட்ஃபோலியோ இணையதளத்தை நடத்தினாலும், பாட் போக்குவரத்தை உங்கள் உள்கட்டமைப்பு பட்ஜெட்டில் ஒரு முக்கியப் பிரிவாகக் கருதுவது, எதிர்பாராத கட்டணங்களைத் தவிர்க்கவும், உண்மையான பயனர்களுக்கு உங்கள் இணையதளம் விரைவாகச் செயல்படவும் உதவும்.