உங்கள் உள்ளடக்கத்தைத் திருடும் முன் Data Mining Bots-களைத் தடுத்து நிறுத்துங்கள்
Data mining bots உங்கள் உள்ளடக்கம், கட்டமைப்பு மற்றும் போக்குவரத்தைத் (traffic) திருடுகின்றன. அவை உங்கள் தயாரிப்பு பட்டியல்கள் (product catalogs), விளக்கங்கள் மற்றும் விலைகளை ஒரே இரவில் நகலெடுத்துவிடுகின்றன. ஒரு நாள் நீங்கள் முதலிடத்தில் இருப்பீர்கள். அடுத்த நாள், மிரர் தளங்கள் (mirror sites) உங்கள் அதே தரவைப் பயன்படுத்தி உங்களுடன் போட்டியிடும்.
உங்களால் ஒவ்வொரு பாட்டையும் தடுக்க முடியாது. தரவுகளைத் திருடுவதை (scraping) அவர்களுக்கு மிகவும் செலவு மிகுந்ததாகவும் மெதுவானதாகவும் மாற்றுவதே உங்கள் இலக்காகும்.
ஒரு ஸ்கிராப்பரை (scraper) எவ்வாறு கண்டறிவது:
- மனிதர்களால் செய்ய முடியாத அளவுக்கு மிக வேகமாகப் பக்கக் கோரிக்கைகள் (page requests) வருகின்றன.
- Crawlers இணைப்புகளை (links) கிளிக் செய்யாமலேயே பக்கங்களை அணுகுகின்றன.
- வழக்கத்திற்கு மாறான நேரங்களில் போக்குவரத்து (traffic) திடீரென அதிகரிக்கிறது.
- ஒரு தனிப்பட்ட IP 20 வினாடிகளில் 200 பக்கங்களை அணுகுகிறது.
உங்கள் தளத்தைப் பாதுகாப்பது எப்படி:
Use Rate Limiting ஒரு IP எத்தனை கோரிக்கைகளை (requests) அனுப்ப முடியும் என்பதற்கான வரம்புகளை நிர்ணயிக்கவும். ஒரு IP அதிகப்படியான கோரிக்கைகளை அனுப்பினால், அவற்றைச் சுருக்கவும் அல்லது தடுக்கவும்.
Implement Behavioral Detection பாட்கள் JavaScript-ஐ உடனடியாகப் பதிவிறக்கம் செய்கின்றன. மனிதர்கள் அவ்வாறு செய்வதில்லை. கர்சர் இயக்கம் (cursor movement) மற்றும் ஊடாடும் வேகம் (interaction speed) ஆகியவற்றைக் கொண்டு அவற்றை வேறுபடுத்தி அறிய உதவும் கருவிகளைப் பயன்படுத்தவும்.
Secure Your APIs வரம்புகள் இல்லாத பொதுவான APIs மிகப்பெரிய கசிவுகளாகும். உங்கள் endpoints-களை keys அல்லது tokens மூலம் பாதுகாக்கவும். ஒரு தனிப்பட்ட key எத்தனை அழைப்புகளை (calls) செய்ய முடியும் என்பதைக் கட்டுப்படுத்தவும்.
Use Dynamic Content பயனர் ஒரு செயலைச் செய்த பிறகு மட்டுமே உங்கள் முக்கிய உள்ளடக்கத்தைப் பதிவிறக்கம் செய்யுமாறு அமைக்கவும். இது ஒரு சாதாரண crawl செய்யும் போது பாட்கள் பெருமளவில் உரையைத் திருடுவதைத் தடுக்கும்.
Leverage your CDN அறியப்பட்ட பாட் நெட்வொர்க்குகளைத் தடுக்க உங்கள் CDN-ஐப் பயன்படுத்தவும். சந்தேகத்திற்குரிய போக்குவரத்தை ஒரு இடைக்காலச் சரிபார்ப்பு (interstitial check) மூலம் நீங்கள் சவாலுக்கு உட்படுத்தலாம்.
Create Friction அதிக மதிப்புள்ள உள்ளடக்கத்திற்கு மின்னஞ்சல் தேவை போன்ற எளிய கட்டுப்பாடுகளைப் பயன்படுத்தவும். பெரும்பாலான ஸ்கிராப்பர்கள் இந்த நிலையைத் தாண்ட முடியாது.
பொதுவான தீர்வுகளைப் பயன்படுத்துவதை நிறுத்துங்கள். உங்கள் மிக உயர்ந்த மதிப்புள்ள தரவைக் கண்டறிந்து, அந்த குறிப்பிட்ட முக்கியப் புள்ளிகளைப் பாதுகாக்கவும். தரவுப் பிரித்தெடுப்பதை (extraction) கடினமாக்கினால், பெரும்பாலான பாட்கள் எளிதான இலக்கை நோக்கிச் செல்லும்.
ஆதாரம்: https://dev.to/julianneagu/stop-data-mining-bots-before-they-steal-your-content-22o4