మీ కంటెంట్ను దొంగిలించేలోపే డేటా మైనિંગ బాట్లను అడ్డుకోండి
డేటా మైనિંગ బాట్లు మీ కంటెంట్, స్ట్రక్చర్ మరియు ట్రాఫిక్ను దొంగిలిస్తాయి. అవి రాత్రికి రాత్రే మీ ప్రొడక్ట్ క్యాటలాగ్లు, వివరణలు మరియు ధరలను కాపీ చేస్తాయి. ఒకరోజు మీరు మొదటి స్థానంలో ఉంటారు. మరుసటి రోజే, మిర్రర్ సైట్లు మీతో పోటీ పడటానికి మీ ఖచ్చితమైన డేటాను ఉపయోగిస్తాయి.
మీరు ప్రతి బాట్ను ఆపలేరు. స్క్రాపింగ్ను వారికి చాలా ఖరీదైనదిగా మరియు నెమ్మదిగా మార్చడమే మీ లక్ష్యం.
స్క్రాపర్ను ఎలా గుర్తించాలి:
- పేజీ రిక్వెస్ట్లు మనిషి చేయలేనంత వేగంగా జరుగుతాయి.
- క్రాలర్లు లింక్లను క్లిక్ చేయకుండానే పేజీలను యాక్సెస్ చేస్తాయి.
- వింత సమయాల్లో ట్రాఫిక్ అకస్మాత్తుగా పెరుగుతుంది.
- ఒకే IP 20 సెకన్లలో 200 పేజీలను హిట్ చేస్తుంది.
మీ సైట్ను ఎలా రక్షించుకోవాలి:
Rate Limiting ఉపయోగించండి ఒక IP ఎన్ని రిక్వెస్ట్లను చేయవచ్చో పరిమితులు విధించండి. ఒక IP నుండి ఎక్కువ రిక్వెస్ట్లు వస్తే, వాటిని పరిమితం చేయండి లేదా బ్లాక్ చేయండి.
Behavioral Detection అమలు చేయండి బాట్లు JavaScriptను తక్షణమే లోడ్ చేస్తాయి. మనుషులు అలా చేయలేరు. వాటిని వేరు చేయడానికి కర్సర్ మూవ్మెంట్ మరియు ఇంటరాక్షన్ స్పీడ్ను గమనించే టూల్స్ను ఉపయోగించండి.
మీ APIలను సురక్షితం చేయండి పరిమితులు లేని పబ్లిక్ APIలు పెద్ద లీక్లు. మీ ఎండ్పాయింట్లను కీలు (keys) లేదా టోకెన్ల వెనుక ఉంచండి. ఒకే కీ ఎన్ని కాల్స్ చేయవచ్చో పరిమితం చేయండి.
Dynamic Content ఉపయోగించండి యూజర్ ఇంటరాక్షన్ తర్వాత మాత్రమే మీ ప్రధాన కంటెంట్ను లోడ్ చేయండి. ఇది సాధారణ క్రాల్ సమయంలో బాట్లు భారీగా టెక్స్ట్ను సేకరించకుండా నిరోధిస్తుంది.
మీ CDNని ఉపయోగించుకోండి తెలిసిన బాట్ నెట్వర్క్లను బ్లాక్ చేయడానికి మీ CDNని ఉపయోగించండి. అనుమానాస్పద ట్రాఫిక్ను ఇంటర్స్టిషియల్ చెక్ (interstitial check) ద్వారా పరీక్షించవచ్చు.
Friction సృష్టించండి విలువైన కంటెంట్ కోసం ఈమెయిల్ అవసరం వంటి సాధారణ గేట్లను ఉపయోగించండి. చాలా స్క్రాపర్లు ఈ దశను దాటలేవు.
సాధారణ పరిష్కారాలను అన్వయించడం ఆపండి. మీ అత్యంత విలువైన డేటాను గుర్తించి, ఆ నిర్దిష్ట పాయింట్లను రక్షించండి. డేటా సేకరణను కష్టతరం చేస్తే, చాలా బాట్లు సులభమైన లక్ష్యం వైపు మళ్లుతాయి.
Source: https://dev.to/julianneagu/stop-data-mining-bots-before-they-steal-your-content-22o4