ನಿಮ್ಮ ಕಂಟೆಂಟ್ ಅನ್ನು ಕದಿಯುವ ಮೊದಲು ಡೇಟಾ ಮೈನಿಂಗ್ ಬಾಟ್ಗಳನ್ನು ತಡೆಯಿರಿ
ಡೇಟಾ ಮೈನಿಂಗ್ ಬಾಟ್ಗಳು ನಿಮ್ಮ ಕಂಟೆಂಟ್, ರಚನೆ (structure) ಮತ್ತು ಟ್ರಾಫಿಕ್ ಅನ್ನು ಕದಿಯುತ್ತವೆ. ಅವು ನಿಮ್ಮ ಉತ್ಪನ್ನಗಳ ಕ್ಯಾಟಲಾಗ್ಗಳು, ವಿವರಣೆಗಳು ಮತ್ತು ಬೆಲೆಗಳನ್ನು ರಾತ್ರೋರಾತ್ರಿ ನಕಲು ಮಾಡುತ್ತವೆ. ಒಂದು ದಿನ ನೀವು ಮೊದಲ ಸ್ಥಾನದಲ್ಲಿದ್ದರೆ, ಮರುದಿನ ಮಿರರ್ ಸೈಟ್ಗಳು ನಿಮ್ಮೊಂದಿಗೆ ಸ್ಪರ್ಧಿಸಲು ನಿಮ್ಮದೇ ಆದ ನಿಖರವಾದ ಡೇಟಾವನ್ನು ಬಳಸುತ್ತವೆ.
ನೀವು ಪ್ರತಿಯೊಂದು ಬಾಟ್ ಅನ್ನು ತಡೆಯಲು ಸಾಧ್ಯವಿಲ್ಲ. ಸ್ಕ್ರೇಪಿಂಗ್ (scraping) ಪ್ರಕ್ರಿಯೆಯನ್ನು ಅವರಿಗಾಗಿ ತುಂಬಾ ದುಬಾರಿ ಮತ್ತು ನಿಧಾನವಾಗಿಸುವುದು ನಿಮ್ಮ ಗುರಿಯಾಗಿರಲಿ.
ಸ್ಕ್ರೇಪರ್ ಅನ್ನು ಗುರುತಿಸುವುದು ಹೇಗೆ:
- ಪೇಜ್ ರಿಕ್ವೆಸ್ಟ್ಗಳು ಮನುಷ್ಯರಿಗಿಂತ ತುಂಬಾ ವೇಗವಾಗಿ ನಡೆಯುತ್ತವೆ.
- ಕ್ರಾಲರ್ಗಳು ಲಿಂಕ್ಗಳನ್ನು ಕ್ಲಿಕ್ ಮಾಡದೆ ಪೇಜ್ಗಳನ್ನು ಪ್ರವೇಶಿಸುತ್ತವೆ.
- ವಿಚಿತ್ರ ಸಮಯದಲ್ಲಿ ಟ್ರಾಫಿಕ್ ಏರಿಕೆ ಕಂಡುಬರುತ್ತದೆ.
- ಒಂದೇ IP ವಿಳಾಸವು 20 ಸೆಕೆಂಡುಗಳಲ್ಲಿ 200 ಪೇಜ್ಗಳನ್ನು ವೀಕ್ಷಿಸುತ್ತದೆ.
ನಿಮ್ಮ ಸೈಟ್ ಅನ್ನು ರಕ್ಷಿಸುವುದು ಹೇಗೆ:
Rate Limiting ಬಳಸಿ ಒಂದು IP ಎಷ್ಟು ರಿಕ್ವೆಸ್ಟ್ಗಳನ್ನು ಮಾಡಬಹುದು ಎಂಬ ಮಿತಿಯನ್ನು ನಿಗದಿಪಡಿಸಿ. ಒಂದು IP ಹೆಚ್ಚು ರಿಕ್ವೆಸ್ಟ್ಗಳನ್ನು ಕಳುಹಿಸಿದರೆ, ಅವುಗಳನ್ನು ಮಿತಿಗೊಳಿಸಿ ಅಥವಾ ಬ್ಲಾಕ್ ಮಾಡಿ.
Behavioral Detection ಅನ್ನು ಜಾರಿಗೆ ತರండి ಬಾಟ್ಗಳು JavaScript ಅನ್ನು ತಕ್ಷಣವೇ ಲೋಡ್ ಮಾಡುತ್ತವೆ. ಮನುಷ್ಯರು ಹಾಗೆ ಮಾಡುವುದಿಲ್ಲ. ಅವುಗಳ ನಡುವಿನ ವ್ಯತ್ಯಾಸವನ್ನು ತಿಳಿಯಲು ಕರ್ಸರ್ ಚಲನೆ ಮತ್ತು ಇಂಟರಾಕ್ಷನ್ ವೇಗವನ್ನು ಗಮನಿಸುವ ಪರಿಕರಗಳನ್ನು (tools) ಬಳಸಿ.
ನಿಮ್ಮ APIs ಅನ್ನು ಸುರಕ್ಷಿತಗೊಳಿಸಿ ಮಿತಿಗಳಿಲ್ಲದ ಪಬ್ಲಿಕ್ APIs ದೊಡ್ಡ ಸೋರಿಕೆಯಾಗಿರುತ್ತವೆ. ನಿಮ್ಮ ಎಂಡ್ಪಾಯಿಂಟ್ಗಳನ್ನು (endpoints) ಕೀಗಳು ಅಥವಾ ಟೋಕನ್ಗಳ ಹಿಂದೆ ಇರಿಸಿ. ಒಂದು ಕೀ ಎಷ್ಟು ಬಾರಿ ಕರಲ್ ಮಾಡಬಹುದು ಎಂಬುದನ್ನು ಮಿತಿಗೊಳಿಸಿ.
Dynamic Content ಬಳಸಿ ಬಳಕೆದಾರರ ಇಂಟರಾಕ್ಷನ್ ನಂತರವಷ್ಟೇ ನಿಮ್ಮ ಮುಖ್ಯ ಕಂಟೆಂಟ್ ಅನ್ನು ಲೋಡ್ ಮಾಡಿ. ಇದು ಸರಳ ಕ್ರಾಲೈಂಗ್ ಸಮಯದಲ್ಲಿ ಬಾಟ್ಗಳು ಪಠ್ಯವನ್ನು ಬಲ್ಕ್ ಆಗಿ ಹೊರತೆಗೆಯುವುದನ್ನು ತಡೆಯುತ್ತದೆ.
ನಿಮ್ಮ CDN ಅನ್ನು ಬಳಸಿಕೊಳ್ಳಿ ತಿಳಿದಿರುವ ಬಾಟ್ ನೆಟ್ವರ್ಕ್ಗಳನ್ನು ಬ್ಲಾಕ್ ಮಾಡಲು ನಿಮ್ಮ CDN ಅನ್ನು ಬಳಸಿ. ನೀವು ಸಂಶಯಾಸ್ಪದ ಟ್ರಾಫಿಕ್ ಅನ್ನು ಇಂಟರ್ಸ್ಟೀಶಿಯಲ್ ಚೆಕ್ (interstitial check) ಮೂಲಕ ಪರೀಕ್ಷಿಸಬಹುದು.
Friction (ಅಡಚಣೆ) ಸೃಷ್ಟಿಸಿ ಹೆಚ್ಚಿನ ಮೌಲ್ಯದ ಕಂಟೆಂಟ್ಗಾಗಿ ಇಮೇಲ್ ಅಗತ್ಯವಿರುವಂತಹ ಸರಳ ಗೇಟ್ಗಳನ್ನು ಬಳಸಿ. ಹೆಚ್ಚಿನ ಸ್ಕ್ರೇಪರ್ಗಳು ಈ ಹಂತವನ್ನು ದಾಟಲು ಸಾಧ್ಯವಾಗುವುದಿಲ್ಲ.
ಸಾಮಾನ್ಯ ಪರಿಹಾರಗಳನ್ನು ಅನ್ವಯಿಸುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ನಿಮ್ಮ ಅತ್ಯಂತ ಮೌಲ್ಯಯುತ ಡೇಟಾವನ್ನು ಪತ್ತೆಹಚ್ಚಿ ಮತ್ತು ಆ ನಿರ್ದಿಷ್ಟ ಪ್ರೆಶರ್ ಪಾಯಿಂಟ್ಗಳನ್ನು (pressure points) ರಕ್ಷಿಸಿ. ನೀವು ಡೇಟಾ ಹೊರತೆಗೆಯುವ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಕಷ್ಟಕರವಾಗಿಸಿದರೆ, ಹೆಚ್ಚಿನ ಬಾಟ್ಗಳು ಸುಲಭವಾದ ಗುರಿಯನ್ನು ಹುಡುಕಿಕೊಂಡು ಹೋಗುತ್ತವೆ.
ಮೂಲ: https://dev.to/julianneagu/stop-data-mining-bots-before-they-steal-your-content-22o4