Ferma i bot di data mining prima che ti rubino i contenuti
I bot di data mining rubano i tuoi contenuti, la tua struttura e il tuo traffico. Copiano i tuoi cataloghi prodotti, le descrizioni e i prezzi durante la notte. Un giorno sei al primo posto nei risultati di ricerca. Il giorno dopo, siti specchio utilizzano i tuoi stessi dati per competere con te.
Non puoi fermare ogni singolo bot. Il tuo obiettivo è rendere lo scraping troppo costoso e lento per loro.
Come identificare uno scraper:
- Le richieste di pagina avvengono troppo velocemente per un essere umano.
- I crawler accedono alle pagine senza cliccare sui link.
- Picchi di traffico in orari insoliti.
- Un singolo IP colpisce 200 pagine in 20 secondi.
Come proteggere il tuo sito:
Use Rate Limiting Imposta dei limiti al numero di richieste che un IP può effettuare. Se un IP invia troppe richieste, limitale o bloccalo.
Implement Behavioral Detection I bot caricano JavaScript istantaneamente. Gli umani no. Usa strumenti che analizzano il movimento del cursore e la velocità di interazione per distinguerli.
Secure Your APIs Le API pubbliche senza limiti sono enormi falle di sicurezza. Proteggi i tuoi endpoint con chiavi o token. Limita il numero di chiamate che una singola chiave può effettuare.
Use Dynamic Content Carica il contenuto principale solo dopo un'interazione dell'utente. Questo impedisce ai bot di estrarre testi in massa durante una semplice scansione.
Leverage your CDN Usa la tua CDN per bloccare le reti di bot note. Puoi anche sottoporre il traffico sospetto a un controllo intermedio.
Create Friction Usa semplici barriere, come la richiesta di un'email per i contenuti di alto valore. La maggior parte degli scraper non supererà questa fase.
Smetti di applicare soluzioni generiche. Individua i tuoi dati di maggior valore e proteggi quei punti critici specifici. Se rendi l'estrazione frustrante, la maggior parte dei bot si sposterà verso un bersaglio più facile.
Fonte: https://dev.to/julianneagu/stop-data-mining-bots-before-they-steal-your-content-22o4