İçeriğiniz Çalınmadan Önce Veri Madenciliği Botlarını Durdurun
Veri madenciliği botları içeriğinizi, yapınızı ve trafiğinizi çalar. Ürün kataloglarınızı, açıklamalarınızı ve fiyatlarınızı bir gecede kopyalarlar. Bir gün birinci sırada yer alırsınız. Ertesi gün, ayna (mirror) siteler sizinle rekabet etmek için verilerinizin aynısını kullanır.
Her botu durduramazsınız. Amacınız, veri kazımayı (scraping) onlar için çok pahalı ve yavaş hale getirmek olmalıdır.
Bir scraper (veri kazıyıcı) nasıl tanımlanır:
- Sayfa istekleri bir insan için çok hızlı gerçekleşir.
- Crawler'lar bağlantılara tıklamadan sayfalara erişir.
- Trafik, alışılmadık saatlerde aniden yükselir.
- Tek bir IP, 20 saniye içinde 200 sayfaya erişir.
Sitenizi nasıl korursunuz:
Rate Limiting (İstek Sınırlama) Kullanın Bir IP'nin kaç istek yapabileceğine dair sınırlar belirleyin. Eğer bir IP çok fazla istek gönderirse, bunları sınırlandırın veya engelleyin.
Davranışsal Tespit Uygulayın Botlar JavaScript'i anında yükler. İnsanlar ise yüklemez. Onları ayırt etmek için imleç hareketine ve etkileşim hızına bakan araçlar kullanın.
API'lerinizi Güvence Altına Alın Sınırlandırılmamış halka açık API'ler büyük veri sızıntılarıdır. Uç noktalarınızı (endpoints) anahtarlar veya token'lar arkasına koyun. Tek bir anahtarın yapabileceği çağrı sayısını sınırlayın.
Dinamik İçerik Kullanın Ana içeriğinizi yalnızca bir kullanıcı etkileşiminden sonra yükleyin. Bu, botların basit bir tarama sırasında metinleri toplu halde çekmesini engeller.
CDN'den Yararlanın Bilinen bot ağlarını engellemek için CDN'inizi kullanın. Ayrıca şüpheli trafiği bir ara kontrol (interstitial check) ile test edebilirsiniz.
Süreçleri Zorlaştırın (Friction) Yüksek değerli içerikler için e-posta gereksinimi gibi basit engeller kullanın. Çoğu scraper bu aşamayı geçemeyecektir.
Genel geçer çözümler uygulamayı bırakın. En yüksek değerli verilerinizi bulun ve bu spesifik kritik noktaları koruyun. Veri çekme işlemini sinir bozucu hale getirirseniz, çoğu bot daha kolay bir hedef bulmak için başka yere yönelecektir.
Kaynak: https://dev.to/julianneagu/stop-data-mining-bots-before-they-steal-your-content-22o4