Hentikan Bot Data Mining Sebelum Mereka Mencuri Konten Anda
Bot data mining mencuri konten, struktur, dan trafik Anda. Mereka menyalin katalog produk, deskripsi, dan harga Anda dalam semalam. Suatu hari Anda berada di peringkat pertama. Keesokan harinya, situs-situs tiruan menggunakan data yang persis sama untuk bersaing dengan Anda.
Anda tidak bisa menghentikan setiap bot. Tujuan Anda adalah membuat proses scraping menjadi terlalu mahal dan lambat bagi mereka.
Cara mengidentifikasi scraper:
- Permintaan halaman terjadi terlalu cepat untuk manusia.
- Crawler mengakses halaman tanpa mengeklik tautan.
- Lonjakan trafik terjadi pada jam-jam yang tidak wajar.
- Satu alamat IP mengakses 200 halaman dalam 20 detik.
Cara melindungi situs Anda:
Gunakan Rate Limiting Tetapkan batasan tentang berapa banyak permintaan yang dapat dilakukan oleh sebuah IP. Jika sebuah IP mengirimkan terlalu banyak permintaan, batasi atau blokir mereka.
Terapkan Deteksi Perilaku (Behavioral Detection) Bot memuat JavaScript secara instan. Manusia tidak. Gunakan alat yang memantau pergerakan kursor dan kecepatan interaksi untuk membedakan keduanya.
Amankan API Anda API publik tanpa batasan adalah celah kebocoran yang besar. Letakkan endpoint Anda di balik kunci (key) atau token. Batasi berapa banyak panggilan yang dapat dilakukan oleh satu kunci.
Gunakan Konten Dinamis Muat konten utama Anda hanya setelah adanya interaksi pengguna. Ini mencegah bot melakukan ekstraksi teks secara massal selama proses crawl sederhana.
Manfaatkan CDN Anda Gunakan CDN Anda untuk memblokir jaringan bot yang sudah dikenal. Anda juga dapat memberikan tantangan kepada trafik yang mencurigakan dengan pemeriksaan interstitial.
Ciptakan Hambatan (Friction) Gunakan gerbang sederhana seperti persyaratan email untuk konten bernilai tinggi. Sebagian besar scraper tidak akan melewati tahap ini.
Berhentilah menerapkan perbaikan generik. Temukan data dengan nilai tertinggi Anda dan lindungi titik-titik krusial tersebut. Jika Anda membuat proses ekstraksi menjadi sulit, sebagian besar bot akan beralih ke target yang lebih mudah.
Sumber: https://dev.to/julianneagu/stop-data-mining-bots-before-they-steal-your-content-22o4