Kontrol Crawler AI Baru dari Cloudflare
Lalu lintas situs web sedang berubah.
Di masa lalu, mesin pencari merayapi situs Anda untuk membantu orang menemukan Anda. Itu adalah kesepakatan yang sederhana. AI telah membuat hal ini menjadi jauh lebih kompleks.
Sebuah bot mungkin merayapi halaman Anda untuk menampilkannya dalam hasil pencarian. Hal itu berbeda dengan bot yang merayapi halaman Anda untuk melatih model AI.
Cloudflare mengubah cara Anda mengelola hal ini. Pada 1 Juli 2026, semua pelanggan akan mendapatkan kontrol lalu lintas AI baru. Ini memungkinkan Anda memisahkan lalu lintas ke dalam tiga grup:
- Search: Bot yang mengindeks konten untuk mesin pencari atau jawaban AI.
- Agent: Bot yang bertindak atas nama pengguna untuk menyelesaikan suatu tugas.
- Training: Bot yang mengumpulkan data untuk melatih atau melakukan fine-tuning pada model AI.
Pergeseran ini mengubah visibilitas menjadi keputusan kebijakan akses. Ini bukan lagi sekadar keputusan SEO.
Jika Anda menjalankan perusahaan SaaS, halaman publik Anda seperti dokumentasi, harga, dan pusat bantuan memberikan nilai. Halaman-halaman tersebut membantu Anda mendapatkan dan mendukung pelanggan.
Anda harus memutuskan seberapa banyak akses yang ingin Anda berikan.
Pertanyaan lamanya adalah: Bisakah mesin pencari menemukan kami? Pertanyaan barunya adalah: Sistem otomatis mana yang boleh menggunakan situs kami, dan untuk tujuan apa?
Jangan menganggap semua bot AI itu sama.
Bot pencarian membantu pengguna menemukan produk Anda. Memblokir mereka mungkin membuat Anda tidak terlihat dalam hasil pencarian bertenaga AI.
Agen AI bisa sangat berguna. Seorang agen mungkin mengunjungi halaman harga Anda untuk membantu pengguna membandingkan paket. Namun, Anda harus memutuskan apakah agen-agen ini memerlukan autentikasi atau pembatasan laju (rate limits).
Bot pelatihan menawarkan nilai langsung yang lebih sedikit. Mereka menggunakan konten Anda untuk membangun model tetapi mungkin tidak mengarahkan pengguna kembali ke situs Anda. Banyak perusahaan memilih untuk memblokir bot jenis ini.
Kebijakan yang cerdas terlihat seperti ini:
- Izinkan bot pencarian untuk mengindeks halaman produk dan bantuan Anda.
- Izinkan agen yang diarahkan pengguna untuk mengakses dokumentasi publik.
- Blokir atau berikan lisensi akses untuk bot pelatihan.
- Tetap lindungi semua area produk yang memerlukan autentikasi.
Tinjau lalu lintas Anda secara berkala. Perhatikan kategori crawler, beban server, dan visibilitas pencarian.
Tujuannya bukan untuk memblokir setiap bot. Tujuannya adalah untuk mengontrol apa yang mereka lakukan.