Kawalan Crawler AI Baharu Cloudflare
Trafik laman web sedang berubah.
Dahulu, enjin carian merangkak (crawl) laman anda untuk membantu orang mencari anda. Ia adalah urusan yang mudah. AI telah menjadikan perkara ini jauh lebih kompleks.
Sebuah bot mungkin merangkak halaman anda untuk menunjukkannya dalam keputusan carian. Itu berbeza dengan bot yang merangkak halaman anda untuk melatih model AI.
Cloudflare sedang mengubah cara anda menguruskan perkara ini. Pada 1 Julai 2026, semua pelanggan akan mendapat kawalan trafik AI baharu. Ini membolehkan anda membahagikan trafik kepada tiga kumpulan:
- Search: Bot yang mengindeks kandungan untuk enjin carian atau jawapan AI.
- Agent: Bot yang bertindak bagi pihak pengguna untuk menyelesaikan tugasan.
- Training: Bot yang mengumpul data untuk melatih atau memperhalusi (fine-tune) model AI.
Peralihan ini mengubah keterlihatan menjadi satu keputusan polisi akses. Ia bukan lagi sekadar keputusan SEO.
Jika anda mengendalikan syarikat SaaS, halaman awam anda seperti dokumentasi, harga, dan pusat bantuan memberikan nilai. Ia membantu anda mendapatkan dan menyokong pelanggan.
Anda mesti memutuskan sejauh mana akses yang ingin anda berikan.
Soalan lama ialah: Bolehkah enjin carian mencari kami? Soalan baharu ialah: Sistem automatik manakah yang patut menggunakan laman kami, dan untuk tujuan apa?
Jangan anggap semua bot AI adalah sama.
Bot carian membantu pengguna mencari produk anda. Menyekat mereka mungkin menyebabkan anda tidak kelihatan dalam keputusan carian berkuasa AI.
Ejen AI boleh menjadi berguna. Seorang ejen mungkin melawat halaman harga anda untuk membantu pengguna membandingkan pelan. Walau bagaimanapun, anda mesti memutuskan sama ada ejen-ejen ini memerlukan pengesahan (authentication) atau had kadar (rate limits).
Bot latihan menawarkan nilai langsung yang lebih rendah. Mereka menggunakan kandungan anda untuk membina model tetapi mungkin tidak menghantar pengguna kembali ke laman anda. Banyak syarikat memilih untuk menyekat bot ini.
Polisi yang bijak adalah seperti ini:
- Benarkan bot carian mengindeks produk dan halaman bantuan anda.
- Benarkan ejen yang diarahkan pengguna untuk mengakses dokumentasi awam.
- Sekat atau berikan lesen akses untuk bot latihan.
- Pastikan semua kawasan produk yang memerlukan pengesahan kekal dilindungi.
Semak trafik anda secara berkala. Lihat kategori crawler, beban pelayan, dan keterlihatan carian.
Matlamatnya bukan untuk menyekat setiap bot. Matlamatnya adalah untuk mengawal apa yang mereka lakukan.