Reklamasi Anggaran Crawl
Google memutuskan berapa banyak URL yang dirayapi di situs Anda. Inilah anggaran crawl (crawl budget) Anda. Ini terdiri dari dua bagian: kapasitas crawl dan permintaan crawl.
Kapasitas crawl bergantung pada kecepatan server Anda. Jika server Anda merespons dengan cepat, Google akan merayapi lebih banyak halaman.
Permintaan crawl bergantung pada konten Anda. Jika konten Anda tetap segar dan populer, Google ingin melihatnya lebih sering.
Sebagian besar situs kecil tidak perlu mengkhawatirkan hal ini. Jika Anda memiliki kurang dari 10.000 halaman, fokuslah pada sitemap yang baik sebagai gantinya.
Anda hanya perlu bertindak jika Anda memiliki:
- Lebih dari 1 juta halaman unik.
- Lebih dari 10.000 halaman yang berubah setiap hari.
- Banyak URL yang tertahan sebagai "Discovered – currently not indexed" di Search Console.
Anggaran crawl yang terbuang biasanya berasal dari masalah struktural. Masalah umum meliputi:
- Navigasi berfacet (faceted navigation) dan parameter URL.
- Rantai filter atau kalender yang tak terbatas.
- Error Soft 404.
- Konten duplikat atau konten tipis (thin content).
- Rantai pengalihan (redirect chains) yang panjang.
- Waktu respons server yang lambat.
Ikuti langkah-langkah ini untuk memperbaiki anggaran crawl Anda:
- Gabungkan halaman duplikat dan gunakan tag canonical.
- Gunakan
robots.txtuntuk memblokir URL yang tidak penting. Jangan gunakannoindexuntuk hal ini. Google harus merayapi sebuah halaman untuk melihat tagnoindex, yang mana tetap membuang-buang anggaran. - Berikan kode status 404 atau 410 untuk halaman yang telah dihapus.
- Perbarui sitemap Anda dengan tanggal
lastmodyang benar. - Tingkatkan kecepatan server Anda untuk menambah kapasitas.
Beberapa ahli menyarankan untuk menghapus konten berkualitas rendah guna meningkatkan trafik. Sebuah studi menunjukkan peningkatan sebesar 67% setelah menghapus postingan lama yang tidak memiliki trafik. Berhati-hatilah. Menghapus konten meningkatkan kualitas dan fokus situs, tetapi ini bukan trik pertumbuhan yang terjamin.
Reklamasi anggaran crawl adalah tentang efisiensi. Hal ini memastikan Google menemukan halaman-halaman terbaik Anda dengan cepat. Ini tidak secara langsung mengubah peringkat (rankings) Anda.
Audit situs Anda sebelum menghapus apa pun. Lakukan pemangkasan (pruning) demi kualitas, bukan sekadar untuk mencapai angka tertentu.
Sumber: https://dev.to/mrtd/crawl-budget-reclamation-what-it-is-who-needs-it-and-the-pruning-playbook-139g