Tim SEO marketplace tersebut menulis ulang aturan pengindeksannya setelah kebijakan sederhana “kurang dari 3 listing = noindex” menyebabkan halaman kategori menghilang dari Google dan butuh waktu berminggu-minggu untuk kembali. Dengan menambahkan catatan “unlock” satu arah yang memungkinkan sebuah halaman berpindah dari noindex ke index tetapi tidak pernah sebaliknya, situs tersebut berhasil menghentikan fluktuasi tersebut.

Mengapa aturan asli tersebut berbalik menjadi bumerang

Platform iklan baris ini menghasilkan banyak halaman kategori-dan-lokasi. Saat sebuah halaman pertama kali muncul, sering kali halaman tersebut hanya berisi sedikit listing, sehingga tim memutuskan untuk menyembunyikannya dari pencarian sampai mencapai ambang batas minimal tiga item. Logikanya sederhana:

  • < 3 listing → tambahkan meta tag noindex
  • ≥ 3 listing → hapus tag tersebut (izinkan pengindeksan)

Awalnya, hal ini menjaga halaman tipis (thin pages) dengan nilai rendah agar tetap berada di luar hasil pencarian Google. Masalah muncul saat masa berlaku listing berakhir. Sebuah halaman dengan lima listing pada satu hari bisa turun menjadi dua di hari berikutnya, dan seketika kembali ke noindex. Google mematuhinya, menghapus URL tersebut dari indeksnya, dan halaman tersebut kehilangan peringkat apa pun yang telah dibangunnya. Saat listing baru tiba, halaman tersebut menjadi dapat diindeks kembali, tetapi proses masuk kembali memakan waktu berminggu-minggu.

Hasilnya adalah siklus “on-off” yang terus-menerus: halaman masuk ke indeks, menghilang, masuk kembali, dan seterusnya.

Perbaikan “unlock” satu arah

Cacat utamanya adalah aturan tersebut tidak memiliki memori; ia menghitung ulang ambang batas pada setiap permintaan. Tim memperkenalkan tabel database kecil—seo_unlocks—yang mencatat kapan sebuah halaman pertama kali mencapai tanda tiga listing. Alur kerja barunya adalah:

  1. Periksa jumlah listing. Jika halaman memiliki tiga atau lebih listing aktif, lanjutkan.
  2. Tulis baris unlock. Masukkan catatan untuk halaman tersebut ke dalam seo_unlocks.
  3. Perlakukan halaman sebagai dapat diindeks secara permanen. Meskipun jumlah listing di kemudian hari turun di bawah tiga, keberadaan baris unlock menjaga halaman tersebut agar tidak masuk ke alur noindex.

Karena unlock hanya dapat ditulis satu kali, sebuah halaman dapat berpindah dari “noindex” ke “index” tetapi tidak pernah sebaliknya. Tim menambahkan pengaman agar URL yang difilter (misalnya, hasil pencarian dengan rentang harga) tidak dapat membuat unlock untuk kategori induknya, dan membungkus panggilan database dalam blok try/catch untuk mencegah kegagalan DB merusak seluruh situs.

Apa artinya ini bagi crawl budget dan thin pages

Kesalahpahaman umum adalah bahwa noindex menghemat crawl budget. Google tetap harus mengambil halaman tersebut, membaca tag-nya, lalu menghapusnya dari indeks. Jika tujuannya adalah untuk mencegah Google meminta seluruh pola URL, alat yang tepat adalah robots.txt. Gunakan noindex hanya jika Anda ingin Google melihat halaman tersebut tetapi tidak menampilkannya di hasil pencarian.

Untuk direktori, papan lowongan kerja, dan marketplace yang mengandalkan sejumlah besar halaman yang dibuat secara otomatis, pelajarannya jelas: aturan thin-page harus dipasangkan dengan lapisan persistensi (persistence layer) yang mengingat kapan sebuah halaman telah mendapatkan tempat di indeks. Tanpa memori tersebut, penurunan konten sementara dapat menyebabkan halaman kehilangan peringkat yang telah dibangunnya, dan proses masuk kembali dapat memakan waktu berminggu-minggu.

Kesimpulan

Aturan statis “jika jumlah < 3 maka noindex” menciptakan volatilitas SEO untuk situs listing yang dinamis. Menambahkan catatan unlock satu arah memberikan memori pada aturan tersebut, memungkinkan halaman untuk mendapatkan dan mempertahankan status indeksnya bahkan ketika jumlah listing berfluktuasi. Pasangkan hal itu dengan penggunaan robots.txt yang tepat untuk penghematan crawl budget yang sesungguhnya, dan Anda dapat melindungi peringkat sekaligus sumber daya server.