ทีม SEO ของมาร์เก็ตเพลสได้เขียนกฎการทำดัชนี (indexing rule) ใหม่ หลังจากนโยบายแบบง่ายๆ อย่าง “รายการน้อยกว่า 3 รายการ = noindex” ส่งผลให้หน้าหมวดหมู่หายไปจาก Google และต้องใช้เวลาหลายสัปดาห์กว่าจะกลับมา การเพิ่มบันทึกการ “ปลดล็อก” แบบทางเดียว (one-way “unlock” record) ซึ่งช่วยให้หน้าเว็บเปลี่ยนจาก noindex เป็น index ได้แต่ไม่สามารถเปลี่ยนกลับได้ ช่วยให้เว็บไซต์หยุดปัญหาการติดๆ ดับๆ นี้ได้

ทำไมกฎเดิมถึงให้ผลตรงกันข้าม

แพลตฟอร์มประกาศขายสินค้า (classifieds platform) สร้างหน้าหมวดหมู่และสถานที่ (category-and-location pages) จำนวนมาก เมื่อหน้าเว็บปรากฏขึ้นครั้งแรก มักจะมีรายการสินค้าเพียงไม่กี่รายการ ทีมงานจึงตัดสินใจซ่อนหน้านั้นจากการค้นหาจนกว่าจะมีรายการสินค้าถึงเกณฑ์ขั้นต่ำที่สามรายการ ตรรกะนี้ตรงไปตรงมามาก:

  • < 3 รายการ → เพิ่ม meta tag แบบ noindex
  • ≥ 3 รายการ → ลบแท็กออก (อนุญาตให้ทำดัชนี)

ในช่วงแรก วิธีนี้ช่วยกันไม่ให้หน้าเว็บที่มีเนื้อหาน้อย (thin pages) และมีมูลค่าต่ำปรากฏในผลการค้นหาของ Google แต่ปัญหาเกิดขึ้นเมื่อรายการสินค้าหมดอายุ หน้าเว็บที่มี 5 รายการในวันหนึ่งอาจลดเหลือเพียง 2 รายการในวันถัดไป ซึ่งจะทำให้เปลี่ยนกลับเป็น noindex ทันที Google ทำตามคำสั่งโดยการนำ URL ออกจากดัชนี และหน้าเว็บนั้นก็สูญเสียอันดับ (ranking) ที่เคยสร้างมา เมื่อมีรายการสินค้าใหม่เข้ามา หน้าเว็บก็กลับมาทำดัชนีได้อีกครั้ง แต่กระบวนการกลับเข้าสู่ดัชนีนั้นต้องใช้เวลาหลายสัปดาห์

ผลลัพธ์ที่ได้คือวงจร “เปิด-ปิด” ที่เกิดขึ้นตลอดเวลา: หน้าเว็บเข้าสู่ดัชนี หายไป แล้วก็กลับเข้ามาใหม่ วนเวียนไปเช่นนี้

การแก้ไขด้วยการ “ปลดล็อก” แบบทางเดียว

ข้อบกพร่องหลักคือ กฎนี้ไม่มีความจำ (no memory) มันจะคำนวณเกณฑ์ใหม่ทุกครั้งที่มีการเรียกใช้งาน ทีมงานจึงได้นำตารางฐานข้อมูลขนาดเล็กที่ชื่อว่า seo_unlocks มาใช้ เพื่อบันทึกว่าหน้าเว็บนั้นมีรายการสินค้าถึงเกณฑ์ 3 รายการครั้งแรกเมื่อใด เวิร์กโฟลว์ใหม่คือ:

  1. ตรวจสอบจำนวนรายการสินค้า หากหน้าเว็บมีรายการสินค้าที่ใช้งานอยู่ตั้งแต่ 3 รายการขึ้นไป ให้ดำเนินการต่อ
  2. เขียนแถวข้อมูลการปลดล็อก เพิ่มบันทึกสำหรับหน้าเว็บนั้นลงใน seo_unlocks
  3. ถือว่าหน้าเว็บนั้นสามารถทำดัชนีได้ถาวร แม้ว่าจำนวนรายการในภายหลังจะลดลงต่ำกว่า 3 รายการ แต่การมีแถวข้อมูลการปลดล็อกจะช่วยป้องกันไม่ให้หน้าเว็บกลับเข้าสู่กระบวนการ noindex

เนื่องจากการปลดล็อกสามารถเขียนได้เพียงครั้งเดียว หน้าเว็บจึงสามารถเปลี่ยนจาก “noindex” เป็น “index” ได้ แต่ไม่สามารถเปลี่ยนกลับได้ ทีมงานได้เพิ่มระบบป้องกันเพื่อไม่ให้ URL ที่ผ่านการกรอง (เช่น ผลการค้นหาที่มีช่วงราคา) สามารถสร้างการปลดล็อกให้กับหมวดหมู่หลัก (parent categories) ได้ และได้ครอบการเรียกฐานข้อมูลด้วย block try/catch เพื่อป้องกันไม่ให้ความล้มเหลวของฐานข้อมูลทำให้เว็บไซต์ล่มทั้งระบบ

ความหมายต่อ crawl budget และหน้าเว็บที่มีเนื้อหาน้อย (thin pages)

ความเข้าใจผิดที่พบบ่อยคือการคิดว่า noindex ช่วยประหยัด crawl budget แต่ในความเป็นจริง Google ยังคงต้องดึงหน้าเว็บมา อ่านแท็ก และจากนั้นจึงนำออกจากดัชนี หากเป้าหมายคือการป้องกันไม่ให้ Google เรียกดูรูปแบบ URL ทั้งหมด เครื่องมือที่ถูกต้องคือ robots.txt ควรใช้ noindex เฉพาะเมื่อคุณต้องการให้ Google เห็นหน้าเว็บแต่ไม่ต้องการให้แสดงในผลการค้นหาเท่านั้น

สำหรับไดเรกทอรี, เว็บไซต์ประกาศหางาน และมาร์เก็ตเพลสที่ต้องพึ่งพาหน้าเว็บที่สร้างขึ้นโดยอัตโนมัติจำนวนมหาศาล บทเรียนนี้ชัดเจนมาก: กฎสำหรับหน้าเว็บที่มีเนื้อหาน้อย (thin-page rules) ต้องมาคู่กับเลเยอร์การจัดเก็บข้อมูล (persistence layer) ที่จดจำได้ว่าหน้าเว็บนั้นได้รับสิทธิ์ในการอยู่ในดัชนีแล้ว หากไม่มีความจำส่วนนี้ การลดลงของเนื้อหาเพียงชั่วคราวอาจทำให้หน้าเว็บสูญเสียอันดับที่เคยสร้างมา และการกลับเข้าสู่ดัชนีอาจต้องใช้เวลาหลายสัปดาห์

บทสรุป

กฎแบบคงที่อย่าง “ถ้าจำนวน < 3 ให้ noindex” สร้างความผันผวนทาง SEO สำหรับเว็บไซต์ที่มีรายการสินค้าแบบไดนามิก การเพิ่มบันทึกการปลดล็อกแบบทางเดียวช่วยให้กฎมีความจำ ทำให้หน้าเว็บสามารถได้รับและรักษาสถานะการทำดัชนีไว้ได้แม้ว่าจำนวนรายการสินค้าจะผันผวน เมื่อนำไปใช้ควบคู่กับการใช้ robots.txt อย่างเหมาะสมเพื่อประหยัด crawl budget อย่างแท้จริง คุณจะสามารถปกป้องได้ทั้งอันดับและทรัพยากรของเซิร์ฟเวอร์