การควบคุม AI Crawler ใหม่ของ Cloudflare

ทราฟฟิกเว็บไซต์กำลังเปลี่ยนไป

ในอดีต Search Engine จะทำการ Crawl เว็บไซต์ของคุณเพื่อช่วยให้ผู้คนค้นหาคุณเจอ ซึ่งเป็นเรื่องที่เข้าใจง่าย แต่ AI ได้ทำให้เรื่องนี้ซับซ้อนขึ้นมาก

บอทอาจจะ Crawl หน้าเว็บของคุณเพื่อแสดงผลในผลการค้นหา ซึ่งแตกต่างจากการที่บอท Crawl หน้าเว็บของคุณเพื่อนำไปใช้เทรนโมเดล AI

Cloudflare กำลังเปลี่ยนวิธีการจัดการเรื่องนี้ โดยในวันที่ 1 กรกฎาคม 2026 ลูกค้าทุกคนจะได้รับฟีเจอร์ควบคุมทราฟฟิก AI แบบใหม่ ซึ่งจะช่วยให้คุณแยกทราฟฟิกออกเป็น 3 กลุ่ม:

  • Search: บอทที่ทำดัชนี (Index) เนื้อหาสำหรับ Search Engine หรือคำตอบจาก AI
  • Agent: บอทที่ทำงานในนามของผู้ใช้เพื่อทำภารกิจให้สำเร็จ
  • Training: บอทที่เก็บรวบรวมข้อมูลเพื่อใช้เทรนหรือ Fine-tune โมเดล AI

การเปลี่ยนแปลงนี้ทำให้ "การมองเห็น" (Visibility) กลายเป็นเรื่องของการตัดสินใจเชิงนโยบายการเข้าถึง (Access Policy) ซึ่งไม่ใช่แค่เรื่องของ SEO อีกต่อไป

หากคุณทำบริษัท SaaS หน้าเว็บสาธารณะอย่างหน้าเอกสาร (Documentation), หน้าข้อมูลราคา (Pricing) และศูนย์ช่วยเหลือ (Help Centers) คือสิ่งที่มีมูลค่า เพราะสิ่งเหล่านี้ช่วยในการหาลูกค้าใหม่และสนับสนุนลูกค้าเดิม

คุณต้องตัดสินใจว่าจะอนุญาตให้เข้าถึงได้มากน้อยเพียงใด

คำถามแบบเดิมคือ: Search Engine จะหาเราเจอไหม? คำถามแบบใหม่คือ: ระบบอัตโนมัติใดบ้างที่ควรใช้งานเว็บไซต์ของเรา และเพื่อวัตถุประสงค์ใด?

อย่าปฏิบัติกับบอท AI ทุกตัวเหมือนกันหมด

  1. Search bots ช่วยให้ผู้ใช้ค้นพบผลิตภัณฑ์ของคุณ การบล็อกพวกมันอาจทำให้คุณหายไปจากผลการค้นหาที่ขับเคลื่อนด้วย AI

  2. AI agents สามารถมีประโยชน์ได้ เช่น Agent อาจเข้ามาที่หน้าข้อมูลราคาเพื่อช่วยผู้ใช้เปรียบเทียบแพ็กเกจ อย่างไรก็ตาม คุณต้องตัดสินใจว่า Agent เหล่านี้จำเป็นต้องมีการยืนยันตัวตน (Authentication) หรือการจำกัดอัตราการเรียกใช้งาน (Rate limits) หรือไม่

  3. Training bots ให้คุณค่าทางตรงน้อยกว่า พวกมันใช้เนื้อหาของคุณเพื่อสร้างโมเดล แต่อาจไม่ได้ส่งผู้ใช้กลับมายังเว็บไซต์ของคุณ หลายบริษัทจึงเลือกที่จะบล็อกบอทกลุ่มนี้

นโยบายที่ชาญฉลาดควรเป็นดังนี้:

  • อนุญาตให้ Search bots ทำดัชนีหน้าผลิตภัณฑ์และหน้าช่วยเหลือของคุณ
  • อนุญาตให้ Agent ที่สั่งการโดยผู้ใช้เข้าถึงเอกสารสาธารณะได้
  • บล็อกหรือให้สิทธิ์การเข้าถึงแบบมีใบอนุญาต (License) สำหรับ Training bots
  • รักษาความปลอดภัยในพื้นที่ผลิตภัณฑ์ที่ต้องมีการยืนยันตัวตนทั้งหมด

ตรวจสอบทราฟฟิกของคุณอย่างสม่ำเสมอ โดยดูจากหมวดหมู่ของ Crawler, ภาระของเซิร์ฟเวอร์ (Server load) และการมองเห็นในการค้นหา

เป้าหมายไม่ใช่การบล็อกบอททุกตัว แต่เป้าหมายคือการควบคุมสิ่งที่พวกมันทำ

Source: https://dev.to/ascentinnovate/cloudflares-new-ai-crawler-controls-turn-visibility-into-an-access-policy-decision-2118