Cloudflare กำหนดเส้นตายเพื่อบีบให้บริษัท AI ต้องจ่ายเงินแก่ผู้เผยแพร่เนื้อหา
Cloudflare ได้ประกาศการเปลี่ยนแปลงนโยบายครั้งสำคัญที่ออกแบบมาเพื่อแยกการรวบรวมข้อมูลเพื่อการค้นหาแบบดั้งเดิม (search crawling) ออกจากการฝึกฝน AI และบริการแบบ agentic โดยการใช้ค่าเริ่มต้นใหม่ที่เข้มงวด ยักษ์ใหญ่ด้าน edge computing รายนี้มีเป้าหมายเพื่อปกป้องทรัพย์สินทางปัญญาและสร้างระบบนิเวศทางเศรษฐกิจที่ยั่งยืนสำหรับผู้เผยแพร่เนื้อหาบนเว็บ
จุดจบของ Crawler แบบ "Mixed-Use"
ในความเคลื่อนไหวที่ท้าทายสถานะปัจจุบันของการขูดข้อมูล (data-scraping) โดยตรง Cloudflare ได้กำหนดเส้นตายวันที่ 15 กันยายน 2026 เพื่อจัดการกับการเพิ่มขึ้นของ crawler แบบ "mixed-use" ซึ่งเป็นบอทที่ผสมผสานการทำดัชนีการค้นหาแบบดั้งเดิมเข้ากับการฝึกฝนโมเดล AI และฟังก์ชันแบบ agentic โดยตั้งแต่วันดังกล่าวเป็นต้นไป การตั้งค่าเริ่มต้นของ Cloudflare จะบล็อก crawler แบบไฮบริดเหล่านี้โดยอัตโนมัติจากการเข้าถึงหน้าเว็บใดก็ตามที่มีการแสดงโฆษณา
การเปลี่ยนแปลงนโยบายนี้จะมีผลกับลูกค้าใหม่ของ Cloudflare ทั้งหมด, เว็บไซต์ใหม่ที่สร้างโดยลูกค้าปัจจุบัน และผู้ใช้ระดับฟรี (free-tier) ทุกรายในปัจจุบัน เป้าหมายคือการบีบให้บริษัท AI ต้องระบุวัตถุประสงค์ให้ชัดเจน: หากบอทต้องการทำดัชนีเว็บไซต์เพื่อการค้นหา มันจะต้องดำเนินตามเส้นทางหนึ่ง แต่หากต้องการนำข้อมูลไปใช้เพื่อฝึกฝน Large Language Model (LLM) มันจะต้องดำเนินตามอีกเส้นทางหนึ่ง ซึ่งอาจต้องมีการจ่ายค่าตอบแทน
การท้าทายอำนาจผูกขาดของยักษ์ใหญ่ด้านการค้นหา
ปัจจัยสำคัญเบื้องหลังการตัดสินใจครั้งนี้คือความได้เปรียบที่ไม่เป็นธรรมซึ่งเห็นได้ชัดจากเครื่องมือค้นหาหลักๆ โดย Cloudflare ระบุเจาะจงว่าเครื่องมือค้นหาที่ใหญ่ที่สุดในโลก ซึ่งเป็นที่เข้าใจกันดีว่าเป็น Google ในปัจจุบันสามารถเข้าถึงข้อมูลได้มากกว่าคู่แข่งด้าน AI ถึงประมาณ "2 เท่า"
แม้ว่า Google จะมี "Google Extended" เพื่อให้ผู้เผยแพร่เนื้อหาสามารถเลือกไม่ให้ใช้ข้อมูลในการฝึก AI ได้โดยไม่กระทบต่อการมองเห็นในการค้นหา แต่ Googlebot ซึ่งเป็นตัวหลักของพวกเขาก็ยังคงทำการ crawl ข้อมูลอย่างกว้างขวางเพื่อขับเคลื่อนฟีเจอร์อย่าง AI Overviews การแทรกแซงของ Cloudflare จึงมุ่งหวังที่จะสร้างความเท่าเทียม เพื่อให้มั่นใจว่าบริษัท AI จะไม่สามารถอาศัยความสามารถในการทำดัชนีอันมหาศาลของเครื่องมือค้นหาเพื่อนำไปฝึกฝนโมเดลของตนฟรีๆ
การก้าวไปสู่โมเดลแบบ "Pay Per Use"
นอกเหนือจากการบล็อกเพียงอย่างเดียว Cloudflare กำลังเร่งสร้างโครงสร้างพื้นฐานสำหรับเศรษฐกิจเนื้อหาแบบใหม่ โดยบริษัทกำลังพัฒนาตลาด "Pay Per Crawl" ให้กลายเป็นโมเดล "Pay Per Use" ที่ซับซ้อนและมีประสิทธิภาพมากขึ้น ภายใต้กรอบการทำงานนี้ ผู้เผยแพร่เนื้อหาสามารถเรียกเก็บเงินจากบริษัท AI ได้ ไม่ใช่แค่เพียงการดึงข้อมูลเท่านั้น แต่รวมถึงเมื่อเนื้อหานั้นสร้างมูลค่าขึ้นมาจริงๆ
เพื่อทดสอบระบบนี้ Cloudflare กำลังร่วมมือกับ Ceramic.ai และ You.com ผ่านความร่วมมือเหล่านี้ ผู้เผยแพร่เนื้อหาสามารถรับค่าตอบแทนโดยตรงเมื่อเนื้อหาของพวกเขาปรากฏในผลการค้นหาด้วย AI ของ Ceramic หรือเมื่อ You.com เข้าถึงเนื้อหาพรีเมียม การเปลี่ยนแปลงนี้ช่วยแก้ปัญหาความไร้ประสิทธิภาพที่สำคัญในเว็บปัจจุบัน โดยข้อมูลของ Cloudflare เผยว่า กว่า 50% ของทราฟฟิกจาก AI crawler ถูกเสียไปกับการดึงหน้าเว็บเดิมที่ไม่มีการเปลี่ยนแปลงซ้ำแล้วซ้ำเล่า ซึ่งเป็นกระบวนการที่สิ้นเปลืองทั้งแบนด์วิดท์ของผู้เผยแพร่และทรัพยากรการประมวลผลของ AI
ทำไมเรื่องนี้จึงสำคัญต่อภูมิทัศน์ของ AI
ในขณะที่ทราฟฟิกที่ไม่ใช่คน (non-human traffic) เริ่มมีจำนวนมากกว่าทราฟฟิกจากมนุษย์บนอินเทอร์เน็ต ยุคแห่งการ "ขูดข้อมูลทุกอย่างฟรีๆ" กำลังมาถึงทางตัน การเคลื่อนไหวของ Cloudflare เป็นสัญญาณของการเปลี่ยนผ่านไปสู่เว็บที่มีการควบคุมและมีการทำธุรกรรมมากขึ้น สำหรับนักพัฒนา AI นี่หมายความว่ายุคของการได้มาซึ่งข้อมูลแบบไร้แรงต้านและไม่มีต้นทุนกำลังจะสิ้นสุดลง ซึ่งจำเป็นต้องมีความสัมพันธ์ที่โปร่งใสและร่วมมือกันมากขึ้นกับผู้สร้างเนื้อหา เพื่อรับประกันความยั่งยืนของข้อมูลในระยะยาว
สรุปประเด็นสำคัญ
- การบล็อกโดยค่าเริ่มต้น: ตั้งแต่วันที่ 15 กันยายน 2026 เป็นต้นไป Cloudflare จะตั้งค่าเริ่มต้นในการบล็อก crawler แบบ "mixed-use" จากหน้าเว็บที่มีโฆษณา
- การเปลี่ยนรูปแบบการสร้างรายได้: Cloudflare กำลังเปลี่ยนจากโมเดล "Pay Per Crawl" ไปสู่โมเดล "Pay Per Use" ซึ่งช่วยให้ผู้เผยแพร่เนื้อหาสามารถเรียกเก็บเงินจากบริษัท AI ตามมูลค่าของเนื้อหาได้
- การเพิ่มประสิทธิภาพ: นโยบายใหม่นี้มีเป้าหมายเพื่อลดทราฟฟิกการ crawl ของ AI จำนวน 50% ที่ปัจจุบันสูญเสียไปกับการดึงหน้าเว็บเดิมที่ไม่มีการเปลี่ยนแปลงซ้ำๆ