วิธีที่ผมสร้าง Pre-Post QC Gate เพื่อซ่อนร่องรอยของระบบอัตโนมัติ

ระบบอัตโนมัติมักทิ้งร่องรอยเอาไว้เสมอ

หลังจากรันคิวบน Bluesky มาได้สามสัปดาห์ ผมสังเกตเห็นโพสต์หนึ่งที่หลุดออกไปโดยมีการกล่าวถึง "the content pipeline"

ในบล็อกเชิงเทคนิค คำนี้อาจจะไม่เป็นไร แต่ในไทม์ไลน์โซเชียลมีเดีย มันคือสัญญาณเตือน (red flag) เพราะมันบอกให้ผู้อ่านที่เป็นมนุษย์รู้ว่าพวกเขากำลังดูคอนเทนต์จากฟาร์ม (content farm) อยู่

ระบบของผมทำงานได้อย่างแม่นยำในเชิงกลไก แต่กลับไม่มีตัวกรอง อะไรก็ตามที่ AI ผลิตออกมาจะถูกส่งตรงไปยังคิว และอะไรก็ตามที่อยู่หน้าสุดของคิวก็จะถูกโพสต์ออกไปทันที

ผมจึงสร้างสคริปต์สำหรับด่านตรวจที่ชื่อว่า bluesky-qc.mjs เพื่อแก้ไขปัญหานี้ โดยมันจะทำหน้าที่เป็นตัวกรองระหว่างขั้นตอนการสร้างเนื้อหา (generation step) และขั้นตอนการโพสต์ (posting step)

นี่คือวิธีการทำงานของทั้ง 4 ด่าน:

  • ด่านที่ 1: การตรวจจับวลี (Phrase Detection) ผมใช้รายการคำศัพท์ที่เข้มงวดเพื่อดักจับสัญญาณของระบบอัตโนมัติ โดยจะบล็อกคำอย่างเช่น "AI-generated," "cron job," "batch test," และ "content pipeline" หากโพสต์ไหนฟังดูเหมือนหุ่นยนต์เขียน ด่านนี้จะหยุดมันไว้ทันที

  • ด่านที่ 2: การตรวจสอบความล้าสมัย (Staleness Check) ด่านนี้ช่วยป้องกันข้อผิดพลาดสองประเภท ประเภทแรกคือการดักจับวลีที่ขึ้นอยู่กับเวลา เช่น "just released" ซึ่งจะกลายเป็นเรื่องโกหกทันทีหากโพสต์นั้นล่าช้าออกไป ประเภทที่สองคือการตรวจสอบอายุของข้อมูล หากข้อมูลนั้นเก่าเกิน 14 วัน จะถือว่าไม่ผ่าน

  • ด่านที่ 3: การคาดการณ์การมีส่วนร่วม (Engagement Prediction) สคริปต์นี้จะตรวจสอบโพสต์ย้อนหลัง 300 โพสต์ของผม เพื่อคำนวณคะแนนพื้นฐาน (baseline score) โดยใช้ยอดไลก์ การตอบกลับ และการรีโพสต์ หากโพสต์ไหนใช้แฮชแท็กที่ในอดีตมีประสิทธิภาพต่ำ ระบบจะทำเครื่องหมายแจ้งเตือนไว้

  • ด่านที่ 4: การตรวจสอบคุณภาพ (Quality Review) นี่คือขั้นตอนที่วางแผนไว้เพื่อใช้โมเดลในการตรวจสอบคุณภาพขั้นสุดท้าย

ทุกโพสต์ที่ไม่ผ่านจะถูกบันทึกลงใน rejection log ซึ่งผมจะเข้ามาตรวจสอบทุกสัปดาห์ มันช่วยให้ผมปรับปรุง prompt ได้ หาก AI ยังคงใช้ศัพท์เทคนิคอย่าง "pipeline" อยู่ ผมก็จะอัปเดต prompt เพื่อสั่งให้หยุดใช้

ระบบนี้ใช้กฎง่ายๆ คือ: ตรวจสอบตั้งแต่เนิ่นๆ (Gate early), ทำให้ความล้มเหลวให้ข้อมูลที่เป็นประโยชน์ (make failures informative), และอย่าปล่อยให้ข้อผิดพลาดผ่านไปเงียบๆ โดยไม่แจ้งเตือน

การงดโพสต์ไปหนึ่งวัน ยังดีกว่าการโพสต์สิ่งที่เปิดเผยว่ามันคือระบบอัตโนมัติ

Source: https://dev.to/morinaga/how-i-built-a-pre-post-qc-gate-that-blocks-bluesky-automation-from-self-revealing-41ja

Optional learning community: https://t.me/GyaanSetuAi