วิธีที่ผมสร้าง QC Gate เพื่อซ่อนสัญญาณของการใช้ระบบอัตโนมัติ
ระบบอัตโนมัติมักจะเผยตัวออกมาในรูปแบบที่คุณไม่คาดคิด
ผมรันระบบ automated content pipeline สำหรับ Bluesky มีโพสต์หนึ่งหลุดออกไปโดยมีการพูดถึง "the content pipeline" ซึ่งถ้าเป็นในบล็อกทางเทคนิคก็ไม่เป็นไร แต่ถ้าเป็นบนไทม์ไลน์โซเชียล มันคือสัญญาณเตือน (red flag) เพราะมันบอกให้ผู้อ่านรู้ว่าพวกเขากำลังคุยกับบอทอยู่
ผมจึงสร้างสคริปต์ควบคุมคุณภาพ (quality control script) ขึ้นมาเพื่อหยุดปัญหานี้ โดยมันจะทำหน้าที่เป็นด่านกั้น (gate) ระหว่างขั้นตอนการสร้างเนื้อหา (generation step) และขั้นตอนการโพสต์ (posting step)
เวิร์กโฟลว์ใหม่เป็นดังนี้:
bluesky-qc.mjs → (PASS) bluesky-post-queue.mjs → Bluesky API
สคริปต์นี้ใช้ด่านตรวจสอบ 4 ด่านเพื่อเช็กทุกรายการ:
ด่านที่ 1: การกรองวลี (Phrase Filtering) ผมใช้รายการ regex เพื่อดักจับคำที่บ่งบอกถึงการใช้ระบบอัตโนมัติ โดยจะบล็อกคำอย่างเช่น "AI-generated," "cron," "content pipeline," หรือ "batch test" หากโพสต์ไหนฟังดูเหมือนรายงานของนักพัฒนา (dev report) โพสต์นั้นจะถูกตีตกทันที
ด่านที่ 2: การตรวจสอบความล้าสมัย (Staleness Checks) ผมตรวจสอบเนื้อหาที่ล้าสมัยใน 2 รูปแบบ: • วลีที่ล้าสมัย: ดักจับคำอย่าง "today" หรือ "just launched" ซึ่งจะเสียความหมายไปหากโพสต์นั้นถูกดีเลย์ออกไป • เวลาที่ล้าสมัย: หากรายการใดเก่ากว่า 14 วัน จะถูกปฏิเสธ
ด่านที่ 3: การคาดการณ์การมีส่วนร่วม (Engagement Prediction) สคริปต์จะดูโพสต์ย้อนหลัง 300 โพสต์ของผม เพื่อคาดการณ์ว่าแฮชแท็กในโพสต์ใหม่จะทำผลงานได้ดีหรือไม่ ปัจจุบันขั้นตอนนี้จะแค่บันทึกคำเตือน (warning) ไว้เท่านั้น แต่ในเร็วๆ นี้ผมจะเปลี่ยนให้มันเป็นเกณฑ์ตัดสินที่เข้มงวด (hard fail)
ด่านที่ 4: การผ่านเกณฑ์คุณภาพ (Quality Pass) (อยู่ในแผน) ผมตั้งใจจะเพิ่มเลเยอร์สุดท้ายโดยใช้โปรโตคอลด้านคุณภาพ (quality protocol) เพื่อดักจับข้อผิดพลาดที่ละเอียดอ่อน
ทุกความล้มเหลวจะถูกบันทึกลงใน rejection log ซึ่งผมจะเข้ามาตรวจสอบสัปดาห์ละครั้ง สิ่งนี้ช่วยให้ผมปรับปรุง prompt ได้ หากด่านตรวจสอบยังคงดักจับคำว่า "content pipeline" อยู่เรื่อยๆ ผมก็จะรู้ว่าต้องเปลี่ยนวิธีการเขียนของ AI
ทำไมต้องใช้ด่านกั้น แทนที่จะแค่เขียน prompt ให้ดีขึ้น? Prompt เป็นเรื่องของความน่าจะเป็น (probabilistic) ซึ่งอาจจะผิดพลาดได้ ด่านกั้นเป็นเรื่องของความแน่นอน (deterministic) เพราะมันทำตามกฎที่เข้มงวด
การใช้ทั้งสองเลเยอร์ร่วมกันจึงเป็นวิธีที่ปลอดภัยที่สุดในการรักษาโทนเสียงให้ดูเหมือนมนุษย์