การสร้าง HoneyDrunk.Lore: LLM Wiki และ Daily News Blast ของผม

ผมอ่านเยอะเกินไป ผมติดตามทั้งการอัปเดตโมเดล, ข่าวสารเกี่ยวกับ agent, โพสต์ด้าน architecture และงานวิจัยด้านความปลอดภัย ข้อมูลส่วนใหญ่เหล่านี้ยังไม่สำคัญในตอนนี้ แต่มันจะสำคัญในภายหลัง

การใช้ Bookmark แบบปกติใช้ไม่ได้ผลกับผม มันบันทึกแค่ลิงก์แต่สูญเสียความหมาย ประวัติการแชทบันทึกบทสนทนาแต่สูญเสียโครงสร้าง ส่วน RAG ให้ข้อมูลมาเป็นส่วนๆ (chunks) แต่ทำให้ผมต้องมานั่งเรียบเรียงความคิดใหม่ทุกครั้ง

ผมจึงสร้าง HoneyDrunk.Lore ขึ้นมาเพื่อแก้ปัญหานี้ มันคือ LLM wiki สำหรับสตูดิโอของผม ที่เปลี่ยนข้อมูลดิบให้กลายเป็นระบบความรู้ที่ถูกรวบรวมไว้

ระบบนี้ใช้ pipeline ง่ายๆ ดังนี้:

  • แหล่งข้อมูลดิบจะถูกเก็บไว้ใน evidence locker
  • Agents จะอ่านข้อมูลและสกัดเอา claims ออกมา
  • Wiki จะอัปเดตหน้าหัวข้อต่างๆ และเชื่อมโยงแนวคิดเข้าด้วยกัน
  • Maintenance loop จะทำการ lint ข้อมูลเพื่อหาข้อขัดแย้งหรือช่องว่างของข้อมูล

นี่ไม่ใช่แค่กองสรุปข้อมูล แต่มันคือ artifact ที่ได้รับการดูแลรักษาอย่างต่อเนื่อง

ระบบนี้ยังสร้าง daily news blast สำหรับ Discord ด้วย โดยจะคัดเลือก 10 เรื่องเด่นจากเว็บ และ 10 โพสต์เด่นจากโซเชียล ซึ่งแต่ละรายการจะประกอบด้วย:

  • บทสรุปสั้นๆ
  • URL ต้นฉบับ
  • มุมมองเฉพาะเจาะจงว่าทำไมเรื่องนี้ถึงสำคัญต่องานของผม

ผมมองว่าโซเชียลมีเดียเป็นเพียงสัญญาณเตือนล่วงหน้า (early signal) เท่านั้น ทวีตหนึ่งอาจรายงานการเปิดตัวก่อนใคร แต่ wiki จะรอจนกว่าจะมีโพสต์บล็อกอย่างเป็นทางการหรือ documentation ก่อนที่จะถือว่าข้อมูลนั้นเป็นข้อเท็จจริงที่เชื่อถือได้ สิ่งนี้ช่วยแยก "สิ่งที่ผมเห็น" ออกจาก "สิ่งที่ wiki รู้"

Lore ไม่ใช่ agent memory ไม่ใช่ governance แต่มันคือระบบสนับสนุนการตัดสินใจที่มีแหล่งอ้างอิงรองรับ หาก wiki มีการกล่าวอ้างใดๆ มันจะต้องระบุแหล่งที่มาและแสดงระดับความมั่นใจ (confidence level) ด้วย

การค้นหา (Search) คือการถามว่าคุณสามารถหาสิ่งนั้นเจอไหม แต่ Lore ถามว่าสิ่งนั้นถูกย่อยจนกลายเป็นส่วนหนึ่งของสิ่งที่คุณรู้อยู่แล้วหรือยัง อย่างแรกคือการดึงข้อมูล (retrieves) แต่อย่างหลังคือการต่อยอดความรู้ (compounds)

ผมกำลังสร้างสิ่งนี้เพื่อระยะยาว ผมต้องการระบบที่ยังคง "อุ่น" (stays warm) อยู่เสมอระหว่างช่วงเวลาการใช้งาน และเติบโตไปพร้อมกับการเรียนรู้ของผม

Source: https://dev.to/tatted_dev/building-honeydrunklore-my-llm-wiki-and-daily-news-blast-2pfl

Optional learning community: https://t.me/GyaanSetuAi