A Four-Type Framework for LLM Wiki

ลำพังเพียงความรู้ไม่สามารถสร้างวิจารณญาณได้

ผมสร้าง LLM wiki ที่มีมากกว่า 100 หน้า มันทำงานได้ดีจนกระทั่งผมพยายามจะใช้มันเป็นติวเตอร์สอนเขียนโปรแกรม

AI รู้จักทุกคำนิยาม เมื่อนักเรียนพูดว่า "ผมไม่เข้าใจเรื่อง Promises" AI ก็ให้คำนิยามตามตำรา นี่คือการตอบสนองที่ไม่ดีเลย

ติวเตอร์จริงๆ จะถามว่า: "คุณเข้าใจเรื่อง callbacks ก่อนหรือเปล่า?" หรือ "คุณได้ลองทำอะไรไปบ้างแล้ว?"

AI มีข้อเท็จจริงแต่ไม่มีวิจารณญาณเลย ผมจึงตระหนักได้ว่า wiki ของผมจัดเก็บความรู้เพียงประเภทเดียวเท่านั้น

LLM wiki ส่วนใหญ่จัดเก็บความรู้แบบ declarative ซึ่งก็คือข้อเท็จจริง คำนิยาม และบทสรุป สิ่งเหล่านี้ตอบคำถามว่า "นี่คืออะไร?"

ความเชี่ยวชาญต้องการสิ่งที่มากกว่านั้น มีความรู้ 4 ประเภทที่คุณจำเป็นต้องมี:

• Declarative: ข้อเท็จจริงและคำนิยาม • Procedural: วิธีการใช้เหตุผล ซึ่งคือลำดับการตัดสินใจที่ผู้เชี่ยวชาญเลือกใช้ • Experiential: การทำงานในชีวิตจริง ซึ่งรวมถึงการเห็นข้อผิดพลาดและวิธีที่ผู้เชี่ยวชาญจัดการกับมัน • Interaction: วิธีการแนะนำผู้อื่น คือการรู้ว่าเมื่อไหร่ควรตั้งคำถาม และเมื่อไหร่ควรเงียบ

งานวิจัยแสดงให้เห็นถึงช่องว่างขนาดใหญ่ระหว่างการรู้และการทำ ในการศึกษาหนึ่งเกี่ยวกับผู้ช่วยสอน พบว่า 75% ให้คำตอบแทนที่จะใช้การตั้งคำถามแบบโซเครตีส (Socratic questioning) พวกเขารู้กฎเกณฑ์ แต่ไม่สามารถนำมาปฏิบัติได้ภายใต้ความกดดัน

เพื่อแก้ไขเรื่องนี้ คุณต้องมีสองกระบวนการในระบบของคุณ:

  1. Ingest: ค้นหาข้อเท็จจริงเพื่อสร้างความรู้แบบ declarative
  2. Mine: ค้นหาการตัดสินใจเพื่อสร้างความรู้แบบ procedural, experiential และ interaction

คุณไม่สามารถค้นหาเส้นทางการใช้เหตุผลได้จากการมองหาเพียงข้อเท็จจริง คุณต้องมองหาการตัดสินใจ คุณต้องถามว่า: ผู้เชี่ยวชาญเลือกอะไร? พวกเขาเลือกมันเมื่อไหร่? และเกิดอะไรขึ้นหลังจากนั้น?

AI ยุคถัดไปจะไม่ชนะด้วยการมีข้อเท็จจริงที่มากขึ้น แต่จะชนะด้วยการมีวิจารณญาณที่ดีกว่า วิจารณญาณไม่ใช่ปัญหาเรื่องความรู้ แต่มันคือปัญหาเรื่องประเภทของความรู้

หากคุณสร้าง AI ที่จัดเก็บเพียงแค่ข้อเท็จจริง คุณก็เป็นเพียงแค่การสร้างตำราเรียน หากคุณต้องการสร้างผู้เชี่ยวชาญ คุณต้องขุดค้นหา (mine) การตัดสินใจ

Source: https://dev.to/rongrong/a-four-type-framework-for-llm-wiki-by-karpathy-5f1n

Optional learning community: https://t.me/GyaanSetuAi