Khung tham chiếu bốn loại kiến thức cho LLM Wiki
Chỉ riêng kiến thức thôi thì không tạo nên khả năng phán đoán.
Tôi đã xây dựng một LLM wiki với hơn 100 trang. Nó hoạt động rất tốt cho đến khi tôi thử dùng nó làm gia sư lập trình.
AI biết mọi định nghĩa. Khi một học sinh nói: "Em không hiểu về Promises," AI đã đưa ra một định nghĩa như trong sách giáo khoa. Đó là một phản hồi tồi.
Một gia sư thực thụ sẽ hỏi: "Trước tiên em đã hiểu về callbacks chưa?" hoặc "Em đã thử những cách nào rồi?"
AI có các dữ kiện nhưng hoàn toàn không có khả năng phán đoán. Tôi nhận ra wiki của mình chỉ lưu trữ một loại kiến thức duy nhất.
Hầu hết các LLM wiki đều lưu trữ kiến thức tuyên bố (declarative knowledge). Đó là các dữ kiện, định nghĩa và tóm tắt. Chúng trả lời cho câu hỏi "Đây là cái gì?"
Chuyên môn đòi hỏi nhiều hơn thế. Có bốn loại kiến thức mà bạn cần:
• Declarative (Tuyên bố): Các dữ kiện và định nghĩa. • Procedural (Quy trình): Cách lập luận. Đây là chuỗi các quyết định mà một chuyên gia thực hiện. • Experiential (Kinh nghiệm): Cách nó hoạt động trong thực tế. Điều này bao gồm việc quan sát các lỗi sai và cách các chuyên gia xử lý chúng. • Interaction (Tương tác): Cách hướng dẫn người khác. Đây là việc biết khi nào nên đặt câu hỏi và khi nào nên giữ im lặng.
Nghiên cứu cho thấy một khoảng cách lớn giữa việc biết và việc làm. Trong một nghiên cứu về các trợ giảng, 75% trong số họ đưa ra câu trả lời thay vì sử dụng phương pháp đặt câu hỏi Socratic. Họ biết các quy tắc, nhưng họ không thể thực hiện chúng dưới áp lực.
Để khắc phục điều này, bạn cần hai hoạt động trong hệ thống của mình:
- Ingest (Nạp): Tìm kiếm các dữ kiện để tạo ra kiến thức tuyên bố.
- Mine (Khai thác): Tìm kiếm các quyết định để tạo ra kiến thức quy trình, kinh nghiệm và tương tác.
Bạn không thể tìm thấy lộ trình lập luận bằng cách chỉ tìm kiếm các dữ kiện. Bạn phải tìm kiếm các quyết định. Bạn phải hỏi: Chuyên gia đã chọn gì? Họ chọn nó khi nào? Điều gì xảy ra tiếp theo?
Thế hệ AI tiếp theo sẽ không chiến thắng nhờ có nhiều dữ kiện hơn. Nó sẽ chiến thắng nhờ có khả năng phán đoán tốt hơn. Phán đoán không phải là vấn đề về kiến thức. Đó là vấn đề về loại kiến thức.
Nếu bạn xây dựng AI chỉ lưu trữ các dữ kiện, bạn chỉ đang xây dựng một cuốn sách giáo khoa. Nếu bạn muốn xây dựng một chuyên gia, bạn phải khai thác các quyết định.
Nguồn: https://dev.to/rongrong/a-four-type-framework-for-llm-wiki-by-karpathy-5f1n
Cộng đồng học tập tùy chọn: https://t.me/GyaanSetuAi