LLM 위키를 위한 4가지 유형 프레임워크
지식만으로는 판단력을 만들 수 없습니다.
저는 100페이지가 넘는 LLM 위키를 구축했습니다. 프로그래밍 튜터로 사용해 보기 전까지는 잘 작동했습니다.
AI는 모든 정의를 알고 있었습니다. 학생이 "Promise를 이해하지 못하겠어요"라고 말하면, AI는 교과서적인 정의를 내놓았습니다. 이는 좋지 않은 응답이었습니다.
실제 튜터라면 "먼저 콜백(callback)을 이해하고 있나요?" 또는 "어떤 시도를 해보았나요?"라고 물었을 것입니다.
AI는 사실(facts)은 알고 있었지만 판단력은 전혀 없었습니다. 제 위키에는 단 한 가지 유형의 지식만 저장되어 있다는 것을 깨달았습니다.
대부분의 LLM 위키는 선언적 지식(declarative knowledge)을 저장합니다. 이는 사실, 정의, 요약 등을 의미하며, "이것은 무엇인가?"라는 질문에 답합니다.
전문성에는 그 이상의 것이 필요합니다. 필요한 지식에는 네 가지 유형이 있습니다:
• 선언적(Declarative): 사실과 정의. • 절차적(Procedural): 추론하는 방법. 이는 전문가가 내리는 의사결정의 순서를 의미합니다. • 경험적(Experiential): 실제 상황에서 어떻게 작동하는지. 여기에는 실수를 목격하고 전문가가 이를 어떻게 처리하는지가 포함됩니다. • 상호작용(Interaction): 타인을 가이드하는 방법. 언제 질문을 던지고 언제 침묵해야 하는지를 아는 것입니다.
연구에 따르면 아는 것과 행하는 것 사이에는 거대한 간극이 존재합니다. 조교들을 대상으로 한 한 연구에서, 75%가 소크라테스식 질문법(Socratic questioning)을 사용하는 대신 정답을 알려주었습니다. 그들은 규칙을 알고 있었지만, 압박감 속에서 이를 실행하지는 못했습니다.
이를 해결하려면 시스템에 두 가지 작업이 필요합니다:
- 수집(Ingest): 선언적 지식을 만들기 위해 사실을 찾습니다.
- 채굴(Mine): 절차적, 경험적, 상호작용 지식을 만들기 위해 의사결정을 찾습니다.
사실만을 찾아서는 추론 경로를 찾을 수 없습니다. 의사결정을 찾아야 합니다. "전문가는 무엇을 선택했는가?", "그것을 언제 선택했는가?", "그다음에 어떤 일이 일어났는가?"를 물어야 합니다.
차세대 AI는 더 많은 사실을 가짐으로써 승리하는 것이 아니라, 더 나은 판단력을 가짐으로써 승리할 것입니다. 판단력은 지식의 문제가 아니라, 지식 유형의 문제입니다.
사실만을 저장하는 AI를 만든다면, 그것은 단지 교과서를 만드는 것에 불과합니다. 전문가를 만들고 싶다면 의사결정을 채굴해야 합니다.
출처: https://dev.to/rongrong/a-four-type-framework-for-llm-wiki-by-karpathy-5f1n
선택 사항 학습 커뮤니티: https://t.me/GyaanSetuAi