LLM Wiki 的四种类型框架
单凭知识无法产生判断力。
我构建了一个拥有 100 多个页面的 LLM wiki。起初它运行良好，直到我尝试将其用作编程导师。
AI 掌握了每一个定义。当学生说“我不理解 Promises”时，AI 给出了一个教科书式的定义。这是一个糟糕的回答。
一个真正的导师会问：“你先理解 callbacks 吗？”或者“你尝试过什么方法？”
AI 拥有事实，但完全没有判断力。我意识到我的 wiki 只存储了一种类型的知识。
大多数 LLM wiki 存储的是陈述性知识（declarative knowledge）。这些是事实、定义和摘要。它们回答的是“这是什么？”
专业知识需要更多。你需要四种类型的知识：
• 陈述性知识 (Declarative)：事实和定义。 • 程序性知识 (Procedural)：如何推理。这是专家做出决策的序列。 • 经验性知识 (Experiential)：在现实生活中是如何运作的。这包括观察错误以及专家如何处理这些错误。 • 交互性知识 (Interaction)：如何引导他人。这包括知道何时该提问，何时该保持沉默。
研究表明，知与行之间存在巨大的鸿沟。在一项针对助教的研究中，75% 的人直接给出答案，而不是使用苏格拉底式提问法。他们知道规则，但在压力之下却无法执行。
为了解决这个问题，你的系统中需要两种操作：
- 摄取 (Ingest)：寻找事实以创建陈述性知识。
- 挖掘 (Mine)：寻找决策以创建程序性、经验性和交互性知识。
你无法通过寻找事实来找到推理路径。你必须寻找决策。你必须问：专家选择了什么？他们何时做出的选择？接下来发生了什么？
下一代 AI 的胜出不在于拥有更多事实，而在于拥有更好的判断力。判断力不是一个知识问题，而是一个知识类型的问题。
如果你构建的 AI 只存储事实，那你只是在编写一本教科书。如果你想构建一个专家，你必须挖掘决策。
Source: https://dev.to/rongrong/a-four-type-framework-for-llm-wiki-by-karpathy-5f1n
Optional learning community: https://t.me/GyaanSetuAi