A Four-Type Framework for LLM Wiki
El conocimiento por sí solo no crea juicio.
Construí una wiki de LLM con más de 100 páginas. Funcionaba bien hasta que intenté usarla como tutor de programación.
La IA conocía cada definición. Cuando un estudiante decía: "No entiendo las promesas", la IA daba una definición de libro de texto. Esta fue una mala respuesta.
Un tutor real preguntaría: "¿Entiendes primero los callbacks?" o "¿Qué has intentado?".
La IA tenía hechos, pero cero juicio. Me di cuenta de que mi wiki solo almacenaba un tipo de conocimiento.
La mayoría de las wikis de LLM almacenan conocimiento declarativo. Se trata de hechos, definiciones y resúmenes. Responden a "¿Qué es esto?".
La experiencia requiere más. Hay cuatro tipos de conocimiento que necesitas:
• Declarativo: Hechos y definiciones. • Procedimental: Cómo razonar. Esta es la secuencia de decisiones que toma un experto. • Experiencial: Cómo funciona en la vida real. Esto incluye ver errores y cómo los expertos los gestionan. • De interacción: Cómo guiar a otros. Esto consiste en saber cuándo hacer una pregunta y cuándo guardar silencio.
Las investigaciones muestran una brecha enorme entre saber y hacer. En un estudio sobre asistentes de enseñanza, el 75% de ellos dio respuestas en lugar de utilizar el cuestionamiento socrático. Conocían las reglas, pero no podían ejecutarlas bajo presión.
Para solucionar esto, necesitas dos operaciones en tu sistema:
- Ingesta: Busca hechos para crear conocimiento declarativo.
- Minería: Busca decisiones para crear conocimiento procedimental, experiencial y de interacción.
No puedes encontrar una ruta de razonamiento buscando hechos. Debes buscar decisiones. Debes preguntar: ¿Qué eligió el experto? ¿Cuándo lo eligió? ¿Qué pasó después?
La próxima generación de IA no ganará teniendo más hechos. Ganará teniendo un mejor juicio. El juicio no es un problema de conocimiento. Es un problema de tipo de conocimiento.
Si construyes una IA que solo almacena hechos, solo estás construyendo un libro de texto. Si quieres construir un experto, debes realizar minería de decisiones.
Fuente: https://dev.to/rongrong/a-four-type-framework-for-llm-wiki-by-karpathy-5f1n
Comunidad de aprendizaje opcional: https://t.me/GyaanSetuAi