Um Framework de Quatro Tipos para Wiki de LLM

O conhecimento sozinho não cria julgamento.

Eu construí uma wiki de LLM com mais de 100 páginas. Funcionava bem até eu tentar usá-la como um tutor de programação.

A IA conhecia todas as definições. Quando um aluno dizia: "Eu não entendo Promises", a IA dava uma definição de livro didático. Essa era uma resposta ruim.

Um tutor real perguntaria: "Você entende callbacks primeiro?" ou "O que você já tentou?"

A IA tinha fatos, mas zero julgamento. Percebi que minha wiki armazenava apenas um tipo de conhecimento.

A maioria das wikis de LLM armazena conhecimento declarativo. São fatos, definições e resumos. Elas respondem "O que é isso?"

A expertise exige mais. Existem quatro tipos de conhecimento que você precisa:

• Declarativo: Fatos e definições. • Procedural: Como raciocinar. Esta é a sequência de decisões que um especialista toma. • Experiencial: Como funciona na vida real. Isso inclui ver erros e como os especialistas os lidam. • Interação: Como guiar outros. Isso é saber quando fazer uma pergunta e quando ficar em silêncio.

Pesquisas mostram uma enorme lacuna entre saber e fazer. Em um estudo com assistentes de ensino, 75% deles davam respostas em vez de usar o questionamento socrático. Eles conheciam as regras, mas não conseguiam executá-las sob pressão.

Para corrigir isso, você precisa de duas operações em seu sistema:

  1. Ingest: Esta busca fatos para criar conhecimento declarativo.
  2. Mine: Esta busca por decisões para criar conhecimento procedural, experiencial e de interação.

Você não pode encontrar um caminho de raciocínio procurando por fatos. Você deve procurar por decisões. Você deve perguntar: O que o especialista escolheu? Quando ele escolheu? O que aconteceu em seguida?

A próxima geração de IA não vencerá por ter mais fatos. Ela vencerá por ter um melhor julgamento. O julgamento não é um problema de conhecimento. É um problema de tipo de conhecimento.

Se você construir uma IA que apenas armazena fatos, estará construindo apenas um livro didático. Se quiser construir um especialista, deve minerar decisões.

Source: https://dev.to/rongrong/a-four-type-framework-for-llm-wiki-by-karpathy-5f1n

Optional learning community: https://t.me/GyaanSetuAi