Un framework a quattro tipi per un wiki LLM
La sola conoscenza non crea giudizio.
Ho costruito un wiki LLM con oltre 100 pagine. Funzionava bene finché non ho provato a usarlo come tutor di programmazione.
L'IA conosceva ogni definizione. Quando uno studente diceva: "Non capisco le Promise", l'IA forniva una definizione da manuale. Era una risposta sbagliata.
Un vero tutor chiederebbe: "Capisci prima i callback?" oppure "Cosa hai provato a fare?"
L'IA aveva i fatti, ma zero capacità di giudizio. Mi sono reso conto che il mio wiki memorizzava solo un tipo di conoscenza.
La maggior parte dei wiki LLM memorizza conoscenza dichiarativa. Si tratta di fatti, definizioni e riassunti. Rispondono alla domanda: "Cos'è questo?"
La competenza richiede di più. Ci sono quattro tipi di conoscenza di cui hai bisogno:
• Dichiarativa: Fatti e definizioni. • Procedurale: Come ragionare. È la sequenza di decisioni che un esperto prende. • Esperienziale: Come funziona nella vita reale. Include l'osservazione degli errori e il modo in cui gli esperti li gestiscono. • Interattiva: Come guidare gli altri. Significa sapere quando fare una domanda e quando restare in silenzio.
La ricerca mostra un enorme divario tra il sapere e il saper fare. In uno studio sugli assistenti didattici, il 75% di loro forniva risposte invece di usare il metodo socratico. Conoscevano le regole, ma non riuscivano ad applicarle sotto pressione.
Per risolvere questo problema, servono due operazioni nel tuo sistema:
- Ingest: Cerca i fatti per creare conoscenza dichiarativa.
- Mine: Cerca le decisioni per creare conoscenza procedurale, esperienziale e interattiva.
Non puoi trovare un percorso di ragionamento cercando solo i fatti. Devi cercare le decisioni. Devi chiederti: Cosa ha scelto l'esperto? Quando l'ha scelto? Cosa è successo dopo?
La prossima generazione di IA non vincerà avendo più fatti. Vincerà avendo una migliore capacità di giudizio. Il giudizio non è un problema di conoscenza. È un problema di tipo di conoscenza.
Se costruisci un'IA che memorizza solo fatti, stai solo costruendo un manuale. Se vuoi costruire un esperto, devi estrarre le decisioni.
Fonte: https://dev.to/rongrong/a-four-type-framework-for-llm-wiki-by-karpathy-5f1n
Community di apprendimento opzionale: https://t.me/GyaanSetuAi