Ein Framework mit vier Wissensarten für LLM-Wikis
Wissen allein schafft noch kein Urteilsvermögen.
Ich habe ein LLM-Wiki mit über 100 Seiten erstellt. Es funktionierte gut, bis ich versuchte, es als Programmier-Tutor einzusetzen.
Die KI kannte jede Definition. Wenn ein Student sagte: „Ich verstehe Promises nicht“, lieferte die KI eine Lehrbuchdefinition. Das war eine schlechte Antwort.
Ein echter Tutor würde fragen: „Verstehst du zuerst Callbacks?“ oder „Was hast du bereits versucht?“
Die KI verfügte über Fakten, aber über keinerlei Urteilsvermögen. Mir wurde klar, dass mein Wiki nur eine Art von Wissen speicherte.
Die meisten LLM-Wikis speichern deklaratives Wissen. Dabei handelt es sich um Fakten, Definitionen und Zusammenfassungen. Sie beantworten die Frage: „Was ist das?“
Expertise erfordert mehr. Es gibt vier Arten von Wissen, die Sie benötigen:
• Deklarativ: Fakten und Definitionen. • Prozedural: Wie man schlussfolgert. Dies ist die Abfolge von Entscheidungen, die ein Experte trifft. • Erfahrungsorientiert: Wie es in der Praxis funktioniert. Dies beinhaltet das Erkennen von Fehlern und die Art und Weise, wie Experten mit ihnen umgehen. • Interaktion: Wie man andere anleitet. Das bedeutet zu wissen, wann man eine Frage stellt und wann man schweigt.
Die Forschung zeigt eine riesige Lücke zwischen Wissen und Handeln. In einer Studie über Tutorien (Teaching Assistants) gaben 75 % von ihnen Antworten, anstatt sokratische Fragetechniken anzuwenden. Sie kannten die Regeln, konnten sie aber unter Druck nicht umsetzen.
Um dies zu beheben, benötigen Sie zwei Operationen in Ihrem System:
- Ingest: Dies sucht nach Fakten, um deklaratives Wissen zu erstellen.
- Mine: Dies sucht nach Entscheidungen, um prozedurales, erfahrungsorientiertes und interaktives Wissen zu erstellen.
Man kann einen Schlussfolgerungspfad nicht finden, indem man nur nach Fakten sucht. Man muss nach Entscheidungen suchen. Man muss fragen: Wofür hat sich der Experte entschieden? Wann hat er sich dafür entschieden? Was passierte als Nächstes?
Die nächste Generation der KI wird nicht gewinnen, indem sie mehr Fakten besitzt. Sie wird gewinnen, indem sie über ein besseres Urteilsvermögen verfügt. Urteilsvermögen ist kein Wissensproblem. Es ist ein Problem der Wissensart.
Wenn Sie eine KI entwickeln, die nur Fakten speichert, bauen Sie lediglich ein Lehrbuch. Wenn Sie einen Experten bauen wollen, müssen Sie nach Entscheidungen suchen.
Quelle: https://dev.to/rongrong/a-four-type-framework-for-llm-wiki-by-karpathy-5f1n
Optionale Lern-Community: https://t.me/GyaanSetuAi