Een raamwerk met vier typen voor een LLM-wiki
Kennis alleen creëert geen oordeelsvermogen.
Ik heb een LLM-wiki gebouwd met meer dan 100 pagina's. Het werkte goed totdat ik het probeerde te gebruiken als programmeertutor.
De AI kende elke definitie. Wanneer een student zei: "Ik begrijp Promises niet", gaf de AI een tekstboekdefinitie. Dit was een slecht antwoord.
Een echte tutor zou vragen: "Begrijp je eerst callbacks?" of "Wat heb je al geprobeerd?"
De AI had feiten, maar nul oordeelsvermogen. Ik realiseerde me dat mijn wiki slechts één type kennis opsloog.
De meeste LLM-wiki's slaan declaratieve kennis op. Dit zijn feiten, definities en samenvattingen. Ze beantwoorden de vraag: "Wat is dit?"
Expertise vereist meer. Er zijn vier soorten kennis die je nodig hebt:
• Declaratief: Feiten en definities. • Procedureel: Hoe je redeneert. Dit is de reeks beslissingen die een expert neemt. • Ervaringsgericht: Hoe het in het echte leven werkt. Dit omvat het zien van fouten en hoe experts daarmee omgaan. • Interactie: Hoe je anderen begeleidt. Dit is weten wanneer je een vraag moet stellen en wanneer je stil moet blijven.
Onderzoek toont een enorme kloof tussen weten en doen. In een studie naar assistenten gaf 75% van hen antwoorden in plaats van de Socratische methode te gebruiken. Ze kenden de regels, maar konden ze niet uitvoeren onder druk.
Om dit op te lossen, heb je twee operaties nodig in je systeem:
- Ingest: Dit zoekt naar feiten om declaratieve kennis te creëren.
- Mine: Dit zoekt naar beslissingen om procedurele, ervaringsgerichte en interactieve kennis te creëren.
Je kunt geen redeneerpad vinden door naar feiten te zoeken. Je moet naar beslissingen zoeken. Je moet vragen: Wat koos de expert? Wanneer kozen ze dat? Wat gebeurde daarna?
De volgende generatie AI zal niet winnen door meer feiten te hebben. Het zal winnen door beter oordeelsvermogen te hebben. Oordeelsvermogen is geen kennisprobleem. Het is een probleem van het type kennis.
Als je AI bouwt die alleen feiten opslaat, bouw je slechts een tekstboek. Als je een expert wilt bouwen, moet je naar beslissingen zoeken.
Bron: https://dev.to/rongrong/a-four-type-framework-for-llm-wiki-by-karpathy-5f1n
Optionele leercommunity: https://t.me/GyaanSetuAi