Un framework à quatre types pour un wiki LLM
La connaissance seule ne crée pas le jugement.
J'ai construit un wiki LLM de plus de 100 pages. Cela fonctionnait bien jusqu'à ce que j'essaie de l'utiliser comme tuteur de programmation.
L'IA connaissait chaque définition. Lorsqu'un étudiant disait : « Je ne comprends pas les Promises », l'IA donnait une définition de manuel scolaire. C'était une mauvaise réponse.
Un véritable tuteur demanderait : « Comprends-tu d'abord les callbacks ? » ou « Qu'as-tu déjà essayé ? »
L'IA avait les faits, mais aucun jugement. J'ai réalisé que mon wiki ne stockait qu'un seul type de connaissance.
La plupart des wikis LLM stockent des connaissances déclaratives. Il s'agit de faits, de définitions et de résumés. Ils répondent à la question : « Qu'est-ce que c'est ? »
L'expertise exige plus. Il existe quatre types de connaissances dont vous avez besoin :
• Déclarative : Faits et définitions. • Procédurale : Comment raisonner. Il s'agit de la séquence de décisions qu'un expert prend. • Expérientielle : Comment cela fonctionne dans la vie réelle. Cela inclut l'observation des erreurs et la manière dont les experts les gèrent. • Interaction : Comment guider les autres. Il s'agit de savoir quand poser une question et quand rester silencieux.
La recherche montre un fossé énorme entre savoir et faire. Dans une étude portant sur des assistants d'enseignement, 75 % d'entre eux donnaient des réponses au lieu d'utiliser le questionnement socratique. Ils connaissaient les règles, mais ne pouvaient pas les appliquer sous pression.
Pour corriger cela, vous avez besoin de deux opérations dans votre système :
- Ingest : Cela recherche des faits pour créer des connaissances déclaratives.
- Mine : Cela recherche des décisions pour créer des connaissances procédurales, expérientielles et d'interaction.
On ne peut pas trouver un chemin de raisonnement en cherchant des faits. Il faut chercher des décisions. Il faut se demander : Qu'a choisi l'expert ? Quand l'a-t-il choisi ? Que s'est-il passé ensuite ?
La prochaine génération d'IA ne gagnera pas en ayant plus de faits. Elle gagnera en ayant un meilleur jugement. Le jugement n'est pas un problème de connaissance. C'est un problème de type de connaissance.
Si vous construisez une IA qui ne stocke que des faits, vous ne construisez qu'un manuel scolaire. Si vous voulez construire un expert, vous devez miner des décisions.
Source : https://dev.to/rongrong/a-four-type-framework-for-llm-wiki-by-karpathy-5f1n
Communauté d'apprentissage optionnelle : https://t.me/GyaanSetuAi