Фреймворк из четырех типов знаний для LLM-вики
Одних знаний недостаточно для формирования способности судить.
Я создал LLM-вики, состоящую более чем из 100 страниц. Она работала отлично, пока я не попытался использовать её в качестве репетитора по программированию.
ИИ знал каждое определение. Когда студент говорил: «Я не понимаю Promises», ИИ выдавал книжное определение. Это был плохой ответ.
Настоящий репетитор спросил бы: «А ты понимаешь, что такое callbacks?» или «Что ты уже пробовал сделать?»
У ИИ были факты, но не было способности судить. Я понял, что моя вики хранит только один тип знаний.
Большинство LLM-вики хранят декларативные знания. Это факты, определения и резюме. Они отвечают на вопрос: «Что это такое?»
Экспертность требует большего. Вам необходимы четыре типа знаний:
• Декларативные: факты и определения. • Процедурные: как рассуждать. Это последовательность решений, которые принимает эксперт. • Эмпирические: как это работает в реальной жизни. Сюда входит наблюдение за ошибками и тем, как эксперты с ними справляются. • Интерактивные: как направлять других. Это умение понимать, когда нужно задать вопрос, а когда — промолчать.
Исследования показывают огромный разрыв между знанием и действием. В одном исследовании ассистентов преподавателей выяснилось, что 75% из них давали готовые ответы вместо использования сократовского метода вопросов. Они знали правила, но не могли применять их в стрессовых ситуациях.
Чтобы это исправить, в вашей системе должны быть две операции:
- Ingest: поиск фактов для создания декларативных знаний.
- Mine: поиск решений для создания процедурных, эмпирических и интерактивных знаний.
Вы не сможете найти путь рассуждения, просто ища факты. Вы должны искать решения. Вы должны спрашивать: Что выбрал эксперт? Когда он это выбрал? Что произошло дальше?
Следующее поколение ИИ победит не за счет большего количества фактов. Оно победит за счет лучшей способности судить. Способность судить — это не проблема объема знаний. Это проблема типа знаний.
Если вы создаете ИИ, который хранит только факты, вы создаете лишь учебник. Если вы хотите создать эксперта, вы должны заниматься добычей решений.
Source: https://dev.to/rongrong/a-four-type-framework-for-llm-wiki-by-karpathy-5f1n
Optional learning community: https://t.me/GyaanSetuAi