LLM Wiki के लिए चार-प्रकार का ढांचा (Framework)
केवल ज्ञान से निर्णय क्षमता (judgment) विकसित नहीं होती।
मैंने 100 से अधिक पृष्ठों वाला एक LLM wiki बनाया। यह तब तक अच्छी तरह काम करता रहा जब तक मैंने इसे एक प्रोग्रामिंग ट्यूटर के रूप में उपयोग करने की कोशिश नहीं की।
AI को हर परिभाषा पता थी। जब एक छात्र ने कहा, "मुझे Promises समझ नहीं आ रहे हैं," तो AI ने एक पाठ्यपुस्तक वाली परिभाषा दे दी। यह एक खराब प्रतिक्रिया थी।
एक वास्तविक ट्यूटर पूछता: "क्या आप पहले callbacks समझते हैं?" या "आपने क्या प्रयास किया है?"
AI के पास तथ्य तो थे लेकिन निर्णय क्षमता शून्य थी। मुझे एहसास हुआ कि मेरा wiki केवल एक ही प्रकार का ज्ञान संग्रहीत करता था।
अधिकांश LLM wikis declarative knowledge संग्रहीत करते हैं। ये तथ्य, परिभाषाएं और सारांश होते हैं। वे उत्तर देते हैं "यह क्या है?"
विशेषज्ञता के लिए इससे अधिक की आवश्यकता होती है। आपको चार प्रकार के ज्ञान की आवश्यकता है:
• Declarative: तथ्य और परिभाषाएं। • Procedural: तर्क कैसे करें। यह उन निर्णयों का क्रम है जो एक विशेषज्ञ लेता है। • Experiential: वास्तविक जीवन में यह कैसे काम करता है। इसमें गलतियों को देखना और विशेषज्ञों द्वारा उन्हें संभालने का तरीका शामिल है। • Interaction: दूसरों का मार्गदर्शन कैसे करें। यह जानना है कि कब प्रश्न पूछना है और कब चुप रहना है।
शोध से पता चलता है कि जानने और करने के बीच एक बड़ा अंतर है। टीचिंग असिस्टेंट्स के एक अध्ययन में, उनमें से 75% ने Socratic questioning का उपयोग करने के बजाय सीधे उत्तर दे दिए। वे नियमों को जानते थे, लेकिन दबाव में उन्हें लागू नहीं कर सके।
इसे ठीक करने के लिए, आपको अपने सिस्टम में दो ऑपरेशन्स की आवश्यकता है:
- Ingest: यह declarative knowledge बनाने के लिए तथ्यों की तलाश करता है।
- Mine: यह procedural, experiential, और interaction knowledge बनाने के लिए निर्णयों की तलाश करता है।
आप केवल तथ्यों को देखकर तर्क का मार्ग (reasoning path) नहीं खोज सकते। आपको निर्णयों को खोजना होगा। आपको पूछना होगा: विशेषज्ञ ने क्या चुना? उन्होंने इसे कब चुना? इसके बाद क्या हुआ?
AI की अगली पीढ़ी अधिक तथ्य होने से नहीं जीतेगी। वह बेहतर निर्णय क्षमता (judgment) होने से जीतेगी। निर्णय क्षमता ज्ञान की समस्या नहीं है। यह ज्ञान के प्रकार (knowledge-type) की समस्या है।
यदि आप ऐसा AI बनाते हैं जो केवल तथ्यों को संग्रहीत करता है, तो आप केवल एक पाठ्यपुस्तक बना रहे हैं। यदि आप एक विशेषज्ञ बनाना चाहते हैं, तो आपको निर्णयों को खोजना (mine) होगा।
स्रोत: https://dev.to/rongrong/a-four-type-framework-for-llm-wiki-by-karpathy-5f1n
वैकल्पिक शिक्षण समुदाय: https://t.me/GyaanSetuAi