מסגרת ארבעת הסוגים עבור LLM Wiki
ידע לבדו אינו יוצר שיקול דעת.
בניתי LLM wiki עם למעלה מ-100 עמודים. הוא עבד היטב עד שניסיתי להשתמש בו כמורה פרטי לתכנות.
ה-AI הכיר כל הגדרה. כשסטודנט אמר, "אני לא מבין Promises", ה-AI נתן הגדרה מתוך ספר לימוד. זו הייתה תגובה גרועה.
מורה אמיתי היה שואל: "האם אתה מבין callbacks קודם?" או "מה ניסית לעשות?".
ל-AI היו עובדות אך אפס שיקול דעת. הבנתי שה-wiki שלי שומר רק סוג אחד של ידע.
רוב ה-LLM wikis שומרים ידע דקלרטיבי. אלו הן עובדות, הגדרות וסיכומים. הם עונים על השאלה "מה זה?".
מומחיות דורשת יותר. ישנם ארבעה סוגי ידע שאתה זקוק להם:
• דקלרטיבי: עובדות והגדרות. • פרוצדורלי: איך להסיק מסקנות. זהו רצף ההחלטות שמומחה מקבל. • ניסייוני: איך זה עובד בחיים האמיתיים. זה כולל צפייה בטעויות וכיצד מומחים מתמודדים איתן. • אינטראקציה: איך להנחות אחרים. זה אומר לדעת מתי לשאול שאלה ומתי לשתוק.
מחקרים מראים פער עצום בין ידע לבין ביצוע. באחד המחקרים על עוזרי הוראה, 75% מהם נתנו תשובות במקום להשתמש בשיטת השאלות של סוקרטס. הם הכירו את הכללים, אך לא יכלו ליישם אותם תחת לחץ.
כדי לתקן זאת, אתה זקוק לשתי פעולות במערכת שלך:
- Ingest: פעולה זו מחפשת עובדות כדי ליצור ידע דקלרטיבי.
- Mine: פעולה זו מחפשת החלטות כדי ליצור ידע פרוצדורלי, ניסייוני ואינטראקטיבי.
אי אפשר למצוא נתיב חשיבה על ידי חיפוש עובדות. עליך לחפש החלטות. עליך לשאול: מה המומחה בחר? מתי הוא בחר בזה? מה קרה אחר כך?
הדור הבא של ה-AI לא ינצח על ידי החזקה בעובדות רבות יותר. הוא ינצח על ידי שיקול דעת טוב יותר. שיקול דעת אינו בעיית ידע. זוהי בעיה של סוג הידע.
אם תבנה AI ששומר רק עובדות, אתה בונה רק ספר לימוד. אם אתה רוצה לבנות מומחה, עליך לכרות החלטות.
Source: https://dev.to/rongrong/a-four-type-framework-for-llm-wiki-by-karpathy-5f1n
Optional learning community: https://t.me/GyaanSetuAi