چارچوبی چهارگانه برای ویکیِ LLM
دانش به تنهایی قضاوت ایجاد نمیکند.
من یک ویکی LLM با بیش از ۱۰۰ صفحه ساختم. تا زمانی که سعی کردم از آن به عنوان یک مدرس برنامهنویسی استفاده کنم، خوب کار میکرد.
هوش مصنوعی تمام تعاریف را میدانست. وقتی دانشآموزی میگفت: «من Promiseها را درک نمیکنم»، هوش مصنوعی یک تعریف کتابی ارائه میداد. این پاسخ بدی بود.
یک مدرس واقعی میپرسید: «آیا ابتدا callbackها را درک میکنی؟» یا «چه کارهایی را امتحان کردهای؟»
هوش مصنوعی حقایق را میدانست اما قضاوتش صفر بود. متوجه شدم که ویکی من فقط یک نوع دانش را ذخیره میکرد.
اکثر ویکیهای LLM، دانش اظهاری (declarative knowledge) را ذخیره میکنند. اینها شامل حقایق، تعاریف و خلاصهها هستند. آنها به این سوال پاسخ میدهند که «این چیست؟»
تخصص به موارد بیشتری نیاز دارد. چهار نوع دانش وجود دارد که به آنها نیاز دارید:
• اظهاری (Declarative): حقایق و تعاریف. • رویهای (Procedural): نحوه استدلال کردن. این همان توالی تصمیماتی است که یک متخصص اتخاذ میکند. • تجربی (Experiential): نحوه عملکرد در دنیای واقعی. این شامل مشاهده اشتباهات و نحوه برخورد متخصصان با آنهاست. • تعاملی (Interaction): نحوه راهنمایی دیگران. این یعنی دانستن اینکه چه زمانی سوال بپرسید و چه زمانی سکوت کنید.
تحقیقات نشان میدهد که شکاف بزرگی بین دانستن و انجام دادن وجود دارد. در یک مطالعه روی دستیاران آموزشی، ۷۵ درصد آنها به جای استفاده از پرسشگری سقراطی، پاسخها را مستقیماً میدادند. آنها قوانین را میدانستند، اما نمیتوانستند آنها را تحت فشار اجرا کنند.
برای رفع این مشکل، به دو عملیات در سیستم خود نیاز دارید:
- جذب (Ingest): به دنبال حقایق میگردد تا دانش اظهاری ایجاد کند.
- استخراج (Mine): به دنبال تصمیمات میگردد تا دانش رویهای، تجربی و تعاملی ایجاد کند.
شما نمیتوانید با جستجوی حقایق، یک مسیر استدلالی پیدا کنید. باید به دنبال تصمیمات باشید. باید بپرسید: متخصص چه چیزی را انتخاب کرد؟ چه زمانی آن را انتخاب کرد؟ بعد از آن چه اتفاقی افتاد؟
نسل بعدی هوش مصنوعی با داشتن حقایق بیشتر پیروز نخواهد شد. بلکه با داشتن قضاوت بهتر پیروز خواهد شد. قضاوت یک مشکلِ دانش نیست، بلکه یک مشکل از نوعِ دانش است.
اگر هوش مصنوعیای بسازید که فقط حقایق را ذخیره میکند، در واقع فقط در حال ساختن یک کتاب درسی هستید. اگر میخواهید یک متخصص بسازید، باید به دنبال استخراج تصمیمات باشید.
منبع: https://dev.to/rongrong/a-four-type-framework-for-llm-wiki-by-karpathy-5f1n
انجمن یادگیری اختیاری: https://t.me/GyaanSetuAi