سطح اطمینان Qwen 2.5 7B غیرقابل اعتماد است
مدلهای زبانی بزرگ اغلب درباره میزان اطمینان خود دروغ میگویند.
مطالعه جدیدی از دانشگاه مینهسوتا نشاندهنده یک نقص بزرگ در Qwen 2.5 7B است. وقتی این مدل با دادههای بالینی کار میکند، امتیازات اطمینان آن تقریباً ثابت میماند.
مدل سطح اطمینانی بین 0.856 تا 0.937 گزارش میدهد. این اتفاق حتی زمانی که مدل اشتباه میکند نیز رخ میدهد.
یافتههای کلیدی این تحقیق:
- مدل از نظر معرفتشناختی (epistemically) کالیبره نشده است. قطعیت آن به جای دقت، به قالب پرامپت (prompt format) بستگی دارد.
- اطمینان بالا به معنای دقت بالا نیست.
- مدل در موارد ساده، با بیشترین میزان اطمینان مرتکب اشتباه میشود.
- مدلهای سنتی مانند XGBoost در کار با دادههای جدولی ساختاریافته، عملکرد بهتری نسبت به LLMها دارند.
چرا این اتفاق میافتد؟
LLMها از زبان طبیعی یاد میگیرند. آنها فاقد درک شهودی از ردیفهای اعداد بالینی هستند و به جای شواهد واقعی دادهها، بر الگوهای زبانی تکیه میکنند.
این موضوع در حوزه سلامت ریسک ایجاد میکند. اگر به امتیاز اطمینان یک مدل اعتماد کنید، ممکن است یک پاسخ اشتباه را به عنوان یک واقعیت بپذیرید.
محققان راهی برای رفع این مشکل بدون بازآموزی (retraining) مدل پیدا کردهاند:
- ترکیب مثالهای few-shot با تزریق تخصیص SHAP (SHAP attribution injection).
- این کار دقت را از 49% به 75.3% افزایش داد.
- استفاده از یک کالیبراتور بینمدلی (cross-model calibrator).
- با مقایسه LLM با یک مدل ML کلاسیک، میتوانید تشخیص دهید که چه زمانی LLM غیرقابل اعتماد است.
- این روش نرخ خطا را به طور قابل توجهی کاهش داد.
نتیجهگیری ساده است: به امتیازات اطمینان بیانشده برای دادههای ساختاریافته اعتماد نکنید. از خط لولههای (pipelines) ترکیبی استفاده کنید. اجازه دهید مدلهای کلاسیک اعداد را مدیریت کنند و از LLMها برای استدلال و توضیح استفاده کنید.
منبع: https://arxiv.org/abs/2606.19509
انجمن یادگیری اختیاری: https://t.me/GyaanSetuAi