از LLMها نپرسید که آیا منابعشان واقعی هستند یا خیر

شما از یک هوش مصنوعی لیستی از منابع را می‌خواهید. او عناوین، نویسندگان و DOIها را به شما می‌دهد. همه چیز بی‌نقص به نظر می‌رسد. سپس متوجه می‌شوید که نیمی از آن‌ها وجود ندارند.

آن DOI به هیچ‌جا ختم نمی‌شود. آن مقاله هرگز نوشته نشده است.

غریزه شما این است که از مدل بپرسید: «آیا مطمئنی این واقعی است؟» هوش مصنوعی خواهد گفت بله. او همیشه می‌گوید بله. شما دارید از یک جعل‌کننده می‌پرسید که آیا اثرش اصیل است یا خیر.

یک LLM از پایگاه داده‌ای از مقالات استفاده نمی‌کند. او کلمه بعدی را در یک توالی پیش‌بینی می‌کند. برای یک هوش مصنوعی، ارجاع (citation) فقط یک الگو است. او می‌داند که یک ارجاع به نام، سال و ده رقم نیاز دارد. او شکل یک منبع واقعی را تقلید می‌کند بدون اینکه حاوی حقیقت باشد.

از مدل نخواهید که کار خودش را تأیید کند. او به دو دلیل نمی‌تواند این کار را انجام دهد:

  • او به یک ثبت رسمی (registry) زنده دسترسی ندارد. او فقط متن‌های باورپذیر تولید می‌کند.
  • او سوگیری (bias) نسبت به تأیید آنچه قبلاً گفته است دارد.

شما باید از ابزارهای خارجی برای تأیید اطلاعات استفاده کنید. در اینجا یک فیلتر سه مرحله‌ای برای نوشتار فنی آورده شده است:

۱. وجود (Existence). DOI را با یک API مانند Crossref چک کنید. اگر API خطای 404 برگرداند، منبع جعلی است. یک DOI ابداعی هرگز باز نمی‌شود.

۲. اعتبار (Credibility). یک منبع می‌تواند وجود داشته باشد اما همچنان بی‌ارزش باشد. بررسی کنید که آیا مجله یا کنفرانس شناخته‌شده است یا خیر. یک DOI معتبر، کیفیت را تضمین نمی‌کند.

۳. انطباق (Fidelity). آیا مقاله واقعاً از ادعای شما حمایت می‌کند؟ شما باید محتوا را بخوانید. تصور نکنید که چکیده (abstract) تمام جزئیات را پوشش می‌دهد. یک ارجاع واقعی که برای یک ادعای نادرست استفاده شود، همچنان یک دروغ است.

این موضوع فراتر از مقالات آکادمیک است. اگر یک هوش مصنوعی به یک تیکت JIRA، یک شماره CVE یا یک کامیت کد (code commit) ارجاع می‌دهد، باید آن را با سیستم واقعی تطبیق دهید.

بزرگترین اشتباه در معماری هوش مصنوعی، اعتماد به مدل برای خود-تأییدی (self-verify) است. تأیید باید یک مرحله مجزا باشد. این مرحله باید قبل از اینکه کاربر نتیجه را ببیند، به یک منبع حقیقت خارجی متصل شود.

سعی نکنید مدل‌ها را صادق‌تر کنید. آن‌ها مولدهای متن هستند و همیشه دچار توهم (hallucinate) می‌شوند. در عوض، دیگر حرفشان را ملاک قرار ندهید.

ارجاعی که نمی‌توانید آن را با یک ثبت رسمی تأیید کنید، ارجاع نیست. بلکه حدسی است که روپوش آزمایشگاهی به تن کرده است.

Source: https://dev.to/ohugonnot/stop-asking-the-llm-whether-its-source-is-real-2oaa

Optional learning community: https://t.me/GyaanSetuAi