ما اعتماد به مدلها را متوقف کردیم. سپس اعتماد به اعداد و ارقام خودمان را متوقف کردیم.
من از دنبال کردن مدلهای هوش مصنوعی بهتر دست کشیدم. فکر میکردم یک مدل قویتر سیستم من را اصلاح خواهد کرد. اما اینطور نشد. مشکل از مدل نبود؛ مشکل از سیستم بود.
سپس متوجه چیز بدتری شدم. من حتی نمیتوانستم به اندازهگیریهای خودم هم اعتماد کنم.
سه نوع شکست متفاوت را مشاهده کردم:
- مجموعهای از تستها که در حال اندازهگیری محیطی اشتباه بودند، اما با موفقیت پاس میشدند.
- یک دروازه (gate) که مانع کار میشد اما آمارهای اشتباهی ارائه میداد.
- یک عامل (agent) که تعداد اشتباهی را گزارش میکرد.
هر شکست تا زمانی که دقیقتر نگاه نمیکردم، شبیه به موفقیت به نظر میرسید. ابزارهای من برای تأیید (verification)، داشتند به من دروغ میگفتند.
اولین غریزهام این بود که تمام عدمقطعیتها را ممنوع کنم. میخواستم هر عنصر احتمالی را حذف کنم. میخواستم همه چیز قطعی (deterministic) باشد.
این یک اشتباه بود.
اگر تمام عدمقطعیت را حذف کنید، ارزش هوش مصنوعی را از بین بردهاید. هدف هوش مصنوعی پیشنهاد ایدهها و بررسی راهحلهاست. شما نمیتوانید این را از یک قانون سختگیرانه به دست آورید.
راه حل، ممنوع کردن عدمقطعیت نیست؛ راه حل، قرار دادن درست آن است.
یک سیستم به دو جایگاه متفاوت نیاز دارد:
۱. جایگاه پیشنهاددهنده این جایگاه به کاوش و پیشنهاد میپردازد. این جایگاه به عدمقطعیت (nondeterminism) نیاز دارد. اگر مدلی یک اصلاح اشتباه پیشنهاد دهد، هزینه آن کم است، زیرا هنوز هیچ تصمیمی نگرفته است.
۲. جایگاه قضاوتگر این جایگاه تصمیم میگیرد که آیا یک تست پاس میشود یا یک قانون رعایت شده است یا خیر. این جایگاه باید قطعی (deterministic) باشد. باید بازتولیدپذیر و قابل بررسی باشد.
شکستها در سیستم من به این دلیل رخ داد که چیزهای اشتباهی را در جایگاه قضاوتگر قرار دادم. من اجازه دادم فرآیندهای نامطمئن، تصمیمات نهایی را بگیرند.
قانون ساده است:
- اجازه دهید بخشهای نامطمئن کاوش کنند.
- اجازه دهید بخشهای قطعی قضاوت کنند.
سعی نکنید کل سیستم را قطعی کنید. در عوض، مطمئن شوید که قاضیان شما استوار هستند. یک قاضی قطعی که اشتباه میکند، خطرناکتر از یک قاضی احتمالی است. یک قاضی اشتباه، خطایی مداوم ایجاد میکند که در نهایت دیگر به آن شک نمیکنید.
هر لایهای که به شما اعتماد میدهد، ابتدا باید اندازهگیری شود. آن اندازهگیری باید بر چیزی قطعی استوار باشد که خودتان بتوانید شاهد آن باشید.
شما در سیستمهای هوش مصنوعی خود، مرز بین پیشنهاد دادن و قضاوت کردن را چگونه تعیین میکنید؟ در کجا بر قطعی بودن پافشاری میکنید؟
Source: https://dev.to/josephyeo/we-stopped-trusting-models-then-we-stopped-trusting-our-own-numbers-1611
Optional learning community: https://t.me/GyaanSetuAi