مشکل اعتماد در هوش مصنوعی سازمانی
بیشتر شرکتها هنگام صحبت از اعتماد به هوش مصنوعی، بر موضوع اشتباهی تمرکز میکنند. آنها میپرسند که آیا مدل دقیق است یا خیر. آنها میپرسند که آیا مدل دچار توهم (hallucinate) میشود یا خیر.
این پرسشها اصل مطلب را نادیده میگیرند.
دلیل اینکه شرکتها هوش مصنوعی را رها میکنند، مدل نیست؛ بلکه نبود اعتماد به سیستمِ پیرامون مدل است. برای موفقیت در مرحله تولید (production)، شما به کنترل عملیاتی نیاز دارید.
شما باید به چهار پرسش پاسخ دهید:
- آیا میتوانید خروجیها را توضیح دهید؟ اگر تیمی نتواند توضیح دهد که چرا یک هوش مصنوعی نتیجه خاصی را تولید کرده است، آنها بر پایه امید کار میکنند. امید در اولین حادثه شکست میخورد.
- آیا میتوانید تصمیمات را اعتبارسنجی کنید؟ شما به راهی نیاز دارید تا خروجیهای هوش مصنوعی را با الزامات واقعی کسبوکار مطابقت دهید.
- آیا میتوانید مداخله کنید؟ شما به یک کلید قطع اضطراری (kill switch) یا یک مسیر جایگزین (fallback path) نیاز دارید. اگر راهی برای متوقف کردن هوش مصنوعی نداشته باشید، این درس را در طول یک بحران خواهید آموخت.
- آیا میتوانید نتایج را ردیابی کنید؟ اگر تصمیمی منجر به نتیجه بدی شود، باید زنجیره تصمیمگیری را بازسازی کنید. شما باید ورودی، خروجی و بافتار (context) را بدانید.
عدم شفافیت در دموها جواب میدهد، اما در مرحله تولید شکست میخورد.
محیطهای واقعیِ تولید دارای حسابرسان، نهادهای نظارتی و مهندسان هستند. این افراد باید بدانند چرا اتفاقات رخ دادهاند. آنها نمیتوانند «هوش مصنوعی این کار را انجام داد» را به عنوان پاسخ بپذیرند.
سیستمهای غیرشفاف، عدم قطعیت را گسترش میدهند. عدم قطعیت، مانع از پذیرش (adoption) میشود.
تیمهایی که هوش مصنوعی را در بلندمدت حفظ میکنند، این چهار کار را انجام میدهند:
- آنها خروجیها را توضیحپذیر میکنند. یک فرد در تیم همیشه میتواند پاسخ دهد که چرا سیستم آنگونه عمل کرده است.
- آنها تصمیمات را قابل بررسی میکنند. یک لایه اعتبارسنجی بین هوش مصنوعی و اقدام نهایی قرار میگیرد.
- آنها مداخله را امکانپذیر میکنند. یک مسیر بازنگری (override path) وجود دارد و کار میکند.
- آنها قابلیت ردیابی را در سیستم میسازند. لاگها (logs) به شما اجازه میدهند هر رویداد را بازسازی کنید.
دسترسی به مدلها دیگر چالش نیست. چالش اصلی، حفظ شفافیت عملیاتی با ورود هوش مصنوعی به جریان کاری (workflow) شماست.
سازمانها زمانی هوش مصنوعی را سریعتر میپذیرند که سیستم شفاف و قابل ردیابی باشد. اعتماد به مدل کافی نیست؛ شما باید به کل سیستم اعتماد کنید.
تیم شما چگونه با اعتماد به هوش مصنوعی برخورد میکند؟ آیا این موضوع در طراحی شما گنجانده شده است یا منتظر میمانید تا چیزی خراب شود؟