عامل هوش مصنوعی شما چقدر باید خودمختار باشد؟
مردم اغلب بر خودمختارتر کردن عاملهای هوش مصنوعی تمرکز میکنند. آنها استدلال و برنامهریزی بیشتری میخواهند. آنها استقلال بیشتری میخواهند.
این پیشرفت به نظر میرسد. اما خودمختاری بیشتر همیشه پاسخ نهایی نیست.
مهندسان نرمافزار همیشه به دنبال «بیشتر» نیستند. شما از microservices فقط به این دلیل که محبوب هستند استفاده نمیکنید. شما معماریای را انتخاب میکنید که بین قابلیت و پیچیدگی تعادل برقرار کند.
همین قاعده برای هوش مصنوعی نیز صدق میکند. نپرسید یک عامل چقدر میتواند خودمختار باشد؛ بپرسید چقدر باید خودمختار باشد.
خودمختاری یک تصمیم طراحی است. هر بار که به یک عامل اجازه میدهید تصمیمی بگیرد، مسئولیت آن را افزایش میدهید. این کار مزایایی دارد، اما چالشهای مهندسی نیز به همراه میآورد.
خودمختاری بالا به عامل کمک میکند تا با موقعیتهای جدید سازگار شود. عامل بدون راهنمایی مداوم، در جهت رسیدن به یک هدف تلاش میکند. با این حال، این امر پیشبینی، عیبیابی (debug) و اعتماد به عامل را نیز دشوارتر میکند.
خودمختاری رایگان نیست.
خودمختاری را به عنوان یک طیف در نظر بگیرید. • در یک سر طیف، سیستمها فقط پاسخ تولید میکنند. • در سر دیگر، عاملها مراحل را برنامهریزی کرده و با کمترین کمک انسانی عمل میکنند.
هر قدم به سمت بالای این طیف، قابلیت و پیچیدگی را افزایش میدهد. هدف شما رسیدن به بالاترین نقطه نیست. هدف شما این است که در سطحی که مسئلهتان نیاز دارد، متوقف شوید.
یک دستیار منابع انسانی (HR) را در نظر بگیرید. این دستیار به سوالات مربوط به سیاستها پاسخ میدهد. دادن قدرت تغییر سوابق کارکنان به آن، بدون اینکه ارزش افزودهای داشته باشد، فقط ریسک را افزایش میدهد.
حالا یک عامل عملیاتی را در نظر بگیرید. این عامل خطاهای تولید را بررسی میکند. او نیاز دارد لاگها (logs) را بررسی کند و از سیستمها پرسوجو (query) انجام دهد. یک گردش کار (workflow) صلب، این عامل را محدود میکند. در اینجا، خودمختاری باعث بهبود راهکار میشود.
تفاوت در مسئله است، نه در تکنولوژی.
بسیاری از سیستمهای موفق از خودمختاری محدود (bounded autonomy) استفاده میکنند. این بدان معناست که عامل در چارچوب محدودیتهای سختگیرانهای عمل میکند.
- محدود کردن دسترسی به ابزارها.
- محدود کردن دامنه وظایف.
- نیاز به تایید برای اقدامات با تاثیر بالا.
- تعیین محدودیتهای هزینه.
- تعیین زمان توقف و درخواست از انسان.
محدودیتها باعث میشوند یک عامل قابل پیشبینی و قابل اعتماد باشد.
قبل از افزایش خودمختاری، این سوالات را بپرسید:
- آیا یک گردش کار (workflow) میتواند این را حل کند؟
- آیا مرحله بعدی به اطلاعات ناشناخته بستگی دارد؟
- اگر عامل شکست بخورد چه میشود؟
- آیا میتوانید اقدامات پرخطر را از استدلالهای کمخطر جدا کنید؟
- آیا خودمختاری محدود (bounded autonomy) پاسخگو خواهد بود؟
بهترین مهندسان، خودمختاری را به حداکثر نمیرسانند. آنها دقیقاً تصمیم میگیرند که خودمختاری از کجا شروع و در کجا پایان یابد. معماری خوب یعنی انجام دقیقاً همان کاری که لازم است.
منبع: https://dev.to/rohith_kn/how-much-autonomy-should-your-ai-agent-have-4h4n
جامعه یادگیری اختیاری: https://t.me/GyaanSetuAi