𝗕𝘂𝗶𝗹𝗱𝗶𝗻𝗴 𝗔𝗜 𝗔𝗴𝗲𝗻𝘁𝘀 𝗧𝗵𝗮𝘁 𝗗𝗼𝗻'𝘁 𝗛𝗮𝗹𝗹𝘂𝗰𝗶𝗻𝗮𝘁𝗲
بیشتر عاملهای هوش مصنوعی در مرحله تولید شکست میخورند. آنها نام توابع را از خودشان میسازند. پارامترها را اشتباه حدس میزنند. ابزارهای اشتباه را فراخوانی میکنند.
قرار است Function calling جلوی این اتفاق را بگیرد. اما در واقعیت، این قابلیت اغلب باعث میشود عاملها در مقیاس بالا، با اعتمادبهنفس اشتباه کنند.
برای حل این مشکل نیازی به مدلهای بزرگتر ندارید. شما به معماری بهتری نیاز دارید.
برای ساخت عاملهای قابل اعتماد، این چهار الگو را دنبال کنید:
۱. از یک مسیریاب دو مرحلهای (two-stage router) استفاده کنید ۱۵ ابزار را همزمان به یک مدل ندهید. این کار باعث تورم در Schema میشود. در عوض، ابتدا از یک مدل سریع و ارزان برای دستهبندی قصد (intent) استفاده کنید. وقتی قصد کاربر را دانستید، فقط ابزارهای مرتبط را نشان دهید. این کار خطاها را ۶۰ تا ۷۰ درصد کاهش میدهد.
۲. خروجیهای ساختاریافته را اجبار کنید از درخواست از مدلها برای بازگرداندن JSON معتبر از طریق پرامپتها دست بردارید. از اعمال Schema در سطح API استفاده کنید. یک Schema همیشه بر یک پرامپت ۵۰۰ کلمهای برتری دارد. این کار تضمین میکند که مدل از قوانین شما پیروی میکند.
۳. لایههای اعتبارسنجی بسازید هر فراخوانی ابزار به سه مرحله نیاز دارد:
- پیشاعتبارسنجی (Pre-validation)
- اجرای مدل
- پساعتبارسنجی (Post-validation)
اگر فراخوانی ابزار در مرحله اعتبارسنجی شکست خورد، خطا را به مدل برگردانید. مدلها در ۸۰ درصد مواقع، در تلاش دوم خطاهای پارامتر خود را اصلاح میکنند.
۴. محدودیتهای سختگیرانه تعیین کنید حلقههای بینهایت بودجه شما را از بین میبرند. یک مدل ممکن است ابزارها را در یک حلقه فراخوانی کند تا زمانی که با Timeout مواجه شود. همیشه حداکثر تعداد تکرار (iteration count) را تعیین کنید. محدودیتهای سختگیرانه یک ضرورت هستند، نه یک انتخاب.
هزینههای خود را با استفاده از مدلهای مختلف برای وظایف مختلف بهینه کنید:
- از مدلهای کوچک برای مسیریابی قصد (intent routing) و قالببندی خروجی استفاده کنید.
- از مدلهای سطح متوسط برای انتخاب ابزار استفاده کنید.
- از مدلهای پیشرو (frontier models) فقط برای برنامهریزیهای پیچیده استفاده کنید.
این رویکرد هزینهها را ۱۰ تا ۱۵ برابر کاهش میدهد، در حالی که تقریباً هیچ افت کیفیتی ایجاد نمیشود.
هوش مصنوعی قابل اعتماد، در گرو طراحی سیستم است. بر محدودیتها، اعتبارسنجی و هماهنگسازی (orchestration) تمرکز کنید.
شما از چه الگوهایی برای ساخت عاملهای قابل اعتماد استفاده میکنید؟