فراتر از Sandboxها: ساخت عاملهای هوش مصنوعی پایدار
Sandboxها برای عاملهای هوش مصنوعی در محیط عملیاتی کافی نیستند.
اکثر توسعهدهندگان، عاملها را به صورت یک حلقه ساده در حافظه میسازند. LLM مشاهده میکند، تصمیم میگیرد، عمل میکند و دوباره تکرار میکند. این روش در آزمایشگاه جواب میدهد، اما در دنیای واقعی شکست میخورد.
چرا حلقه مبتنی بر حافظه شکست میخورد؟
- وظایف طولانیمدت: اگر یک عامل برای اتمام کار به چند روز زمان نیاز داشته باشد یا منتظر تایید یک انسان برای انجام وظیفهای باشد، باز نگه داشتن یک فرآیند باعث هدر رفتن CPU و حافظه میشود.
- عدم بازیابی پس از خرابی: اگر سیستم دچار کرش شود یا شبکه قطع شود، تمام وضعیت (state) را از دست میدهید. نمیتوانید از همان جایی که متوقف شده بودید، کار را ادامه دهید.
- پیچیدگی: تعامل چندین عامل با یکدیگر بدون نوشتن حجم عظیمی از کدهای اضافی، دشوار است.
ویرین بارایا (Virein Baraiya)، مدیر فناوری Orkes، روش بهتری را پیشنهاد میکند: دغدغههای خود را از هم جدا کنید.
فقط برای انجام اقدامات از sandbox استفاده کنید. از sandbox برای اجرای ایمن کدهای ابزارهای پرخطر استفاده کنید.
برای استدلال از یک runtime پایدار استفاده کنید. LLM برنامه را ارائه میدهد و سیستم runtime مسئولیت اجرا و مدیریت وضعیت را بر عهده میگیرد.
او دو ابزار برای حل این مشکل معرفی میکند:
- Netflix Conductor این یک موتور گردش کار (workflow engine) است. مانند یک دفتر کل عمل میکند و هر فراخوانی LLM و هر استفاده از ابزار را در یک پایگاه داده ثبت میکند.
- از تعلیق در لحظه (on-demand suspension) پشتیبانی میکند. اگر عاملی منتظر یک انسان باشد، سیستم گردش کار را متوقف کرده و تمام حافظه را آزاد میکند.
- میتواند ماهها بعد برای تکمیل وظیفه، دوباره فعال شود.
- Agent Span این یک runtime است که بر پایه Conductor ساخته شده و مانند یک مترجم عمل میکند.
- میتوانید از ابزارهای موجود مانند LangGraph یا OpenAI SDK استفاده کنید.
- Agent Span کد عامل شما را بدون نیاز به بازنویسی منطق تجاری (business logic)، به گردشهای کار پایدار تبدیل میکند.
این معماری سه مزیت بزرگ به همراه دارد:
- حفاظها (Guardrails): چارچوب (framework) قوانین را کنترل میکند، نه LLM. این کار از آسیبهای ناشی از توهمات (hallucinations) جلوگیری میکند.
- بازرسی کامل (Full Audit): میتوانید دقیقاً متوجه شوید که چرا یک عامل ماهها بعد از یک تصمیم خاص گرفته است. حتی میتوانید فرآیند را بازپخش (replay) کنید.
- تست بهتر: میتوانید خروجی یک LLM را تغییر دهید و ببینید بقیه سیستم چه واکنشی نشان میدهد.
نکته نهایی برای سازندگان: بر بافت تجاری (business context) تمرکز کنید. مدلها تغییر میکنند. چارچوبها تغییر میکنند. اما روش خاصی که کسبوکار شما وظایف را اجرا میکند، مزیت رقابتی (moat) واقعی شماست.
Source: https://dev.to/cognitalk/chao-yue-sha-xiang-wei-ai-agent-gou-jian-chi-jiu-hua-yun-xing-shi-2i9i
Optional learning community: https://t.me/GyaanSetuAi