تیم شما این هفته به مدل هوش مصنوعی بهتری نیاز ندارد
از جستوجو برای مدلهای جدید هوش مصنوعی دست بردارید. ارتقای واقعی که به آن نیاز دارید، گردش کار (workflow) شماست.
اکثر تیمها روی این تمرکز میکنند که کدام مدل باهوشتر به نظر میرسد. آنها نسخههای جدید را محک میزنند و درباره هوشمندی بحث میکنند. اما اگر با LLMها کار میکنید، درد واقعی را میشناسید. مشکل کد بد نیست؛ مشکل اجرای بد است.
شما با این مسائل روبرو هستید:
- حلقههای عامل (Agent loops) که در نیمه راهِ انجام یک وظیفه متوقف میشوند.
- اعلانهای تأیید (Approval prompts) که باعث سردرگمی افراد میشوند.
- زنجیرههای زمینه (Context chains) که در حین تلاش مجدد (retries) از هم میپاشند.
- انسانها باید کارها را جمعوجور کنند چون اتوماسیون وضعیت (state) خود را از دست داده است.
هوشمندی در حال افزایش است، اما کنترل عملیاتی عقب مانده است. ما در حال ورود به عصر «مالیات ارکستراسیون» (orchestration tax) هستیم. اگر برای آن برنامهریزی نکنید، هزینهاش را با قطعیها و شکستهای بیصدا پرداخت خواهید کرد.
خروجی هوش مصنوعی بهندرت محصول نهایی است. این یک مرحله میانی در یک سیستم بزرگتر است. شما باید این سوالات را حل کنید:
- آیا وظیفه میتواند پس از اتمام زمان (timeout) از سر گرفته شود؟
- آیا میتوانیم هر تأییدی را حسابرسی کنیم؟
- آیا میتوانیم مراحل را بدون انجام اقدامات تکراری دوباره اجرا کنیم؟
- آیا یک انسان میتواند در میانه مسیر کنترل را به دست بگیرد؟
مهندسان ارشد سالها پیش این مشکلات را در سیستمهای پرداخت و پردازشهای پسزمینه (background jobs) حل کردهاند. ما از کلیدهای یکسانساز (idempotency keys)، نقاط بازرسی (checkpoints) و گزارشهای تراکنش (transaction logs) استفاده میکردیم. هوش مصنوعی این مشکلات را اختراع نکرد؛ فقط باعث شد آنها سریعتر رخ دهند.
قبل از انتخاب قرارداد اجرای خود، مدل را انتخاب نکنید. این کار مثل انتخاب موتور مسابقهای برای ماشینی است که ترمز ندارد.
با استفاده از این مراحل، یک گردش کار قابل اعتماد بسازید:
کار هوش مصنوعی را به مراحل کوچک تقسیم کنید از یک پرامپت غولآسا استفاده نکنید. آن را خرد کنید: جمعآوری زمینه (context)، پیشنهاد تغییر، اجرای بررسیها، درخواست تأیید و اعمال تغییر.
از ذخیرهسازی بادوام استفاده کنید از یک پایگاه داده برای ردیابی وضعیت، مراحل و تعداد تلاشها استفاده کنید. اگر یک کارگر (worker) کرش کرد، شما وضعیت را از روی ذخیرهسازی دائمی بازیابی میکنید، نه حافظه موقت (memory).
اصل یکسانسازی (Idempotency) را اعمال کنید هر اقدامی که دادهها را تغییر میدهد، به یک کلید ثابت نیاز دارد. اگر مرحلهای دو بار اجرا شد، نتیجه باید یکسان باقی بماند.
مجوزها را با سطوح مختلف مدیریت کنید از درخواست مداوم تأیید دست بردارید. سطوح را ایجاد کنید:
- سطح ۰: وظایف فقط خواندنی (تأیید خودکار).
- سطح ۱: نوشتنهای کمخطر (تأیید دستهای).
- سطح ۲: وظایف با تأثیر بالا (نقطه بازرسی انسانی).
- معیارهای عملیاتی را ردیابی کنید فقط به تأخیر (latency) و هزینه نگاه نکنید. نرخ اتمام زمان (timeout rates)، موفقیت در تلاش مجدد و دفعات بازگشت به حالت قبل (rollback frequency) را ردیابی کنید.
بهترین تیمهای هوش مصنوعی درباره پرامپتهای جادویی لاف نمیزنند. آنها خط لولههای (pipelines) خستهکننده، بادوام و قابل مشاهده را اجرا میکنند. مزیت آنها مدل نیست؛ مزیت آنها مهندسی سیستمهای منضبط است.
Source: https://dev.to/chrisbuildsonline/your-team-doesnt-need-a-better-ai-model-this-week-29l4
Optional learning community: https://t.me/GyaanSetuAi