عامل هوش مصنوعی شما خراب نیست. حقیقت شرکت شما خراب است.

یک عامل هوش مصنوعی فقط یک وظیفه داشت. او باید صورت‌حساب تأییدشده‌ی یک فروشنده را پرداخت می‌کرد. تیم مالی می‌خواست از انجام دستی این کار دست بکشد.

یک روز سه‌شنبه، عامل یک صورت‌حساب ۴۸,۰۰۰ Ksh را بررسی کرد. سیستم ERP آن را به عنوان «تأییدشده» و «پرداخت‌نشده» علامت‌گذاری کرده بود. عامل قوانین را بررسی کرد. همه چیز درست بود. او صورت‌حساب را پرداخت کرد.

مشکل چه بود؟ صورت‌حساب پنجشنبه گذشته توسط یک انسان پرداخت شده بود.

هیچ‌کدام از سیستم‌ها به تنهایی اشتباه نمی‌کردند، اما همگی با هم اختلاف نظر داشتند:

• سیستم ERP می‌گفت پرداخت نشده است چون همگام‌سازی بانکی با شکست مواجه شده بود. • فید بانکی می‌گفت پرداخت شده است. • یک رشته پیام در Slack می‌گفت تمام پرداخت‌ها به این فروشنده متوقف شود. • ایمیلی از طرف فروشنده تأیید می‌کرد که پول را دریافت کرده‌اند.

هر سیستم تکه‌ای از پازل را در اختیار داشت. اما هیچ سیستمی نمی‌توانست به تنها سوال مهم پاسخ دهد: آیا این صورت‌حساب خاص پرداخت شده است؟

یک کارمند انسانی متوجه این موضوع می‌شد. نه به این دلیل که باهوش‌تر است، بلکه به این دلیل که اصطکاک را حس می‌کند. یک انسان وظیفه را به یاد می‌آورد یا متوجه پیام Slack می‌شود. انسان‌ها مانند چسبی بین سیستم‌های آشفته عمل می‌کنند. ما قدرت قضاوت داریم.

عامل‌های هوش مصنوعی غریزه ندارند. آن‌ها داده‌ها را با سرعت ماشین می‌خوانند. آن‌ها کلمات «تأییدشده» و «پرداخت‌نشده» را می‌بینند و عمل می‌کنند. آن‌ها حس نمی‌کنند که چیزی اشتباه است.

عامل شکست نخورد. او دقیقاً همان‌طور که طراحی شده بود عمل کرد. این شکست چیزی است که من آن را فروپاشی معرفت‌شناختی (epistemic collapse) می‌نامم.

بیشتر شرکت‌ها سعی می‌کنند عامل‌ها را با پرامپت‌های بهتر یا مدل‌های بهتر اصلاح کنند. این حرکت اشتباهی است. شما نمی‌توانید با پرامپت‌نویسی به اطلاعاتی دست پیدا کنید که در داده‌هایتان وجود ندارد.

مشکل واقعی، فقدان زیرساخت معرفت‌شناختی است.

داده چیزی است که سیستم‌های شما ذخیره می‌کنند. حقیقت چیزی است که واقعاً در حال رخ دادن است. بیشتر شرکت‌ها داده‌های فراوان اما حقیقتِ صفر دارند.

سیستم‌های فعلی سه چیز متفاوت را در یک فیلد ادغام می‌کنند:

  • مشاهده: آنچه یک سیستم می‌گوید اتفاق افتاده است.
  • حقیقت: آنچه واقعاً درست است.
  • تاریخچه: آنچه قبلاً درست بود.

وقتی یک پایگاه داده می‌گوید Status: Unpaid ، تاریخچه و تردید را حذف می‌کند. این کار یک مشاهده‌ی واحد را به عنوان حقیقت مطلق ارائه می‌دهد.

عامل‌های هوش مصنوعی یک آزمون فشار برای این مشکل قدیمی هستند. آن‌ها انسان‌هایی را حذف می‌کنند که هر روز بی‌صدا این تناقض‌ها را برطرف می‌کردند. بدون انسان‌ها برای پر کردن شکاف‌ها، ترک‌های موجود در داده‌های شما به اشتباهاتی پرهزینه تبدیل می‌شوند.

از تلاش برای ساخت عامل‌های بهتر دست بردارید. ساختن لایه‌ی زیرین آن‌ها را شروع کنید. شما به سیستمی نیاز دارید که مشاهدات را ردیابی کند، اختلافات را تشخیص دهد و داده‌های منسوخ را شناسایی کند.

تا زمانی که لایه‌ای از حقیقت ایجاد نکنید، عامل‌های شما همچنان کار اشتباه را به شکلی بی‌نقص انجام خواهند داد.

منبع: https://dev.to/code_with_mwai/your-ai-agent-isnt-broken-your-companys-truth-is-2cl8

انجمن یادگیری اختیاری: https://t.me/GyaanSetuAi