یادگیری تقویتی علیِ قابل‌توضیح برای پاسخ به ناهنجاری‌های ماهواره

یادگیری تقویتی (RL) استاندارد مانند یک جعبه سیاه عمل می‌کند. این روش الگوها را از داده‌ها می‌آموزد، اما نمی‌فهمد که چرا اتفاقات رخ می‌دهند.

در عملیات ماهواره‌ای، این موضوع خطرناک است. اگر یک عامل (agent) کاهش توان خورشیدی را مشاهده کند، ممکن است تصور کند خورشید در حال کم‌نور شدن است. اگر علت واقعی پسماندهای فضایی باشد، پاسخ عامل می‌تواند باعث از کار افتادن سیستم شود.

من راهکاری را بررسی کردم: یادگیری تقویتی علیِ قابل‌توضیح (ECRL).

این رویکرد از مدل‌های علی ساختاری (SCM) استفاده می‌کند. عامل به جای مشاهده صرفِ همبستگی‌ها، علت و معلول را درک می‌کند. او می‌تواند به این سوال پاسخ دهد: «اگر اقدام متفاوتی انجام می‌دادم، چه اتفاقی می‌افتاد؟»

این موضوع هنگام کار با تیم‌های جهانی حیاتی است. مهندسان، برنامه‌ریزان ماموریت و نهادهای نظارتی همگی به پاسخ نیاز دارند. آن‌ها همچنین به زبان‌های مختلف صحبت می‌کنند و نیازهای متفاوتی دارند.

تحقیق من بر سه رکن متمرکز بود:

  • کشف علی (Causal Discovery): عامل رابطه بین متغیرهایی مانند دمای پیشران و جریان سوخت را می‌آموزد.
  • قابلیت توضیح (Explainability): عامل یک مسیر استدلالی تولید می‌کند. این مسیر، «چراییِ» پشت هر تصمیم را نشان می‌دهد.
  • انطباق چندزبانه (Multilingual Adaptation): سیستم منطق فنی را به زبان‌های مختلف ترجمه می‌کند.

من دریافتم که ترجمه به تنهایی کافی نیست. بافت فرهنگی اهمیت دارد.

  • ذینفعان ژاپنی اغلب خلاصه‌هایی را ترجیح می‌دهند که بر اجماع گروهی تأکید دارد.
  • ذینفعان آلمانی اغلب خواهان احتمالات و داده‌های دقیق هستند.
  • مقامات عرب‌زبان ممکن است به توجیهات رسمی و با تمرکز بر ایمنی نیاز داشته باشند.

سیستم ECRL با ایجاد یک سلسله‌مراتب توضیحی سه سطحی، این نیازها را مدیریت می‌کند:

  • سطح اجرایی: خلاصه‌های ساده برای تصمیم‌گیری‌های سریع.
  • سطح فنی: مسیرهای علیِ دقیق برای مهندسان.
  • سطح عمیق: اثبات‌های ریاضی کامل برای پژوهشگران.

با ترکیب علیت و هوش مصنوعی چندزبانه، از اتوماسیون جعبه سیاه به سمت عملیات ماهواره‌ای شفاف و قابل اعتماد حرکت می‌کنیم.

منبع: https://dev.to/rikinptl/explainable-causal-reinforcement-learning-for-satellite-anomaly-response-operations-across-4p0p

انجمن یادگیری اختیاری: https://t.me/GyaanSetuAi