𝗘𝘅𝗽𝗹𝗮𝗶𝗻𝗮𝗯𝗹𝗲 𝗖𝗮𝘂𝘀𝗮𝗹 𝗥𝗟 𝗳𝗼𝗿 𝗦𝗮𝘁𝗲𝗹𝗹𝗶𝘁𝗲 𝗔𝗻𝗼𝗺𝗮𝗹𝘆 𝗥𝗲𝘀𝗽𝗼𝗻𝘀𝗲

ಪ್ರಮಾಣಿತ ರಿಇನ್‌ಫೋರ್ಸ್‌ಮೆಂಟ್ ಲರ್ನಿಂಗ್ (Reinforcement Learning - RL) ಒಂದು 'ಬ್ಲಾಕ್ ಬಾಕ್ಸ್' ತರಹ ಕೆಲಸ ಮಾಡುತ್ತದೆ. ಇದು ದತ್ತಾಂಶದಿಂದ ಮಾದರಿಗಳನ್ನು ಕಲಿಯುತ್ತದೆ ಆದರೆ ವಿಷಯಗಳು ಏಕೆ ಸಂಭವಿಸುತ್ತವೆ ಎಂಬುದು ಅದಕ್ಕೆ ಅರ್ಥವಾಗುವುದಿಲ್ಲ.

ಉಪಗ್ರಹ ಕಾರ್ಯಾಚರಣೆಗಳಲ್ಲಿ ಇದು ಅಪಾಯಕಾರಿ. ಒಂದು ಏಜೆಂಟ್ ಸೌರಶಕ್ತಿಯ ಕುಸಿತವನ್ನು ಕಂಡರೆ, ಸೂರ್ಯನ ಬೆಳಕು ಕಡಿಮೆಯಾಗುತ್ತಿದೆ ಎಂದು ಅದು ಭಾವಿಸಬಹುದು. ಆದರೆ ನಿಜವಾದ ಕಾರಣ ಬಾಹ್ಯಾಕಾಶದ ಕಸ (space debris) ಆಗಿದ್ದರೆ, ಏಜೆಂಟ್‌ನ ಪ್ರತಿಕ್ರಿಯೆಯು ವ್ಯವಸ್ಥೆಯನ್ನು ಕುಸಿಯುವಂತೆ ಮಾಡಬಹುದು.

ನಾನು ಒಂದು ಪರಿಹಾರವನ್ನು ಅನ್ವೇಷಿಸಿದೆ: ಎಕ್ಸ್‌ಪ್ಲೇನಬಲ್ ಕಾಜಲ್ ರಿಇನ್‌ಫೋರ್ಸ್‌ಮೆಂಟ್ ಲರ್ನಿಂಗ್ (Explainable Causal Reinforcement Learning - ECRL).

ಈ ವಿಧಾನವು ಸ್ಟ್ರಕ್ಚರಲ್ ಕಾಜಲ್ ಮಾಡೆಲ್‌ಗಳನ್ನು (Structural Causal Models - SCM) ಬಳಸುತ್ತದೆ. ಕೇವಲ ಸಂಬಂಧಗಳನ್ನು (correlations) ನೋಡುವುದರ ಬದಲಿಗೆ, ಏಜೆಂಟ್ ಕಾರಣ ಮತ್ತು ಪರಿಣಾಮವನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುತ್ತದೆ. ಇದು "ನಾನು ಬೇರೆ ರೀತಿಯ ಕ್ರಮ ಕೈಗೊಂಡಿದ್ದರೆ ಏನಾಗುತ್ತಿತ್ತು?" ಎಂಬ ಪ್ರಶ್ನೆಗೆ ಉತ್ತರಿಸಬಲ್ಲದು.

ಜಾಗತಿಕ ತಂಡಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುವಾಗ ಇದು ಅತ್ಯಗತ್ಯ. ಎಂಜಿನಿಯರ್‌ಗಳು, ಮಿಷನ್ ಪ್ಲಾನರ್‌ಗಳು ಮತ್ತು ನಿಯಂತ್ರಕರಿಗೆ (regulators) ಎಲ್ಲರಿಗೂ ಉತ್ತರಗಳ ಅಗತ್ಯವಿದೆ. ಅವರು ವಿಭಿನ್ನ ಭಾಷೆಗಳನ್ನು ಮಾತನಾಡುತ್ತಾರೆ ಮತ್ತು ಅವರ ಅಗತ್ಯತೆಗಳು ಕೂಡ ವಿಭಿನ್ನವಾಗಿರುತ್ತವೆ.

ನನ್ನ ಸಂಶೋಧನೆಯು ಮೂರು ಪ್ರಮುಖ ಅಂಶಗಳ ಮೇಲೆ ಕೇಂದ್ರೀಕೃತವಾಗಿದೆ:

  • ಕಾಜಲ್ ಡಿಸ್ಕವರಿ (Causal Discovery): ಥ್ರಸ್ಟರ್ ತಾಪಮಾನ ಮತ್ತು ಇಂಧನ ಹರಿವಿನಂತಹ ಚರಾಂಶಗಳ (variables) ನಡುವಿನ ಸಂಬಂಧವನ್ನು ಏಜೆಂಟ್ ಕಲಿಯುತ್ತದೆ.
  • ಎಕ್ಸ್‌ಪ್ಲೇನಬಿಲಿಟಿ (Explainability): ಏಜೆಂಟ್ ಒಂದು ತಾರ್ಕಿಕ ಹಾದಿಯನ್ನು (reasoning path) ಸೃಷ್ಟಿಸುತ್ತದೆ. ಇದು ಪ್ರತಿಯೊಂದು ನಿರ್ಧಾರದ ಹಿಂದಿರುವ "ಏಕೆ" ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ.
  • ಬಹುಭಾಷಾ ಹೊಂದಾಣಿಕೆ (Multilingual Adaptation): ಈ ವ್ಯವಸ್ಥೆಯು ತಾಂತ್ರಿಕ ತರ್ಕವನ್ನು ವಿವಿಧ ಭಾಷೆಗಳಿಗೆ ಅನುವಾದಿಸುತ್ತದೆ.

ಕೇವಲ ಅನುವಾದವು ಸಾಕಾಗುವುದಿಲ್ಲ ಎಂಬುದು ನನಗೆ ತಿಳಿಯಿತು. ಸಾಂಸ್ಕೃತಿಕ ಸಂದರ್ಭವು (cultural context) ಬಹಳ ಮುಖ್ಯವಾಗಿದೆ.

  • ಜಪಾನೀಸ್ ಪಾಲುದಾರರು ಹೆಚ್ಚಾಗಿ ಗುಂಪು ಒಮ್ಮತಕ್ಕೆ ಒತ್ತು ನೀಡುವ ಸಾರಾಂಶಗಳನ್ನು ಇಷ್ಟಪಡುತ್ತಾರೆ.
  • ಜರ್ಮನ್ ಪಾಲುದಾರರು ಹೆಚ್ಚಾಗಿ ನಿಖರವಾದ ಸಂಭವನೀಯತೆಗಳು (probabilities) ಮತ್ತು ದತ್ತಾಂಶವನ್ನು ಬಯಸುತ್ತಾರೆ.
  • ಅರೇಬಿಕ್ ಭಾಷೆ ಮಾತನಾಡುವ ಅಧಿಕಾರಿಗಳಿಗೆ ಔಪಚಾರಿಕ ಮತ್ತು ಸುರಕ್ಷತೆಗೆ ಒತ್ತು ನೀಡುವ ಸಮರ್ಥನೆಗಳ ಅಗತ್ಯವಿರಬಹುದು.

ECRL ವ್ಯವಸ್ಥೆಯು ಮೂರು ಹಂತದ ವಿವರಣಾ ಶ್ರೇಣಿಯನ್ನು (explanation hierarchy) ನಿರ್ಮಿಸುವ ಮೂಲಕ ಈ ಅಗತ್ಯಗಳನ್ನು ನಿಭಾಯಿಸುತ್ತದೆ:

  • ಎಕ್ಸಿಕ್ಯೂಟಿವ್ ಮಟ್ಟ (Executive Level): ತ್ವರಿತ ನಿರ್ಧಾರಗಳಿಗಾಗಿ ಸರಳ ಸಾರಾಂಶಗಳು.
  • ತಾಂತ್ರಿಕ ಮಟ್ಟ (Technical Level): ಎಂಜಿನಿಯರ್‌ಗಳಿಗಾಗಿ ವಿವರವಾದ ಕಾಜಲ್ ಹಾದಿಗಳು.
  • ಆಳವಾದ ಮಟ್ಟ (Deep Level): ಸಂಶೋಧಕರಿಗಾಗಿ ಸಂಪೂರ್ಣ ಗಣಿತದ ಪುರಾವೆಗಳು.

ಕಾಜಲಿಟಿ (causality) ಮತ್ತು ಬಹುಭಾಷಾ AI ಅನ್ನು ಸಂಯೋಜಿಸುವ ಮೂಲಕ, ನಾವು 'ಬ್ಲಾಕ್-ಬಾಕ್ಸ್' ಆಟೊಮೇಷನ್‌ನಿಂದ ಪಾರದರ್ಶಕ ಮತ್ತು ವಿಶ್ವಾಸಾರ್ಹ ಉಪಗ್ರಹ ಕಾರ್ಯಾಚರಣೆಗಳತ್ತ ಸಾಗಬಹುದು.

Source: https://dev.to/rikinptl/explainable-causal-reinforcement-learning-for-satellite-anomaly-response-operations-across-4p0p

Optional learning community: https://t.me/GyaanSetuAi