𝗘𝘅𝗽𝗹𝗮𝗶𝗻𝗮𝗯𝗹𝗲 𝗖𝗮𝘂𝘀𝗮𝗹 𝗥𝗟 𝗳𝗼𝗿 𝗦𝗼𝗳𝘁 𝗥𝗼𝗯𝗼𝘁𝗶𝗰𝘀 𝗠𝗮𝗶𝗻𝘁𝗲𝗻𝗮𝗻𝗰𝗲 (ಸಾಫ್ಟ್ ರೋಬೊಟಿಕ್ಸ್ ನಿರ್ವಹಣೆಗಾಗಿ ಎಕ್ಸ್‌ಪ್ಲೇನಬಲ್ ಕೌಸಲ್ RL)

ಸಾಫ್ಟ್ ರೋಬೋಟ್‌ಗಳು ವಿಶಿಷ್ಟವಾದ ನಿರ್ವಹಣಾ ಸಮಸ್ಯೆಗಳನ್ನು ಎದುರಿಸುತ್ತವೆ. ಬಿಗಿಯಾದ (rigid) ರೋಬೋಟ್‌ಗಳಿಗಿಂತ ಭಿನ್ನವಾಗಿ, ಇವು ಮೆಟೀರಿಯಲ್ ಫ್ಯಾಟಿಗ್ (material fatigue), ಸೆನ್ಸರ್ ಡ್ರಿಫ್ಟ್ (sensor drift) ಮತ್ತು ಆಕ್ಚುಯೇಟರ್ ಹಿಸ್ಟೆರಿಸಿಸ್ (actuator hysteresis) ನಂತಹ ಸಮಸ್ಯೆಗಳನ್ನು ಎದುರಿಸುತ್ತವೆ.

ಸಾಂಪ್ರದಾಯಿಕ AI ಇಲ್ಲಿ ವಿಫಲವಾಗುತ್ತದೆ ಏಕೆಂದರೆ ಅದು ಕೇವಲ ಸಂಬಂಧಗಳ (correlations) ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದೆ. ಸಾಫ್ಟ್ ರೋಬೊಟಿಕ್ಸ್‌ನಲ್ಲಿ, ಒಂದು ಚೇಂಬರ್‌ನಲ್ಲಿನ ಸಣ್ಣ ಸಮಸ್ಯೆ ಇತರ ಚೇಂಬರ್‌ಗಳಲ್ಲಿ ಸರಣಿ ವೈಫಲ್ಯಗಳಿಗೆ (cascade of failures) ಕಾರಣವಾಗಬಹುದು. ನೀವು ಕೇವಲ ಮಾದರಿಗಳನ್ನು (patterns) ಮಾತ್ರವಲ್ಲದೆ, ಕಾರಣ ಮತ್ತು ಪರಿಣಾಮವನ್ನು (cause and effect) ಅರ್ಥಮಾಡಿಕೊಳ್ಳಬೇಕಾಗುತ್ತದೆ.

ಇದನ್ನು ಪರಿಹರಿಸಲು ನಾನು ಎಕ್ಸ್‌ಪ್ಲೇನಬಲ್ ಕೌಸಲ್ ರಿಇನ್‌ಫೋರ್ಸ್‌ಮೆಂಟ್ ಲರ್ನಿಂಗ್ (Explainable Causal Reinforcement Learning - ECRL) ಅನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಿದ್ದೇನೆ. ಈ ವ್ಯವಸ್ಥೆಯು ಮೂರು ಕೆಲಸಗಳನ್ನು ಮಾಡುತ್ತದೆ:

• ಕೌಸಲ್ ಡಿಸ್ಕವರಿ (Causal Discovery): ಒತ್ತಡ ಮತ್ತು ಸ್ಟ್ರೈನ್‌ನಂತಹ ಸೆನ್ಸರ್ ರೀಡಿಂಗ್‌ಗಳು ವೈಫಲ್ಯಗಳಿಗೆ ಹೇಗೆ ಕಾರಣವಾಗುತ್ತವೆ ಎಂಬುದನ್ನು ಇದು ಕಲಿಯುತ್ತದೆ. • ಕೌಸಲ್ ಇನ್ಫರೆನ್ಸ್ (Causal Inference): ಇದು ಕೌಂಟರ್ ಫ್ಯಾಕ್ಚುವಲ್ (counterfactual) ಪ್ರಶ್ನೆಗಳಿಗೆ ಉತ್ತರಿಸುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, "ಒತ್ತಡವನ್ನು 10% ಕಡಿಮೆ ಮಾಡಿದರೆ ಏನಾಗುತ್ತದೆ?" ಎಂದು ಇದು ಕೇಳುತ್ತದೆ. • ಕೌಸಲ್ ಪಾಲಿಸಿ ಆಪ್ಟಿಮೈಸೇಶನ್ (Causal Policy Optimization): ಇದು ರೋಬೋಟ್‌ನ ಭೌತಿಕ ರಚನೆಗೆ ಅನುಗುಣವಾಗಿ ಕಾರ್ಯಗಳನ್ನು ಮಾಡುವುದನ್ನು ಕಲಿಯುತ್ತದೆ.

ಅತಿದೊಡ್ಡ ಸವಾಲು ಎಂದರೆ ರಿಯಲ್-ಟೈಮ್ ನಿರ್ಬಂಧಗಳು (real-time constraints). ಸಾಫ್ಟ್ ರೋಬೋಟ್‌ಗಳು ಮಿಲಿಸೆಕೆಂಡ್‌ಗಳ ಕಾಲಮಿತಿಯಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ. ಒಂದು ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳಲು ಹೆಚ್ಚು ಸಮಯ ತೆಗೆದುಕೊಂಡರೆ, ರೋಬೋಟ್ ಮುರಿದುಹೋಗಬಹುದು.

ಇದನ್ನು ನಿಭಾಯಿಸಲು ನಾನು ಎರಡು ಹಂತದ ಆರ್ಕಿಟೆಕ್ಚರ್ ಅನ್ನು ನಿರ್ಮಿಸಿದ್ದೇನೆ:

  • ಫಾಸ್ಟ್ ಪಾಲಿಸಿ (Fast Policy): ಇದು ತಕ್ಷಣದ, ರಿಯಲ್-ಟೈಮ್ ನಿರ್ಧಾರಗಳನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ.
  • ಕೌಸಲ್ ಕರೆಕ್ಟರ್ (Causal Corrector): ಫಾಸ್ಟ್ ಆಕ್ಷನ್ ಸುರಕ್ಷಿತವಾಗಿದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಲು ಇದು ಹಿನ್ನೆಲೆಯಲ್ಲಿ (background) ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ.

ನನ್ನ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ ಈ ವ್ಯವಸ್ಥೆಯು ಅನಿರೀಕ್ಷಿತ ಡೌನ್‌ಟೈಮ್ ಅನ್ನು (unplanned downtime) 73% ರಷ್ಟು ಕಡಿಮೆ ಮಾಡಿದೆ. ಕೇವಲ 'ಬ್ಲಾಕ್-ಬಾಕ್ಸ್' ದೋಷವನ್ನು ತೋರಿಸುವ ಬದಲು, ಈ ವ್ಯವಸ್ಥೆಯು ತನ್ನ ಕ್ರಮಗಳಿಗೆ ಸ್ಪಷ್ಟ ಕಾರಣಗಳನ್ನು ನೀಡುತ್ತದೆ. ಉದಾಹರಣೆಗೆ:

"ಹೆಚ್ಚಿನ ಒತ್ತಡವು ಚೇಂಬರ್ 2 ರಲ್ಲಿ ಸ್ಟ್ರೈನ್ ಉಂಟುಮಾಡಿದೆ, ಇದು ಮೈಕ್ರೋ-ಡೆಲಮಿನೇಷನ್‌ಗೆ (micro-delamination) ಕಾರಣವಾಯಿತು. ಪೀಕ್ ಪ್ರೆಶರ್ ಅನ್ನು ಕಡಿಮೆ ಮಾಡುವುದರಿಂದ ವೈಫಲ್ಯವನ್ನು ತಡಗೊಳಿಸಬಹುದು."

ಇದು ಮಾನವ ತಂತ್ರಜ್ಞರು AI ಅನ್ನು ನಂಬಲು ಮತ್ತು ನಿಖರತೆಯೊಂದಿಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ.

ಕಲಿತ ಪಾಠಗಳು:

  • ನೈಜ ಪ್ರಪಂಚದ ಡೇಟಾವನ್ನು ಉಳಿಸಲು ಆರಂಭಿಕ ತರಬೇತಿಗಾಗಿ ಸಿಮ್ಯುಲೇಶನ್ ಬಳಸಿ.
  • ಕೌಸಲ್ ಪರಿಶೀಲನೆಗಳನ್ನು 2ms ಗಿಂತ ಕಡಿಮೆ ಇರಿಸಲು ಲೈಟ್‌ವೇಯ್ಟ್ ನೆಟ್‌ವರ್ಕ್‌ಗಳನ್ನು ಬಳಸಿ.
  • ಅಡಾಪ್ಟಿವ್ ಎಕ್ಸ್‌ಪ್ಲನೇಷನ್‌ಗಳನ್ನು (adaptive explanations) ಅಳವಡಿಸಿಕೊಳ್ಳಿ. ಪ್ರೊಸೆಸಿಂಗ್ ಪವರ್ ಉಳಿಸಲು ವೈಫಲ್ಯ ಸಂಭವಿಸುವ ಸಾಧ್ಯತೆಯಿದ್ದಾಗ ಮಾತ್ರ ವಿವರವಾದ ಮಾಹಿತಿಯನ್ನು ನೀಡಿ.

ಮೂಲ: https://dev.to/rikinptl/explainable-causal-reinforcement-learning-for-bio-inspired-soft-robotics-maintenance-under-57d8

ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ: https://t.me/GyaanSetuAi