Nature ಅಧ್ಯಯನಗಳಲ್ಲಿ ವೈದ್ಯರಿಗೆ ಸರಿಸಮಾನವಾಗಿ ಸ್ಪರ್ಧಿಸುತ್ತಿರುವ AI ಏಜೆಂಟ್‌ಗಳು: MIRA ಮತ್ತು AMIE ಕಾರ್ಯಕ್ಷಮತೆ

Nature ನಲ್ಲಿ ಪ್ರಕಟವಾದ ಹೊಸ ಸಂಶೋಧನೆಯು, ಸಿಮ್ಯುಲೇಟೆಡ್ ವೈದ್ಯಕೀಯ ಪರಿಸರಗಳಲ್ಲಿ ಸ್ವಾಯತ್ತ AI ಏಜೆಂಟ್‌ಗಳು ಈಗ ಮಾನವ ವೈದ್ಯರ ಮಟ್ಟದಲ್ಲಿ ಅಥವಾ ಅದಕ್ಕಿಂತ ಹೆಚ್ಚಿನ ಮಟ್ಟದಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿವೆ ಎಂದು ಬಹಿರಂಗಪಡಿಸಿದೆ. ಈ ಮಹತ್ವದ ಬೆಳವಣಿಗೆಗಳು ರೋಗನಿರ್ಣಯದ ನಿಖರತೆಯಲ್ಲಿ ಒಂದು ದೊಡ್ಡ ಬದಲಾವಣೆಯನ್ನು ಸೂಚಿಸುತ್ತವೆಯಾದರೂ, ಪ್ರಸ್ತುತ ಸಂಕೀರ್ಣವಾದ "scaffolding" ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿರುವುದು ವಿಕಸನಗೊಳ್ಳುತ್ತಿರುವ ಮಾಡೆಲ್ ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳ ದೀರ್ಘಕಾಲೀನ ಪ್ರಯೋಜನಗಳನ್ನು ಸೀಮಿತಗೊಳಿಸಬಹುದು ಎಂದು ತಜ್ಞರು ಎಚ್ಚರಿಸಿದ್ದಾರೆ.

MIRA: ಸ್ವಾಯತ್ತ ತುರ್ತು ಚಿಕಿತ್ಸಾ ಕೊಠಡಿ ಏಜೆಂಟ್

TUD Dresden ಮತ್ತು Heidelberg University ನ ಸಂಶೋಧಕರಿಂದ ಅಭಿವೃದ್ಧಿಪಡಿಸಲಾದ MIRA (Medical Intelligence for Reasoning and Action), ವರ್ಚುವಲ್ ಎಲೆಕ್ಟ್ರಾನಿಕ್ ಆರೋಗ್ಯ ದಾಖಲೆಯೊಳಗೆ ಒಂದು ಸ್ವಾಯತ್ತ ಏಜೆಂಟ್ ಆಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಸಾಮಾನ್ಯ LLMಗಳಿಗಿಂತ ಭಿನ್ನವಾಗಿ, MIRA ಹನ್ನೊಂದು ವಿಶೇಷ ಪರಿಕರಗಳ ಮೂಲಕ 85,000 ಕ್ಕೂ ಹೆಚ್ಚು ಆಯ್ಕೆಗಳಲ್ಲಿಂದ ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳಬಲ್ಲ ಇಂಜಿನ್ ಆಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ.

MIMIC-IV ಡೇಟಾಸೆಟ್‌ನ 500 ನೈಜ ತುರ್ತು ವಿಭಾಗದ ಪ್ರಕರಣಗಳ ವಿರುದ್ಧ MIRA ಅನ್ನು ಪರೀಕ್ಷಿಸಿದಾಗ ಅದ್ಭುತ ಫಲಿತಾಂಶಗಳು ಲಭ್ಯವಾಗಿವೆ:

• ರೋಗನಿರ್ಣಯದ ನಿಖರತೆ: MIRA 88.9% ಸರಿಯಾದ ರೋಗನಿರ್ಣಯದ ದರವನ್ನು ಸಾಧಿಸಿದೆ.
• ಮುಖಾಮುಖಿ ಹೋಲಿಕೆ: 311 ಪ್ರಕರಣಗಳ ಉಪಸಮೂಹದಲ್ಲಿ, MIRA 87.8% ಅಂಕಗಳನ್ನು ಗಳಿಸಿತು, ಇದು ಅನುಭವಿ ತಜ್ಞರ (78.1%) ಮತ್ತು ರೆಸಿಡೆಂಟ್ ಹಾಗೂ ತಜ್ಞರ ಮಿಶ್ರ ತಂಡಗಳಿಗಿಂತ (71.1%) ಗಮನಾರ್ಹವಾಗಿ ಉತ್ತಮವಾಗಿದೆ.
• ವೈದ್ಯಕೀಯ ಸಾಮರ್ಥ್ಯಗಳು: ಈ ವ್ಯವಸ್ಥೆಯು ಹೆಚ್ಚಿನ ತೀವ್ರತೆಯ ಸನ್ನಿವೇಶಗಳಲ್ಲಿ ಅತ್ಯುತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸಿತು, ಅಪೆಂಡಿಸೈಟಿಸ್‌ಗಾಗಿ 98.6% ಮತ್ತು ಪ್ಯಾಂಕ್ರಿಯಾಟೈಟಿಸ್‌ಗಾಗಿ 92.3% ನಿಖರತೆಯನ್ನು ತಲುಪಿತು.
• ಸುರಕ್ಷತಾ ಗುಣಲಕ್ಷಣಗಳು: ಅಂಧ ವಿಮರ್ಶಕರು (Blinded reviewers) ಯಾವುದೇ ಅಪಾಯಕಾರಿ ಔಷಧಿಯ ಸಂವಹನಗಳು ಅಥವಾ ತಪ್ಪಾದ ಡೋಸೇಜ್ ಅನ್ನು ಕಂಡುಬಂದಿಲ್ಲ ಎಂದು ತಿಳಿಸಿದ್ದಾರೆ, ಮತ್ತು ಆಸ್ಪತ್ರೆಗೆ ದಾಖಲಿಸುವ ಅಗತ್ಯವಿರುವ ರೋಗಿಗಳನ್ನು ಗುರುತಿಸುವಲ್ಲಿ ಈ ವ್ಯವಸ್ಥೆಯು ಪರಿಪೂರ್ಣ ದಾಖಲೆಯನ್ನು ಸಾಧಿಸಿದೆ.

Google ನ AMIE: ದೀರ್ಘಕಾಲೀನ ವೈದ್ಯಕೀಯ ಮಾರ್ಗಸೂಚಿಗಳಲ್ಲಿ ಪರಿಣತಿ

MIRA ತೀವ್ರವಾದ ತರ್ಕದ ಮೇಲೆ ಗಮನ ಹರಿಸಿದರೆ, Google ನ AMIE (Articulate Medical Intelligence Explorer) ದೀರ್ಘಕಾಲೀನ ಪ್ರಾಥಮಿಕ ಆರೈಕೆಗಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ. AMIE ದ್ವಿ-ಏಜೆಂಟ್ ಆರ್ಕಿಟೆಕ್ಚರ್ ಅನ್ನು ಬಳಸುತ್ತದೆ: ರೋಗಿಯೊಂದಿಗೆ ಸಂವಹನ ನಡೆಸಲು ಒಂದು ಸಂಭಾಷಣಾ ಏಜೆಂಟ್ ಮತ್ತು ಪ್ರಕರಣಗಳನ್ನು UK ನ NICE Guidance ನಂತಹ ವೈದ್ಯಕೀಯ ಮಾರ್ಗಸೂಚಿಗಳೊಂದಿಗೆ ಹೋಲಿಕೆ ಮಾಡಲು ಒಂದು ಬ್ಯಾಕ್‌ಗ್ರೌಂಡ್ ಏಜೆಂಟ್.

ಹಲವಾರು ಭೇಟಿಗಳನ್ನು ಒಳಗೊಂಡ 100 ಪ್ರಕರಣಗಳ ಅಧ್ಯಯನದಲ್ಲಿ, AMIE ಚಿಕಿತ್ಸಾ ನಿರ್ಧಾರಗಳಲ್ಲಿ ವೈದ್ಯರಿಗೆ ಸಮಾನವಾಗಿತ್ತು ಮತ್ತು ಮಾರ್ಗಸೂಚಿಗಳ ಪಾಲನೆಯಲ್ಲಿ ಅವರನ್ನು ಮೀರಿಸಿತು. ಗಮನಾರ್ಹವಾಗಿ, ಮಾನವ ವೈದ್ಯರಿಗೆ ಕೇವಲ 72% ರಷ್ಟು ಮಾತ್ರ ಸೂಕ್ತವೆಂದು ಪರಿಗಣಿಸಲ್ಪಟ್ಟರೆ, AMIE ನ ಚಿಕಿತ್ಸಾ ಯೋಜನೆಗಳು 95% ಪ್ರಕರಣಗಳಲ್ಲಿ ಸೂಕ್ತವೆಂದು ರೇಟ್ ಮಾಡಲ್ಪಟ್ಟವು. AMIE ಪರಮಾವಧಿ ಫಾರ್ಮಾಸ್ಯುಟಿಕಲ್ ಜ್ಞಾನದ ಕಠಿಣ ಪರೀಕ್ಷೆಯಾದ RxQA ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನಲ್ಲಿಯೂ ವೈದ್ಯರಿಗಿಂತ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸಿತು, ಇದನ್ನು ಪರವಾನಗಿ ಪಡೆದ ಫಾರ್ಮಾಸಿಸ್ಟ್‌ಗಳು ಪರಿಶೀಲಿಸಿದ್ದಾರೆ.

"Scaffolding" ಸಂದಿಗ್ಧತೆ ಮತ್ತು ಭವಿಷ್ಯದ ಮಿತಿಗಳು

ಹೆಚ್ಚಿನ ಕಾರ್ಯಕ್ಷಮತೆಯ ಹೊರತಾಗಿಯೂ, ಅಧ್ಯಯನಗಳಿಂದ ಒಂದು ನಿರ್ಣಾಯಕ ತಾಂತ್ರಿಕ ಸೂಕ್ಷ್ಮತೆ ಹೊರಹೊಮ್ಮಿದೆ. MIRA (GPT-4o ಮತ್ತು o1-preview ಬಳಸುವ) ಮತ್ತು AMIE (Gemini 1.5 Flash ಬಳಸುವ) ಎರಡೂ "scaffolding" ಮೇಲೆ ಹೆಚ್ಚು ಅವಲಂಬಿತವಾಗಿವೆ—ಅಂದರೆ ಮಾಡೆಲ್‌ನ ತಾರ್ಕಿಕತೆಯನ್ನು ಮಾರ್ಗದರ್ಶನ ಮಾಡಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾದ ಸಂಕೀರ್ಣ ಬಾಹ್ಯ ಚೌಕಟ್ಟುಗಳು.

ಪೂರಕ ಪ್ರಯೋಗಗಳು ಸಂಭಾವ್ಯ "aging" ಸಮಸ್ಯೆಯನ್ನು ಸೂಚಿಸಿವೆ: ಈ scaffolding ಹಳೆಯ ಅಥವಾ ಸಣ್ಣ ಮಾಡೆಲ್‌ಗಳ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಗಣನೀಯವಾಗಿ ಹೆಚ್ಚಿಸಿದರೂ, ಮೂಲಭೂತ ಮಾಡೆಲ್‌ಗಳು (foundational models) ಹೆಚ್ಚು ಸಹಜವಾಗಿ ಸಾಮರ್ಥ್ಯಶಾಲಿಯಾಗುತ್ತಿದ್ದಂತೆ ಇದರ ಅಗತ್ಯವು ಕಡಿಮೆಯಾಗಬಹುದು. ಪ್ರಸ್ತುತ ಯಶಸ್ಸು ಉನ್ನತ ಬುದ್ಧಿವಂತಿಕೆಯ ಫಲವೇ ಅಥವಾ ಕೇವಲ ಅತ್ಯುತ್ತಮ ಪ್ರಾಂಪ್ಟ್ ಇಂಜಿನಿಯರಿಂಗ್ ಮತ್ತು ವಾಸ್ತುಶಿಲ್ಪದ "crutches" (ಸಹಾಯಕಾರಿ ಸಾಧನಗಳು) ಫಲವೇ ಎಂಬ ಪ್ರಶ್ನೆಗಳು ಇದು ಎತ್ತುತ್ತದೆ.

ಇದಲ್ಲದೆ, ಈ ಫಲಿತಾಂಶಗಳು ಅನುಕರಿಸಲಾದ (simulated), ರಚನಾತ್ಮಕ ಡೇಟಾದಿಂದ ಪಡೆದವು ಎಂದು ಸಂಶೋಧಕರು ಎಚ್ಚರಿಸುತ್ತಾರೆ. ಪ್ರೊಫೆಸರ್ ಕ್ಯಾಥರೀನ್ ಪೋಪ್ ಅವರಂತಹ ತಜ್ಞರು, ಈ ಪರಿಸರಗಳು ನೈಜ ಆರೋಗ್ಯ ರಕ್ಷಣೆಯ "ಅಸ್ತವ್ಯಸ್ತವಾದ, ಸಂಕೀರ್ಣವಾದ, ಮಾನವ ಜಗತ್ತನ್ನು" ಹೊಂದಿಲ್ಲ ಎಂದು ಗಮನಿಸುತ್ತಾರೆ ಮತ್ತು ತರಬೇತಿಯ ಸಮಯದಲ್ಲಿ ಮಾಡೆಲ್‌ಗಳು ಈಗಾಗಲೇ MIMIC-IV ಡೇಟಾಸೆಟ್‌ನ ಕೆಲವು ಭಾಗಗಳನ್ನು ನೋಡಿದಿರಬಹುದು ಎಂಬ ಅಪಾಯವೂ ಇದೆ.

ಪ್ರಮುಖ ಅಂಶಗಳು

• ಅನುಕರಣೆಯಲ್ಲಿ (Simulation) ಕ್ಲಿನಿಕಲ್ ಶ್ರೇಷ್ಠತೆ: ನಿಯಂತ್ರಿತ, ಅನುಕರಿಸಲಾದ ವೈದ್ಯಕೀಯ ಪರಿಸರಗಳಲ್ಲಿ AI ಏಜೆಂಟ್‌ಗಳಾದ MIRA ಮತ್ತು AMIE, ಮಾನವ ತಜ್ಞರಿಗಿಂತ ಹೆಚ್ಚಿನ ರೋಗನಿರ್ಣಯದ ನಿಖರತೆ ಮತ್ತು ಮಾರ್ಗಸೂಚಿಗಳ ಪಾಲನೆಯನ್ನು ಪ್ರದರ್ಶಿಸಿವೆ.
• ಸುರಕ್ಷತೆ ಮತ್ತು ನಿಖರತೆ: ಎರಡೂ ವ್ಯವಸ್ಥೆಗಳು ಔಷಧ ನಿರ್ವಹಣೆ ಮತ್ತು ಆಸ್ಪತ್ರೆ ದಾಖಲಾತಿ ಗುರುತಿಸುವಿಕೆಯಲ್ಲಿ ಅಸಾಧಾರಣ ವಿಶ್ವಾಸಾರ್ಹತೆಯನ್ನು ತೋರಿಸಿವೆ, ಮತ್ತು ಯೋಜನೆಯ ಪರಿಪೂರ್ಣತೆಯಲ್ಲಿ ಮಾನವರಿಗಿಂತ ಉತ್ತಮ ಪ್ರದರ್ಶನ ನೀಡಿದೆವು.
• ಸ್ಕ್ಯಾಫೋಲ್ಡಿಂಗ್ ಅಂಶ (The Scaffolding Factor): ಪ್ರಸ್ತುತ ಯಶಸ್ಸಿನ ಹೆಚ್ಚಿನ ಭಾಗವು ಸಂಕೀರ್ಣವಾದ ಮಲ್ಟಿ-ಏಜೆಂಟ್ ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದೆ, ಇದು ಮೂಲಭೂತ LLMಗಳು ವಿಕಸನಗೊಳ್ಳುತ್ತಿದ್ದಂತೆ ಅನಗತ್ಯವಾಗಬಹುದು.