ಮಲ್ಟಿ-ಏಜೆಂಟ್ AI ಸುರಕ್ಷತಾ ಅಪಾಯಗಳನ್ನು ಪರಿಹರಿಸಲು Google DeepMind $10M ನಿಧಿಗೆ ಬೆಂಬಲ ನೀಡಿದೆ
AI ಏಜೆಂಟ್ಗಳು ಸರಳ ಚಾಟ್ಬಾಟ್ಗಳಿಂದ ಸಂಕೀರ್ಣ ಕಾರ್ಯಗಳನ್ನು ನಿರ್ವಹಿಸಬಲ್ಲ ಸ್ವಾಯತ್ತ ಘಟಕಗಳಾಗಿ ವಿಕಸನಗೊಳ್ಳುತ್ತಿದ್ದಂತೆ, ವ್ಯವಸ್ಥಿತ ಅಪಾಯದ ಹೊಸ ಮಿತಿಗಳು ಹೊರಹೊಮ್ಮುತ್ತಿವೆ. ಲಕ್ಷಾಂತರ ಈ ಸ್ವಾಯತ್ತ ಏಜೆಂಟ್ಗಳು ನೈಜ ಪ್ರಪಂಚದಲ್ಲಿ ಪರಸ್ಪರ ಸಂವಹನ ನಡೆಸಲು ಪ್ರಾರಂಭಿಸಿದಾಗ ಉಂಟಾಗುವ ಅನಿರೀಕ್ಷಿತ ವರ್ತನೆಗಳನ್ನು ಅಧ್ಯಯನ ಮಾಡಲು Google DeepMind ಮತ್ತು ಹಲವಾರು ಜಾಗತಿಕ ಪಾಲುದಾರರು ಬೃಹತ್ ಉಪಕ್ರಮವನ್ನು ಪ್ರಾರಂಭಿಸಿದ್ದಾರೆ.
ಮಲ್ಟಿ-ಏಜೆಂಟ್ ಸಮಸ್ಯೆ: ವೈಯಕ್ತಿಕ ಮಾಡೆಲ್ ಸುರಕ್ಷತೆಯ ಮಿತಿಗಿಂತ ಮಿಗಿಲಾದದ್ದು
ಪ್ರಸ್ತುತ AI ಯುಗದ ಹೆಚ್ಚಿನ ಭಾಗದಲ್ಲಿ, ಸಂಶೋಧನೆಯು ಏಕಮಾತ್ರ ಮಾಡೆಲ್ಗಳ ಸುರಕ್ಷತೆಯ ಮೇಲೆ ಕೇಂದ್ರೀಕೃತವಾಗಿದೆ—ಅಂದರೆ ಒಂದು ನಿರ್ದಿಷ್ಟ LLM ವಿಷಕಾರಿ ವಿಷಯವನ್ನು ಹೊರಹಾಕದಂತೆ ಅಥವಾ ದುರುದ್ದೇಶಪೂರಿತ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಅನುಸರಿಸದಂತೆ ಖಚಿತಪಡಿಸಿಕೊಳ್ಳುವುದು. ಆದಾಗ್ಯೂ, ನಿಜವಾದ ಸವಾಲು "ಮಲ್ಟಿ-ಏಜೆಂಟ್ ಸಿಸ್ಟಮ್ಗಳಲ್ಲಿ" (multi-agent systems) ಅಡಗಿದೆ ಎಂದು Google DeepMind ಮತ್ತು ಅದರ ಪಾಲುದಾರರು ಗುರುತಿಸಿದ್ದಾರೆ.
ಆರ್ಥಿಕತೆಯಾದ್ಯಂತ ಹೆಚ್ಚಿನ ಸಂಖ್ಯೆಯ ಏಜೆಂಟ್ಗಳನ್ನು ನಿಯೋಜಿಸಿದಾಗ, ಅವು ಒಂದು ಸಂಕೀರ್ಣ ಪರಿಸರ ವ್ಯವಸ್ಥೆಯನ್ನು ಸೃಷ್ಟಿಸುತ್ತವೆ, ಅಲ್ಲಿ ಸಾಮೂಹಿಕ ವರ್ತನೆಯು ಅದರ ಪ್ರತ್ಯೇಕ ಭಾಗಗಳ ಮೊತ್ತಕ್ಕಿಂತ ಸಂಪೂರ್ಣವಾಗಿ ಭಿನ್ನವಾಗಿರಬಹುದು. ಈ "ಏಜೆಂಟ್ ಹೈವ್ ಮೈಂಡ್" (agent hive mind) ಸಂಭವನೀಯವಾಗಿ ಉದಯೋನ್ಮುಖ ಬುದ್ಧಿವಂತಿಕೆಗೆ ಅಥವಾ ಹೆಚ್ಚು ಆತಂಕಕಾರಿಯಾಗಿ, ಉದಯೋನ್ಮುಖ ಅರಾಜಕತೆಗೆ ಕಾರಣವಾಗಬಹುದು. ಪ್ರತ್ಯೇಕ ಮಾಡೆಲ್ಗಳನ್ನು ಅಧ್ಯಯನ ಮಾಡುವ ಮೂಲಕ ನಾವು ಈ ಫಲಿತಾಂಶಗಳನ್ನು ಊಹಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ ಎಂದು ತಜ್ಞರು ಎಚ್ಚರಿಸುತ್ತಾರೆ; ಬದಲಾಗಿ, ಏಜೆಂಟ್ಗಳು ಡಿಜಿಟಲ್ ಸ್ಯಾಂಡ್ಬಾಕ್ಸ್ನಲ್ಲಿ ಹೇಗೆ ಸಂವಹನ ನಡೆಸುತ್ತವೆ, ಸ್ಪರ್ಧಿಸುತ್ತವೆ ಅಥವಾ ಅಜಾಗರೂಕತೆಯಿಂದ ಸಹಕರಿಸುತ್ತವೆ ಎಂಬುದನ್ನು ಗಮನಿಸಲು ಸಂಶೋಧಕರು ವಾಸ್ತವಿಕ, ಬೃಹತ್ ಪ್ರಮಾಣದ ಸಿಮ್ಯುಲೇಶನ್ಗಳನ್ನು ಬಳಸಬೇಕು.
ಶೈಕ್ಷಣಿಕ ಸಂಶೋಧನೆಗಾಗಿ $10 ಮಿಲಿಯನ್ ಒಕ್ಕೂಟ
ಈ ಕೊರತೆಯನ್ನು ನೀಗಿಸಲು, ಸಂಶೋಧಕರಿಗೆ $10 ಮಿಲಿಯನ್ ಅನುದಾನವನ್ನು ಒದಗಿಸಲು Google DeepMind ಒಂದು ಬಲಿಷ್ಠ ಒಕ್ಕೂಟವನ್ನು ರಚಿಸಿದೆ. ಈ ಪಾಲುದಾರಿಕೆಯಲ್ಲಿ Schmidt Sciences (ಎರಿಕ್ ಮತ್ತು ವೆಂಡಿ施ಮಿದ್ಟ್ ನೇತೃತ್ವದ ಪರ್ಫಿಲಾಂತ್ರೋಪಿಕ್ ಫೌಂಡೇಶನ್), ARIA (UK ಸರ್ಕಾರದ ಮೂನ್ಶಾಟ್ ಏಜೆನ್ಸಿ), Cooperative AI ಫೌಂಡೇಶನ್ ಮತ್ತು Google.org ಸೇರಿವೆ.
ಸಂಶೋಧನೆಯನ್ನು ದೊಡ್ಡ ತಂತ್ರಜ್ಞಾನ ಪ್ರಯೋಗಾಲಯಗಳ ಗೋಡೆಗಳ ಹೊರಗೆ ಮತ್ತು ಶೈಕ್ಷಣಿಕ ಕ್ಷೇತ್ರಕ್ಕೆ ತರುವುದು ಇದರ ಕಾರ್ಯತಂತ್ರದ ಗುರಿಯಾಗಿದೆ. Google ಮತ್ತು Anthropic ನಂತಹ ಉದ್ಯಮದ ನಾಯಕರು ತಂತ್ರಜ್ಞಾನವನ್ನು ನಿರ್ಮಿಸುತ್ತಿದ್ದರೆ, ಶೈಕ್ಷಣಿಕ ಸಂಶೋಧಕರು ಭವಿಷ್ಯದತ್ತ ಹೆಚ್ಚು ಗಮನ ಹರಿಸಲು ಮತ್ತು ವಾಣಿಜ್ಯ ಉತ್ಪನ್ನ ಚಕ್ರಗಳಿಗೆ ತಕ್ಷಣದ ಆದ್ಯತೆಗಳಾಗಿರದ ದೀರ್ಘಕಾಲೀನ ವ್ಯವಸ್ಥಿತ ಅಪಾಯಗಳನ್ನು ತನಿಖೆ ಮಾಡಲು ಸ್ವಾತಂತ್ರ್ಯವನ್ನು ಹೊಂದಿದ್ದಾರೆ. ಈ ಅನುದಾನವು ಪ್ರಸ್ತುತ ಅಸ್ತಿತ್ವದಲ್ಲಿಲ್ಲದ "ಮಲ್ಟಿ-ಏಜೆಂಟ್ ಸುರಕ್ಷತೆ" (multi-agent safety) ಎಂಬ ಮೂಲಭೂತ ಕ್ಷೇತ್ರವನ್ನು ನಿರ್ಮಿಸುವ ಗುರಿಯನ್ನು ಹೊಂದಿದೆ.
ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್ಗಳಿಂದ ಡಿಜಿಟಲ್ ಅರಾಜಕತೆಯವರೆಗೆ
ಮಲ್ಟಿ-ಏಜೆಂಟ್ ಸಿಸ್ಟಮ್ಗಳಿಗೆ ಸಂಬಂಧಿಸಿದ ಅಪಾಯಗಳು ಕೇವಲ ಸೈದ್ಧಾಂತಿಕವಾಗಿಲ್ಲ; ಅವು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಸೈಬರ್ ಸುರಕ್ಷತಾ ಬೆದರಿಕೆಗಳ ಹೆಚ್ಚು ತೀವ್ರವಾದ ರೂಪಗಳಾಗಿವೆ. ಪ್ರಮುಖ ಕಾಳಜಿಗಳು ಇವುಗಳನ್ನು ಒಳಗೊಂಡಿವೆ:
- ಸುಧಾರಿತ ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್ಗಳು: ಒಂದು ದಾಖಲೆಯಲ್ಲಿ ಅಡಗಿರುವ ಕೇವಲ ಒಂದು ದುರುದ್ದೇಶಪೂರಿತ ವಾಕ್ಯದಿಂದ ಏಜೆಂಟ್ ಅನ್ನು "ಹೈಜಾಕ್" ಮಾಡಬಹುದು, ಇದು ಸಹಾಯಕ ಏಜೆಂಟ್ ಅನ್ನು ಸ್ವಯಂ-ನಿರ್ದೇಶಿತ ಮಾಲ್ವೇರ್ ಆಗಿ ಪರಿವರ್ತಿಸಬಹುದು.
- ಸ್ವಯಂಚಾಲಿತ ವಂಚನೆಗಳು ಮತ್ತು ಸೈಬರ್ ದಾಳಿಗಳು: ತರ್ಕ ಮತ್ತು ಆವಿಷ್ಕಾರ ಸಾಮರ್ಥ್ಯವಿರುವ ಏಜೆಂಟ್ಗಳು ಸಂಕೀರ್ಣವಾದ, ಬಹು-ಹಂತದ ಸೋಷಿಯಲ್ ಇಂಜಿನಿಯರಿಂಗ್ ಅಥವಾ ಹ್ಯಾಕಿಂಗ್ ಪ್ರಯತ್ನಗಳನ್ನು ಬೃಹತ್ ಪ್ರಮಾಣದಲ್ಲಿ ನಡೆಸಬಲ್ಲವು.
- ವ್ಯವಸ್ಥಿತ ಅಸ್ಥಿರತೆ: ಮಾನವ ಸಂಸ್ಥೆಗಳು ಅನಿರೀಕ್ಷಿತ ಆರ್ಥಿಕ ಬದಲಾವಣೆಗಳಿಗೆ ಕಾರಣವಾಗುವಂತೆ, ಸ್ವಾಯತ್ತ ಏಜೆಂಟ್ಗಳ ಬೃಹತ್ ನಿಯೋಜನೆಯು ಡಿಜಿಟಲ್ "ಅರಾಜಕತೆ" ಅಥವಾ ಮಾರುಕಟ್ಟೆಯ ಅಸ್ಥಿರತೆಗೆ ಕಾರಣವಾಗಬಹುದು.
ಮನುಷ್ಯರು ಬರೆದ ನಿಗದಿತ ಹಾದಿಗಳನ್ನು ಅನುಸರಿಸುವ ಸಾಂಪ್ರದಾಯಿಕ ಸಾಫ್ಟ್ವೇರ್ನಂತಲ್ಲದೆ, AI ಏಜೆಂಟ್ಗಳು ತರ್ಕ ಮತ್ತು ಆವಿಷ್ಕಾರವನ್ನು ಮಾಡುತ್ತವೆ. ಈ ಅನಿಶ್ಚಿತತೆಯು "zero trust" ಫ್ರೇಮ್ವರ್ಕ್ಗಳತ್ತ ಬದಲಾವಣೆಯನ್ನು ಅಗತ್ಯವಾಗಿಸುತ್ತದೆ—ಇದು Anthropic ಬೆಂಬಲಿಸುವ ಒಂದು ವಿಧಾನವಾಗಿದೆ—ಇಲ್ಲಿ ಪ್ರತಿಯೊಂದು ಏಜೆಂಟ್ ಅನ್ನು ಸಂಭಾವ್ಯ ದುರ್ಬಲತೆಯಾಗಿ ಪರಿಗಣಿಸಲಾಗುತ್ತದೆ.
ಪ್ರಮುಖ ಅಂಶಗಳು
- ಹೊಸ ಧನಸಹಾಯ ಉಪಕ್ರಮ: ಪರಸ್ಪರ ಸಂವಹನ ನಡೆಸುವ AI ಏಜೆಂಟ್ಗಳ ಅನಿರೀಕ್ಷಿತ ವರ್ತನೆಗಳ ಕುರಿತಾದ ಶೈಕ್ಷಣಿಕ ಸಂಶೋಧನೆಗೆ ಧನಸಹಾಯ ಮಾಡಲು Google DeepMind ಮತ್ತು ಪಾಲುದಾರರು $10 ಮಿಲಿಯನ್ ವಿನಿಯೋಗಿಸಿದ್ದಾರೆ.
- ಉದ್ಭವಿಸುವ ಅಪಾಯಗಳು: ಲಕ್ಷಾಂತರ ಸ್ವಾಯತ್ತ ಏಜೆಂಟ್ಗಳು ಸ್ವಯಂಚಾಲಿತ ಸೈಬರ್ ದಾಳಿಗಳು ಮತ್ತು "hive mind" ವರ್ತನೆಗಳಂತಹ ವ್ಯವಸ್ಥಿತ ಅಪಾಯಗಳನ್ನು ಸೃಷ್ಟಿಸಬಹುದು ಎಂಬುದು ಮುಖ್ಯ ಕಾಳಜಿಯಾಗಿದೆ; ಇವುಗಳನ್ನು ಕೇವಲ ಏಕೈಕ ಮಾದರಿಗಳನ್ನು ಪರೀಕ್ಷಿಸುವ ಮೂಲಕ ಊಹಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ.
- ಭದ್ರತಾ ಮಾದರಿಗಳಲ್ಲಿ ಬದಲಾವಣೆ: ಏಜೆಂಟ್ಗಳು ನಿಗದಿತ ಸಾಫ್ಟ್ವೇರ್ನಿಂದ ತರ್ಕಬದ್ಧ ಘಟಕಗಳಾಗಿ ಬದಲಾಗುತ್ತಿರುವಂತೆ, ಹೈಜಾಕಿಂಗ್ ಮತ್ತು ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್ ಅಪಾಯಗಳನ್ನು ತಗ್ಗಿಸಲು ಉದ್ಯಮವು "zero trust" ಮಾದರಿಗಳತ್ತ ಸಾಗುತ್ತಿದೆ.