ಕೆಲಸ ಮಾಡುವ Microsoft Azure ಮೇಲಿನ ಒಂದು AI Governance Framework
ಒಬ್ಬ ಆಡಿಟರ್ ಒಂದು ಪ್ರಶ್ನೆಯನ್ನು ಕೇಳುತ್ತಾರೆ: "ಈ ನೀತಿಯನ್ನು runtime ನಲ್ಲಿ ಎಲ್ಲಿ ಜಾರಿಗೆ ತರಲಾಗುತ್ತಿದೆ ಎಂದು ನನಗೆ ತೋರಿಸಿ."
ಹೆಚ್ಚಿನ ಕಂಪನಿಗಳು ಈ ಪರೀಕ್ಷೆಯಲ್ಲಿ ವಿಫಲವಾಗುತ್ತವೆ. ಅವರು 40 ಪುಟಗಳ ದಾಖಲೆಗಳು ಮತ್ತು risk registers ಗಳನ್ನು ನೀಡುತ್ತಾರೆ. ದಾಖಲೆಗಳು ಕೇವಲ ಉದ್ದೇಶವನ್ನು ವಿವರಿಸುತ್ತವೆ. ಅವು ಅನುಮೋದನೆ ಪಡೆಯದ ಮಾಡೆಲ್ ಅನ್ನು ಬಳಸದಂತೆ ಡೆವಲಪರ್ ಅನ್ನು ತಡೆಯುವುದಿಲ್ಲ. ಅವು ಏಜೆಂಟ್ ಒಂದು sub-agent ಅನ್ನು ಸೃಷ್ಟಿಸದಂತೆ ತಡೆಯುವುದಿಲ್ಲ.
ನಿಮ್ಮ policy binder ಮತ್ತು ಚಾಲನೆಯಲ್ಲಿರುವ (running) ಸಿಸ್ಟಮ್ ನಡುವಿನ ಅಂತರವೇ ಉಲ್ಲಂಘನೆಗಳು (breaches) ಸಂಭವಿಸುವ ಸ್ಥಳವಾಗಿದೆ.
ಇದನ್ನು ಸರಿಪಡಿಸಲು, ನಿಮಗೆ ಕಡ್ಡಾಯವಾದ AI gateway ಅಗತ್ಯವಿದೆ. ಇದು ನಿಮ್ಮ universal control plane ಆಗಿದೆ. ಪ್ರತಿಯೊಂದು model call ಮತ್ತು ಪ್ರತಿಯೊಂದು agent action ಇದರ ಮೂಲಕವೇ ಹಾದುಹೋಗಬೇಕು.
Microsoft Azure ನಲ್ಲಿ, ನೀವು ಮೂರು planes ಅನ್ನು ಸಂಪರ್ಕಿಸಬೇಕು:
• Identity (Microsoft Entra): ಮಾಡೆಲ್ ತಲುಪುವ ಮೊದಲು gateway ಪ್ರತಿಯೊಬ್ಬ ಕರಲರ್ (caller) ಅನ್ನು ದೃಢೀಕರಿಸುತ್ತದೆ. • Data (Microsoft Purview): gateway PII redaction ಅನ್ನು ಅನ್ವಯಿಸುತ್ತದೆ ಮತ್ತು Purview ತಪ್ಪಿಸಿಕೊಳ್ಳಬಹುದಾದ ಘಟನೆಗಳನ್ನು (events) ಲಾಗ್ ಮಾಡುತ್ತದೆ. • Model (Azure AI Foundry): gateway ಮಾಡೆಲ್ allowlists ಮತ್ತು token limits ಅನ್ನು ಜಾರಿಗೆ ತರುತ್ತದೆ.
ಕಡ್ಡಾಯ gateway ದಾಖಲೆಗಳು ಮಾಡಲು ಸಾಧ್ಯವಾಗದ ಮೂರು ಕೆಲಸಗಳನ್ನು ಮಾಡುತ್ತದೆ:
- ಇದು shadow models ಅನ್ನು ನಿರ್ಮೂಲನೆ ಮಾಡುತ್ತದೆ: ನೀವು gateway ಮೂಲಕ ಮಾತ್ರ ಮಾಡೆಲ್ ಪ್ರವೇಶವನ್ನು ಅನುಮತಿಸಿದರೆ, ಅನುಮೋದನೆ ಇಲ್ಲದ ಮಾಡೆಲ್ಗಳು ಕನೆಕ್ಟ್ ಆಗಲು ಸಾಧ್ಯವಾಗುವುದಿಲ್ಲ.
- ಇದು agent sprawl ಅನ್ನು ನಿಯಂತ್ರಿಸುತ್ತದೆ: ಪ್ರತಿಯೊಂದು agent action ಅಧಿಕಾರಕ್ಕಾಗಿ (authorization) ಒಂದು ಕೇಂದ್ರ ಬಿಂದುವಿನ ಮೂಲಕವೇ ಹೋಗಬೇಕು.
- ಇದು ನಿರಂತರ ಪುರಾವೆಗಳನ್ನು (evidence) ನೀಡುತ್ತದೆ: ಪ್ರತಿಯೊಂದು call ಒಂದು audit event ಆಗುತ್ತದೆ. ನೀವು ಇನ್ನು ಮುಂದೆ ಪರಿಶೀಲನೆಗಳಿಗಾಗಿ ಪುರಾವೆಗಳನ್ನು ತಯಾರಿಸುವ ಅಗತ್ಯವಿಲ್ಲ; ನೀವು ಅದನ್ನು ನಿರಂತರವಾಗಿ ಸಂಗ್ರಹಿಸುತ್ತೀರಿ.
Governance ಅನ್ನು ವೇಗದ ಮೇಲಿನ ತೆರಿಗೆಯಂತೆ (speed tax) ಪರಿಗಣಿಸಬೇಡಿ. ಅದನ್ನು architecture ಎಂದು ಪರಿಗಣಿಸಿ.
shadow models ಅನ್ನು ಕೇವಲ ಪತ್ತೆಹಚ್ಚುವ (detection) ಸಮಸ್ಯೆಯೆಂದು ಪರಿಗಣಿಸುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ಇದು routing ನಿರ್ಧಾರವಾಗಿದೆ. ನಿಮ್ಮ ನೆಟ್ವರ್ಕ್ gateway ಮೂಲಕ ಮಾತ್ರ egress ಅನ್ನು ಅನುಮತಿಸಿದರೆ, ಸಮಸ್ಯೆ ಮಾಯವಾಗುತ್ತದೆ.
prompt injection ಅನ್ನು ಕೇವಲ ಭದ್ರತಾ ಸಮಸ್ಯೆಯೆಂದು ಪರಿಗಣಿಸುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ಇದು ಹೊಣೆಗಾರಿಕೆಯ (accountability) ವಿಷಯವಾಗಿದೆ. ಹೆಚ್ಚಿನ ಪರಿಣಾಮ ಬೀರುವ ಕ್ರಿಯೆಗಳನ್ನು (high-consequence actions) LLM loop ಹೊರಗೆ ಇರಿಸಿ. ಪ್ರಮುಖ ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ಅಧಿಕಾರೀಕರಿಸಲು ಪ್ರತ್ಯೇಕವಾದ, ನಿರ್ಬಂಧಿತ ಮಾರ್ಗವನ್ನು (constrained path) ಬಳಸಿ.
ನಿಮ್ಮ governance ಅನ್ನು ಮೂರು ಹಂತಗಳಲ್ಲಿ ನಿರ್ಮಿಸಿ:
- Discovery: audit-mode policies ಬಳಸಿ. ಯಾವುದನ್ನೂ ತಡೆಯದೆ ನಿಮ್ಮ shadow models ಮತ್ತು lineage breaks ಅನ್ನು ಪತ್ತೆಹಚ್ಚಿ.
- Enforced Gates: deny policies ಅನ್ನು ಆನ್ ಮಾಡಿ. non-compliant ಮಾಡೆಲ್ಗಳು development ಸಮಯದಲ್ಲಿ ವಿಫಲವಾಗುವಂತೆ ನಿಮ್ಮ CI/CD pipeline ನಲ್ಲಿ evaluation gates ಅನ್ನು ಜೋಡಿಸಿ.
- Continuous Evidence: immutable logging ಬಳಸಿ. point-in-time approvals ಬದಲಿಗೆ live data ಅನ್ನು ಬಳಸಿ.
Governance ನಿಮ್ಮ ಕೋಡ್ನಲ್ಲಿ ಇರುತ್ತದೆ, ನಿಮ್ಮ ಫೋಲ್ಡರ್ಗಳಲ್ಲಿ ಅಲ್ಲ.
Source: https://dev.to/az365ai/an-ai-governance-framework-on-microsoft-azure-that-actually-works-3773
Optional learning community: https://t.me/GyaanSetuAi