Microsoft Azureలో నిజంగా పనిచేసే ఒక AI Governance Framework
ఒక ఆడిటర్ ఒకే ఒక ప్రశ్న అడుగుతారు: "ఈ పాలన (policy) రన్టైమ్లో ఎక్కడ అమలు చేయబడుతుందో నాకు చూపండి."
చాలా కంపెనీలు ఈ పరీక్షలో విఫలమవుతాయి. వారు 40 పేజీల పత్రాలను మరియు రిస్క్ రిజిస్టర్లను అందజేస్తారు. పత్రాలు కేవలం ఉద్దేశాన్ని మాత్రమే వివరిస్తాయి. అవి ఒక డెవలపర్ అనుమతి లేని మోడల్ను ఉపయోగించకుండా ఆపలేవు. ఒక ఏజెంట్ సబ్-ఏజెంట్లను సృష్టించకుండా అవి ఆపలేవు.
మీ పాలన పత్రాలకు (policy binder) మరియు మీ రన్ అవుతున్న సిస్టమ్కు మధ్య ఉన్న అంతరం వల్లనే డేటా ఉల్లంఘనలు (breaches) జరుగుతాయి.
దీనిని పరిష్కరించడానికి, మీకు ఒక తప్పనిసరి AI gateway అవసరం. ఇది మీ యూనివర్సల్ కంట్రోల్ ప్లేన్ (universal control plane). ప్రతి మోడల్ కాల్ మరియు ప్రతి ఏజెంట్ చర్య దీని ద్వారానే జరగాలి.
Microsoft Azureలో, మీరు మూడు ప్లేన్లను అనుసంధానించాలి:
• Identity (Microsoft Entra): మోడల్కు చేరుకోకముందే గేట్వే ప్రతి కాల్ర్ను ధృవీకరిస్తుంది (authenticates). • Data (Microsoft Purview): గేట్వే PII redactionను వర్తింపజేస్తుంది మరియు Purview గుర్తించలేని ఈవెంట్లను లాగ్ చేస్తుంది. • Model (Azure AI Foundry): గేట్వే మోడల్ allowlists మరియు టోకెన్ పరిమితులను అమలు చేస్తుంది.
పత్రాలు చేయలేని మూడు పనులను ఒక తప్పనిసరి గేట్వే చేస్తుంది:
- ఇది shadow modelsను నివారిస్తుంది: మీరు మోడల్ యాక్సెస్ను గేట్వే ద్వారా మాత్రమే అనుమతిస్తే, అనుమతి లేని మోడల్స్ కనెక్ట్ అవ్వలేవు.
- ఇది agent sprawlను నియంత్రిస్తుంది: ప్రతి ఏజెంట్ చర్య అధికారికీకరణ (authorization) కోసం ఒక కేంద్ర బిందువు ద్వారానే వెళ్లాలి.
- ఇది నిరంతర సాక్ష్యాలను (continuous evidence) అందిస్తుంది: ప్రతి కాల్ ఒక ఆడిట్ ఈవెంట్గా మారుతుంది. మీరు రివ్యూల కోసం సాక్ష్యాలను సృష్టించాల్సిన అవసరం లేదు; మీరు వాటిని నిరంతరం సేకరిస్తారు.
గవర్నెన్స్ను వేగాన్ని తగ్గించే పన్ను (speed tax) లాగా చూడకండి. దానిని ఒక ఆర్కిటెక్చర్గా పరిగణించండి.
shadow modelsను కేవలం గుర్తింపు (detection) సమస్యగా చూడటం ఆపండి. ఇది ఒక రూటింగ్ నిర్ణయం (routing decision). మీ నెట్వర్క్ కేవలం గేట్వే ద్వారా మాత్రమే egressను అనుమతిస్తే, ఈ సమస్య మాయమవుతుంది.
prompt injectionను కేవలం భద్రతా సమస్యగా చూడటం ఆపండి. ఇది జవాబుదారీతనం (accountability) సమస్య. అధిక ప్రభావం చూపే చర్యలను (high-consequence actions) LLM లూప్ వెలుపల ఉంచండి. ముఖ్యమైన కార్యకలాపాలను అధికారికీకరించడానికి విడిగా, పరిమితమైన మార్గాన్ని (constrained path) ఉపయోగించండి.
మీ గవర్నెన్స్ను మూడు దశల్లో నిర్మించండి:
- Discovery: ఆడిట్-మోడ్ పాలసీలను ఉపయోగించండి. దేనినీ నిలిపివేయకుండానే మీ shadow models మరియు lineage బ్రేక్లను కనుగొనండి.
- Enforced Gates: 'deny' పాలసీలను ఆన్ చేయండి. మీ CI/CD పైప్లైన్లోకి ఎవాల్యుయేషన్ గేట్లను అనుసంధానించండి, తద్వారా నిబంధనలకు లోబడి లేని మోడల్స్ డెవలప్మెంట్ సమయంలోనే విఫలమవుతాయి.
- Continuous Evidence: ఇమ్మ్యూటబుల్ లాగింగ్ (immutable logging) ఉపయోగించండి. పాత పద్ధతిలో ఇచ్చే ఆమోదాల స్థానంలో లైవ్ డేటాను ఉపయోగించండి.
గవర్నెన్స్ మీ కోడ్లో ఉంటుంది, మీ ఫోల్డర్లలో కాదు.
Source: https://dev.to/az365ai/an-ai-governance-framework-on-microsoft-azure-that-actually-works-3773
Optional learning community: https://t.me/GyaanSetuAi