പ്രവർത്തിക്കുന്ന ഒരു Microsoft Azure AI ഗവേണൻസ് ഫ്രെയിംവർക്ക്

ഒരു ഓഡിറ്റർ ഒരു ചോദ്യം ചോദിക്കുന്നു: "ഈ പോളിസി റൺടൈമിൽ (runtime) എവിടെയാണ് നടപ്പിലാക്കുന്നത് എന്ന് എനിക്ക് കാണിച്ചുതരൂ."

മിക്ക കമ്പനികളും ഈ പരിശോധനയിൽ പരാജയപ്പെടുന്നു. അവർ 40 പേജുള്ള രേഖകളും റിസ്ക് രജിസ്റ്ററുകളും കൈമാറുന്നു. രേഖകൾ ഉദ്ദേശ്യങ്ങളെക്കുറിച്ച് വിവരിക്കുന്നു. എന്നാൽ അവ ഒരു ഡെവലപ്പർ അംഗീകാരമില്ലാത്ത ഒരു മോഡൽ ഉപയോഗിക്കുന്നത് തടയുന്നില്ല. ഒരു ഏജന്റ് സബ്-ഏജന്റുകളെ (sub-agents) സൃഷ്ടിക്കുന്നത് അവ തടയുന്നില്ല.

നിങ്ങളുടെ പോളിസി ബൈൻഡറും പ്രവർത്തിച്ചുകൊണ്ടിരിക്കുന്ന സിസ്റ്റവും തമ്മിലുള്ള വിടവിലാണ് സുരക്ഷാ വീഴ്ചകൾ സംഭവിക്കുന്നത്.

ഇത് പരിഹരിക്കാൻ, നിങ്ങൾക്ക് നിർബന്ധമായും ഒരു AI ഗേറ്റ്‌വേ (gateway) ആവശ്യമാണ്. ഇതാണ് നിങ്ങളുടെ സാർവത്രിക കൺട്രോൾ പ്ലെയിൻ (universal control plane). ഓരോ മോഡൽ കോളും ഓരോ ഏജന്റ് ആക്ഷനും ഇതിലൂടെ കടന്നുപോകണം.

Microsoft Azure-ൽ, നിങ്ങൾ മൂന്ന് പ്ലെയിനുകളെ ബന്ധിപ്പിക്കണം:

• ഐഡന്റിറ്റി (Microsoft Entra): ഒരു മോഡലിൽ എത്തുന്നതിന് മുമ്പ് ഗേറ്റ്‌വേ ഓരോ കോളറെയും (caller) ഓതന്റിക്കേറ്റ് ചെയ്യുന്നു. • ഡാറ്റ (Microsoft Purview): ഗേറ്റ്‌വേ PII redaction നടപ്പിലാക്കുകയും Purview ശ്രദ്ധിക്കാതെ പോകുന്ന ഇവന്റുകൾ ലോഗ് ചെയ്യുകയും ചെയ്യുന്നു. • മോഡൽ (Azure AI Foundry): ഗേറ്റ്‌വേ മോഡൽ allowlists-ഉം ടോക്കൺ പരിധികളും (token limits) നടപ്പിലാക്കുന്നു.

രേഖകൾക്ക് ചെയ്യാൻ കഴിയാത്ത മൂന്ന് കാര്യങ്ങൾ ഒരു നിർബന്ധിത ഗേറ്റ്‌വേ ചെയ്യുന്നു:

  • ഇത് ഷാഡോ മോഡലുകളെ (shadow models) ഇല്ലാതാക്കുന്നു: മോഡൽ ആക്സസ് ഗേറ്റ്‌വേ വഴി മാത്രം അനുവദിക്കുകയാണെങ്കിൽ, അംഗീകാരമില്ലാത്ത മോഡലുകൾ കണക്ട് ചെയ്യാൻ ശ്രമിക്കുമ്പോൾ പരാജയപ്പെടും.
  • ഇത് ഏജന്റ് സ്പ്രോൾ (agent sprawl) നിയന്ത്രിക്കുന്നു: ഓരോ ഏജന്റ് ആക്ഷനും ഓതറൈസേഷനായി ഒരു കേന്ദ്ര പോയിന്റിലൂടെ കടന്നുപോകണം.
  • ഇത് നിരന്തരമായ തെളിവുകൾ നൽകുന്നു: ഓരോ കോളും ഒരു ഓഡിറ്റ് ഇവന്റായി മാറുന്നു. റിവ്യൂകൾക്കായി നിങ്ങൾ ഇനി തെളിവുകൾ നിർമ്മിക്കേണ്ടതില്ല; പകരം അവ നിരന്തരം ശേഖരിക്കപ്പെടുന്നു.

ഗവേണൻസിനെ വേഗത കുറയ്ക്കുന്ന ഒരു നികുതിയായി കാണരുത്. അതിനെ ഒരു ആർക്കിടെക്ചറായി (architecture) കാണുക.

ഷാഡോ മോഡലുകളെ ഒരു ഡിറ്റക്ഷൻ പ്രശ്നമായി കാണുന്നത് നിർത്തുക. അത് ഒരു റൂട്ടിംഗ് തീരുമാനമാണ് (routing decision). നിങ്ങളുടെ നെറ്റ്‌വർക്ക് ഗേറ്റ്‌വേ വഴി മാത്രം എക്ഗ്രസ് (egress) അനുവദിക്കുകയാണെങ്കിൽ, പ്രശ്നം ഇല്ലാതാകും.

പ്രോംപ്റ്റ് ഇൻജക്ഷനെ (prompt injection) വെറുമൊരു സുരക്ഷാ പ്രശ്നമായി മാത്രം കാണുന്നത് നിർത്തുക. അത് ഉത്തരവാദിത്തത്തിന്റെ (accountability) പ്രശ്നമാണ്. ഉയർന്ന പ്രത്യാഘാതങ്ങൾ ഉണ്ടാക്കുന്ന പ്രവർത്തനങ്ങളെ LLM ലൂപ്പിന് പുറത്ത് നിർത്തുക. പ്രധാനപ്പെട്ട പ്രവർത്തനങ്ങൾ ഓതറൈസ് ചെയ്യാൻ പ്രത്യേകവും നിയന്ത്രിതവുമായ ഒരു പാത ഉപയോഗിക്കുക.

നിങ്ങളുടെ ഗവേണൻസ് മൂന്ന് ഘട്ടങ്ങളിലായി നിർമ്മിക്കുക:

  1. ഡിസ്കവറി (Discovery): ഓഡിറ്റ് മോഡ് പോളിസികൾ ഉപയോഗിക്കുക. ഒന്നും തടയാതെ തന്നെ നിങ്ങളുടെ ഷാഡോ മോഡലുകളും ലിനിച്ചേജ് ബ്രേക്കുകളും (lineage breaks) കണ്ടെത്തുക.
  2. എൻഫോഴ്സ്ഡ് ഗേറ്റ്‌സ് (Enforced Gates): ഡെനി (deny) പോളിസികൾ ഓൺ ചെയ്യുക. ഇലവാലുവേഷൻ ഗേറ്റുകൾ നിങ്ങളുടെ CI/CD പൈപ്പ്‌ലൈനിൽ ഉൾപ്പെടുത്തുക, അങ്ങനെ നിയമങ്ങൾ പാലിക്കാത്ത മോഡലുകൾ ഡെവലപ്‌മെന്റ് സമയത്ത് തന്നെ പരാജയപ്പെടുന്നു.
  3. കണ്ടിന്യൂവസ് എവിഡൻസ് (Continuous Evidence): ഇമ്മ്യൂട്ടബിൾ ലോഗിംഗ് (immutable logging) ഉപയോഗിക്കുക. നിശ്ചിത സമയത്തെ അപ്രൂവലുകൾക്ക് പകരം ലൈവ് ഡാറ്റ ഉപയോഗിക്കുക.

ഗവേണൻസ് നിങ്ങളുടെ കോഡിലാണ് ജീവിക്കുന്നത്, ഫോൾഡറുകളിലല്ല.

Source: https://dev.to/az365ai/an-ai-governance-framework-on-microsoft-azure-that-actually-works-3773

Optional learning community: https://t.me/GyaanSetuAi