𝗣𝗿𝗲-𝗟𝗮𝘂𝗻𝗰𝗵 𝗔𝗜 𝗦𝗶𝗺𝘂𝗹𝗮𝘁𝗶𝗼𝗻𝘀 𝗔𝗿𝗲 𝗧𝗵𝗲 𝗡𝗲𝘄 𝗠𝗼𝗱𝗲𝗹 𝗦𝗮𝗳𝗲𝘁𝘆 𝗖𝗵𝗲𝗰𝗸
AI സുരക്ഷ മാറിക്കൊണ്ടിരിക്കുകയാണ്. ഇത് മുന്നറിയിപ്പ് ലേബലുകളിൽ നിന്ന് പരിശീലനങ്ങളിലേക്ക് (rehearsals) മാറുകയാണ്.
മോഡലുകൾ പുറത്തിറക്കുന്നതിന് മുമ്പ് അവയുടെ പെരുമാറ്റം പ്രവചിക്കുന്നതിനെക്കുറിച്ചുള്ള പ്രവർത്തനങ്ങൾ OpenAI അടുത്തിടെ പങ്കുവെച്ചു. യഥാർത്ഥ ജീവിതത്തിൽ ആളുകളും ആക്രമണകാരികളും മോഡലുകൾ എങ്ങനെ ഉപയോഗിക്കുന്നു എന്ന് അനുകരിക്കാൻ അവർ സിമുലേഷനുകൾ ഉപയോഗിക്കുന്നു.
ഇത് എല്ലാ നിർമ്മാതാക്കൾക്കും (builders) ഒരു സൂചനയാണ്. മോഡലുകൾ പുറത്തിറക്കി അതിന്റെ പ്രത്യാഘാതങ്ങൾ നിരീക്ഷിക്കുന്നത് നിങ്ങൾ അവസാനിപ്പിക്കണം. ലോഞ്ച് ചെയ്യുന്നതിന് മുമ്പ് തന്നെ ആ പ്രത്യാഘാതങ്ങൾ സിമുലേറ്റ് ചെയ്യാൻ നിങ്ങൾ തുടങ്ങണം.
സാധാരണ മൂല്യനിർണ്ണയങ്ങൾ (evaluations) ബെഞ്ച്മാർക്കുകളിലും റെഡ്-ടീമിംഗിലും (red-teaming) ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു. എന്നാൽ ഇവ ഒരു പ്രധാന കാര്യം വിസ്മരിക്കുന്നു. യഥാർത്ഥ വർക്ക്ഫ്ലോകൾക്കുള്ളിൽ (workflows) മോഡലുകൾ വ്യത്യസ്തമായി പ്രവർത്തിക്കുന്നു.
ഹെൽത്ത് കെയറിലെ ഒരു ചാറ്റ്ബോട്ട്, റെപ്പോസിറ്ററി ആക്സസ് ഉള്ള ഒരു കോഡിംഗ് ഏജന്റിനെപ്പോലെ പ്രവർത്തിക്കില്ല. മോഡൽ ഒന്നാണെങ്കിലും, പെർമിഷനുകളും ഉപയോക്താക്കളുടെ പ്രതീക്ഷകളും മാറുന്നു.
ഡിപ്ലോയ്മെന്റ് സിമുലേഷൻ (Deployment simulation) സാഹചര്യം പൂർണ്ണമായും പരിശോധിക്കുന്നു. "ഈ സമ്മർദ്ദത്തിനിടയിൽ ഒരു ഉപയോക്താവ് ഈ ടൂൾ ഉപയോഗിക്കുമ്പോൾ എന്ത് സംഭവിക്കും?" എന്ന് നിങ്ങൾ ചോദിക്കുന്നു.
ഇത് ചെയ്യാൻ നിങ്ങൾക്ക് വലിയൊരു ലാബ് ആവശ്യമില്ല. നിങ്ങൾക്ക് ചെറിയ രീതിയിൽ തുടങ്ങാം.
നിങ്ങളുടെ AI ഉൽപ്പന്നങ്ങൾക്കായി ഈ ഘട്ടങ്ങൾ ഉപയോഗിക്കുക:
- വെറും പ്രോംപ്റ്റുകൾക്ക് പകരം യഥാർത്ഥ ഉപയോക്താക്കളുടെ ജോലികളെ അടിസ്ഥാനമാക്കി ടെസ്റ്റുകൾ എഴുതുക.
- ഫയൽ റൈറ്റിംഗ്, ഇമെയിലുകൾ അല്ലെങ്കിൽ പേയ്മെന്റുകൾ പോലുള്ള ടൂൾ ആക്സസുകൾ നിങ്ങളുടെ ടെസ്റ്റുകളിൽ ഉൾപ്പെടുത്തുക.
- പിശകുകളിൽ നിന്നോ വിട്ടുപോയ വിവരങ്ങളിൽ നിന്നോ (missing context) AI എങ്ങനെ തിരിച്ചു വരുന്നു എന്ന് പരിശോധിക്കുക.
- നിങ്ങളുടെ ഉൽപ്പന്നത്തിന് അനുയോജ്യമായ അഡ്വേഴ്സേറിയൽ എക്സാമ്പിളുകൾ (adversarial examples) ഉപയോഗിക്കുക.
- അപകടകരമായ സാഹചര്യങ്ങൾ (near misses) രേഖപ്പെടുത്തുകയും അവയെ പുതിയ ടെസ്റ്റുകളാക്കി മാറ്റുകയും ചെയ്യുക.
ഇത് AI ഏജന്റുകൾക്ക് വളരെ നിർണ്ണായകമാണ്. ഒരു ചാറ്റ്ബോട്ട് ടെക്സ്റ്റിൽ തെറ്റുകൾ വരുത്തുന്നു. എന്നാൽ ഒരു ഏജന്റ് പ്രവർത്തിക്കുമ്പോൾ (taking action) തെറ്റുകൾ വരുത്തുന്നു. ഇത് നിങ്ങളുടെ റിസ്ക് ലെവൽ മാറ്റുന്നു.
വിശ്വസനീയമായ ഒരു സിസ്റ്റം നിർമ്മിക്കാൻ ഈ ഫ്രെയിംവർക്ക് പിന്തുടരുക:
- അപകടകരമായ ക്രിയകൾ (verbs) പട്ടികപ്പെടുത്തുക: ഡിലീറ്റ് ചെയ്യുക, അയക്കുക, പ്രസിദ്ധീകരിക്കുക, ചാർജ് ചെയ്യുക അല്ലെങ്കിൽ അംഗീകരിക്കുക.
- റോൾ അടിസ്ഥാനമാക്കിയുള്ള സാഹചര്യങ്ങൾ സൃഷ്ടിക്കുക: ഒരു തുടക്കക്കാരൻ, ഒരു പവർ യൂസർ, ഒരു ദുരുദ്ദേശ്യക്കാരൻ (malicious user) എന്നിവരെ ടെസ്റ്റ് ചെയ്യുക.
- അവ്യക്തമായ സാഹചര്യങ്ങൾ ഉപയോഗിക്കുക: AI-ക്ക് കാലഹരണപ്പെട്ട വിവരങ്ങളോ പരസ്പരവിരുദ്ധമായ നിർദ്ദേശങ്ങളോ നൽകുക.
- ഹാർഡ് സ്റ്റോപ്പുകൾ (hard stops) ചേർക്കുക: മാറ്റാൻ കഴിയാത്ത പ്രവൃത്തികൾ ചെയ്യുന്നതിന് മുമ്പ് മനുഷ്യന്റെ പരിശോധന ആവശ്യമാക്കുക.
- വിശ്വസനീയത പരിശോധിക്കുക: അനിശ്ചിതത്വങ്ങളെ (uncertainty) മോഡൽ എങ്ങനെ കൈകാര്യം ചെയ്യുന്നു എന്ന് അളക്കുക.
AI-യെ ഭീരുവാക്കുക എന്നതല്ല ലക്ഷ്യം. അതിനെ പ്രവചിക്കാവുന്നതാക്കി (predictable) മാറ്റുക എന്നതാണ് ലക്ഷ്യം.
ഒരു സിമുലേഷനും പൂർണ്ണമല്ല. നിങ്ങൾ പ്രവചിക്കാത്ത വഴികൾ ഉപയോക്താക്കൾ എപ്പോഴും കണ്ടെത്തും. നിങ്ങൾക്ക് വിവിധ തലങ്ങൾ ആവശ്യമാണ്: സിമുലേഷനുകൾ, പരിമിതമായ റോളൗട്ടുകൾ (limited rollouts), മോണിറ്ററിംഗ്, വേഗത്തിലുള്ള റോളബാക്ക് പാതകൾ (rollback paths).
മോഡൽ മൂല്യനിർണ്ണയം സോഫ്റ്റ്വെയർ എഞ്ചിനീയറിംഗിനെപ്പോലെ മാറിക്കൊണ്ടിരിക്കുകയാണ്. ഇത് സാഹചര്യങ്ങളെ അടിസ്ഥാനമാക്കിയുള്ളതും (scenario-driven) വർക്ക്ഫ്ലോകളെക്കുറിച്ച് ബോധമുള്ളതും (workflow-aware) ആയിരിക്കണം.
നിങ്ങൾക്ക് ഒരു റിസർച്ച് ലാബ് ആവശ്യമില്ല. യഥാർത്ഥ ഉപയോക്താക്കളുടെ ജോലികളും, AI-യെ വെറുമൊരു ടെക്സ്റ്റ് ജനറേറ്റർ എന്നതിലുപരി ഒരു പ്രവർത്തിക്കുന്ന ഘടകമായി (actor) കണ്ട് പരിശോധിക്കാനുള്ള അച്ചടക്കവുമാണ് നിങ്ങൾക്ക് വേണ്ടത്.
സ്രോതസ്സ്: https://dev.to/jenueldev/pre-launch-ai-simulations-are-becoming-the-new-model-safety-check-107e
ഓപ്ഷണൽ ലേണിംഗ് കമ്മ്യൂണിറ്റി: https://t.me/GyaanSetuAi