𝗧𝗵𝗲 𝗔𝗴𝗲𝗻𝘁 𝗥𝘂𝗻𝘁𝗶𝗺𝗲 𝗘𝘃𝗲𝗻𝘁 𝗠𝗼𝗱𝗲𝗹
ഏജന്റ് ഫ്രെയിംവർക്കുകളെക്കുറിച്ച് തർക്കിക്കുന്നത് നിർത്തുക.
എഞ്ചിനീയർമാർ പലപ്പോഴും ചോദിക്കാറുള്ളത് തങ്ങൾ LangChain ഉപയോഗിക്കണോ, CrewAI ഉപയോഗിക്കണോ, അതോ സ്വന്തമായി നിർമ്മിക്കണോ എന്നാണ്. ഇത് തെറ്റായ ചോദ്യമാണ്. നിങ്ങളുടെ ഏജന്റ് റൺടൈമിനുള്ളിൽ (agent runtime) എവിടെയാണ് പോളിസി (policy) ഘടിപ്പിക്കേണ്ടതെന്നതാണ് യഥാർത്ഥ തീരുമാനം.
ഫ്രെയിംവർക്കുകൾ മാറിക്കൊണ്ടിരിക്കും. എന്നാൽ പോളിസിക്കായുള്ള ആർക്കിടെക്ചറൽ ആവശ്യം മാറ്റമില്ലാതെ തുടരുന്നു.
ബഗുകളും സുരക്ഷാ ചോർച്ചകളും തടയുന്നതിന് ഓരോ പ്രൊഡക്ഷൻ ഏജന്റ് സ്റ്റാക്കിനും (production agent stack) നാല് പ്രത്യേക റൺടൈം ഇവന്റുകൾ ആവശ്യമാണ്:
• UserPromptSubmit: പ്രോംപ്റ്റ് മോഡലിൽ എത്തുന്നതിന് മുമ്പ്. രഹസ്യവിവരങ്ങളും (secrets) PII എന്നിവ തടയാൻ ഇത് ഉപയോഗിക്കുക. • PreToolUse: ഒരു ടൂൾ പ്രവർത്തിക്കുന്നതിന് മുമ്പ്. ചിലവ് ബജറ്റുകളും (cost budgets) ടൂൾ വൈറ്റ്ലിസ്റ്റുകളും (tool whitelists) നടപ്പിലാക്കാൻ ഇത് ഉപയോഗിക്കുക. • PostToolUse: ഒരു ടൂൾ റിട്ടേൺ ചെയ്തതിന് ശേഷം. PII അല്ലെങ്കിൽ ഇൻജക്ഷൻ ആക്രമണങ്ങൾ (injection attacks) ഉണ്ടോ എന്ന് പരിശോധിക്കാൻ ഇത് ഉപയോഗിക്കുക. • Stop: ഏജന്റ് ജോലി പൂർത്തിയാക്കിയ ശേഷം. ഏജന്റ് യഥാർത്ഥത്തിൽ ടാസ്ക് പൂർത്തിയാക്കിയോ എന്ന് പരിശോധിക്കാൻ ഇത് ഉപയോഗിക്കുക.
ഓരോ ഇവന്റിനും വ്യത്യസ്തമായ ജോലിയുണ്ട്.
പ്രോംപ്റ്റ് സബ്മിഷൻ വേഗത്തിലായിരിക്കണം. ഉപയോക്താവിന് കാത്തിരിക്കേണ്ടി വരാത്ത വിധം ഇത് മില്ലിസെക്കൻഡുകൾക്കുള്ളിൽ നടക്കണം. 'Stop' ഇവന്റിന് കൂടുതൽ സമയം എടുക്കാം. ഉപയോക്താവ് ഫലം കാണുന്നതിന് മുമ്പ് ഏജന്റ് അതിന്റെ ജോലി ശരിയായി ചെയ്തോ എന്ന് പരിശോധിക്കാൻ ഒരു സെക്കൻഡ് വരെ നിങ്ങൾക്ക് മാറ്റിവെക്കാം.
നിങ്ങളുടെ ഹുക്കുകൾ (hooks) പരാജയപ്പെട്ടാൽ എന്ത് സംഭവിക്കണം എന്നതിനെക്കുറിച്ചും നിങ്ങൾ തീരുമാനിക്കണം.
ഒരു സെക്യൂരിറ്റി ഹുക്ക് തകരാറിലായാൽ, നിങ്ങൾ 'fail closed' രീതി സ്വീകരിക്കണം. ഒരു രഹസ്യം ചോരുന്നതിനേക്കാൾ നല്ലത് ഒരു അഭ്യർത്ഥന നിരസിക്കുന്നതാണ്. ഒരു ക്വാളിറ്റി ചെക്ക് തകരാറിലായാൽ, ഉപയോക്താവിന് മറുപടി ലഭിക്കുന്നതിനായി നിങ്ങൾ 'fail open' രീതി സ്വീകരിച്ചേക്കാം.
ഫ്രെയിംവർക്കുകൾ ഒരു കമ്മോഡിറ്റി (commodity) മാത്രമാണ്. നിങ്ങളുടെ പോളിസി കവറേജ് ആണ് നിങ്ങളുടെ കരുത്ത് (moat).
നിങ്ങളുടെ നിലവിലെ സ്റ്റാക്കിനെക്കുറിച്ച് (stack) ഈ മൂന്ന് ചോദ്യങ്ങൾ സ്വയം ചോദിക്കുക:
- പ്രോംപ്റ്റുകളിലെ രഹസ്യവിവരങ്ങളുടെ ചോർച്ച തടയുന്ന ഇവന്റ് ഏതാണ്?
- ഒരു ടാസ്ക് പൂർത്തിയാക്കിയെന്ന് പറഞ്ഞ് ഏജന്റ് കള്ളം പറയുന്നത് കണ്ടെത്തുന്നത് ഏത് ഇവന്റാണ്?
- മോഡൽ വായിക്കുന്നതിന് മുമ്പ് ടൂൾ ഔട്ട്പുട്ടുകളിൽ PII ഉണ്ടോ എന്ന് പരിശോധിക്കുന്നത് ഏത് ഇവന്റാണ്?
നിങ്ങൾക്ക് ഇവയ്ക്ക് ഉത്തരം നൽകാൻ കഴിയില്ലെങ്കിൽ, നിങ്ങളുടെ ഏജന്റ് പ്രൊഡക്ഷന് തയ്യാറല്ല.
Source: https://dev.to/willianpinho/the-agent-runtime-event-model-55l9
Optional learning community: https://t.me/GyaanSetuAi