സാൻഡ്ബോക്സുകൾക്കപ്പുറം: കരുത്തുറ്റ AI ഏജന്റുകളെ നിർമ്മിക്കാം
പ്രൊഡക്ഷൻ AI ഏജന്റുകൾക്ക് സാൻഡ്ബോക്സുകൾ മാത്രം മതിയാകില്ല.
മിക്ക ഡെവലപ്പർമാരും ഏജന്റുകളെ മെമ്മറിയിലെ ഒരു ലളിതമായ ലൂപ്പ് (loop) ആയിട്ടാണ് നിർമ്മിക്കുന്നത്. LLM നിരീക്ഷിക്കുന്നു, തീരുമാനമെടുക്കുന്നു, പ്രവർത്തിക്കുന്നു, വീണ്ടും ആവർത്തിക്കുന്നു. ഇത് ഒരു ലാബിൽ പ്രവർത്തിക്കും, എന്നാൽ യഥാർത്ഥ ലോകത്ത് പരാജയപ്പെടും.
എന്തുകൊണ്ടാണ് മെമ്മറി ലൂപ്പ് പരാജയപ്പെടുന്നത്?
- ദീർഘകാല ജോലികൾ: ഒരു ഏജന്റിന് ഒരു ജോലി പൂർത്തിയാക്കാൻ ദിവസങ്ങൾ എടുക്കുകയോ അല്ലെങ്കിൽ ഒരു മനുഷ്യന്റെ അനുമതിക്കായി കാത്തുനിൽക്കുകയോ ചെയ്യേണ്ടി വന്നാൽ, ഒരു പ്രോസസ്സ് ഓൺ ആയി നിലനിർത്തുന്നത് CPU-യും മെമ്മറിയും പാഴാക്കും.
- ക്രാഷ് റിക്കവറി ഇല്ല: സിസ്റ്റം ക്രാഷ് ആകുകയോ നെറ്റ്വർക്ക് തകരാറിലാകുകയോ ചെയ്താൽ, മുഴുവൻ സ്റ്റേറ്റും (state) നഷ്ടപ്പെടും. നിങ്ങൾ നിർത്തിയ ഇടത്തുനിന്ന് വീണ്ടും തുടങ്ങാൻ കഴിയില്ല.
- സങ്കീർണ്ണത: വലിയ അളവിൽ അധിക കോഡുകൾ ഇല്ലാതെ തന്നെ ഒന്നിലധികം ഏജന്റുകൾക്ക് പരസ്പരം ആശയവിനിമയം നടത്താൻ ബുദ്ധിമുട്ടായിരിക്കും.
Orkes-ന്റെ CTO ആയ വിരേൻ ബറയ്യ (Virein Baraiya) ഇതിനൊരു മികച്ച മാർഗ്ഗം നിർദ്ദേശിക്കുന്നു. നിങ്ങളുടെ ഉത്തരവാദിത്തങ്ങൾ (concerns) വേർതിരിക്കുക.
പ്രവർത്തനങ്ങൾക്കായി (actions) മാത്രം ഒരു സാൻഡ്ബോക്സ് ഉപയോഗിക്കുക. റിസ്കുള്ള ടൂൾ കോഡുകൾ സുരക്ഷിതമായി പ്രവർത്തിപ്പിക്കാൻ സാൻഡ്ബോക്സ് ഉപയോഗിക്കുക.
റീസണിംഗിനായി (reasoning) ഒരു ഡ്യൂറബിൾ റൺടൈം (durable runtime) ഉപയോഗിക്കുക. LLM പ്ലാൻ നൽകുന്നു. റൺടൈം സിസ്റ്റം അതിന്റെ നിർവ്വഹണവും സ്റ്റേറ്റും കൈകാര്യം ചെയ്യുന്നു.
ഇത് പരിഹരിക്കാൻ അദ്ദേഹം രണ്ട് ടൂളുകൾ പരിചയപ്പെടുത്തുന്നു:
- Netflix Conductor ഇതൊരു വർക്ക്ഫ്ലോ എൻജിൻ (workflow engine) ആണ്. ഇതൊരു ലെഡ്ജർ (ledger) പോലെ പ്രവർത്തിക്കുന്നു. ഓരോ LLM കോളും ഓരോ ടൂൾ ഉപയോഗവും ഇത് ഒരു ഡാറ്റാബേസിൽ രേഖപ്പെടുത്തുന്നു.
- ഇത് ഓൺ-ഡിമാൻഡ് സസ്പെൻഷൻ (on-demand suspension) പിന്തുണയ്ക്കുന്നു. ഒരു ഏജന്റ് ഒരു മനുഷ്യന്റെ കാത്തിരിക്കുകയാണെങ്കിൽ, സിസ്റ്റം വർക്ക്ഫ്ലോ നിർത്തിവെക്കുകയും മെമ്മറി റിലീസ് ചെയ്യുകയും ചെയ്യുന്നു.
- മാസങ്ങൾക്ക് ശേഷം പോലും ജോലി പൂർത്തിയാക്കാൻ ഇതിന് സാധിക്കും.
- Agent Span ഇത് Conductor-ന് മുകളിൽ നിർമ്മിച്ച ഒരു റൺടൈം ആണ്. ഇതൊരു ട്രാൻസ്ലേറ്റർ (translator) പോലെ പ്രവർത്തിക്കുന്നു.
- നിങ്ങൾക്ക് LangGraph അല്ലെങ്കിൽ OpenAI SDK പോലുള്ള നിലവിലുള്ള ടൂളുകൾ ഉപയോഗിക്കാം.
- നിങ്ങളുടെ ബിസിനസ് ലോജിക് (business logic) വീണ്ടും എഴുതാതെ തന്നെ Agent Span നിങ്ങളുടെ ഏജന്റ് കോഡിനെ ഡ്യൂറബിൾ വർക്ക്ഫ്ലോകളാക്കി മാറ്റുന്നു.
ഈ ആർക്കിടെക്ചർ മൂന്ന് പ്രധാന നേട്ടങ്ങൾ നൽകുന്നു:
- ഗാർഡ്റൈലുകൾ (Guardrails): ഫ്രെയിംവർക്ക് ആണ് നിയമങ്ങൾ നിയന്ത്രിക്കുന്നത്, LLM അല്ല. ഇത് ഹാലുസിനേഷനുകൾ (hallucinations) നാശനഷ്ടങ്ങൾ ഉണ്ടാക്കുന്നത് തടയുന്നു.
- പൂർണ്ണമായ ഓഡിറ്റ് (Full Audit): മാസങ്ങൾക്ക് ശേഷവും ഒരു ഏജന്റ് എന്തുകൊണ്ടാണ് ഒരു തീരുമാനം എടുത്തതെന്ന് നിങ്ങൾക്ക് കൃത്യമായി കാണാൻ കഴിയും. നിങ്ങൾക്ക് പ്രക്രിയ വീണ്ടും റീപ്ലേ (replay) ചെയ്യാൻ പോലും സാധിക്കും.
- മികച്ച ടെസ്റ്റിംഗ് (Better Testing): ഒരു LLM ഔട്ട്പുട്ട് മാത്രം മാറ്റി ബാക്കി സിസ്റ്റം എങ്ങനെ പ്രതികരിക്കുന്നു എന്ന് നിങ്ങൾക്ക് പരിശോധിക്കാം.
നിർമ്മാതാക്കൾക്കുള്ള ഒരു അവസാന ടിപ്പ്: ബിസിനസ് കോൺടെക്സ്റ്റിൽ (business context) ശ്രദ്ധ കേന്ദ്രീകരിക്കുക. മോഡലുകൾ മാറും. ഫ്രെയിംവർക്കുകൾ മാറും. എന്നാൽ നിങ്ങളുടെ ബിസിനസ്സ് ജോലികൾ നടപ്പിലാക്കുന്ന പ്രത്യേക രീതിയാണ് നിങ്ങളുടെ യഥാർത്ഥ കരുത്ത് (moat).
Source: https://dev.to/cognitalk/chao-yue-sha-xiang-wei-ai-agent-gou-jian-chi-jiu-hua-yun-xing-shi-2i9i
Optional learning community: https://t.me/GyaanSetuAi