ഒരു ഏജന്റ് ഹാർനസിന്റെ ഘടന
നിങ്ങൾ ഒരു ചാറ്റ്ബോട്ട് നിർമ്മിച്ചു. കുറച്ച് ടൂളുകളും ഒരു ലളിതമായ ലൂപ്പും നിങ്ങൾ അതിൽ ചേർത്തു. ഒരു ഡെമോയ്ക്ക് ഇത് പ്രവർത്തിക്കും. എന്നാൽ നിങ്ങൾ ഇത് പ്രൊഡക്ഷനിലേക്ക് മാറ്റാൻ ശ്രമിക്കുമ്പോൾ എല്ലാം തകരാറിലാകുന്നു.
മോഡൽ മുൻപത്തെ ഘട്ടങ്ങൾ മറന്നുപോകുന്നു. മുന്നറിയിപ്പില്ലാതെ ടൂൾ കോളുകൾ പരാജയപ്പെടുന്നു. കോൺടെക്സ്റ്റ് വിൻഡോ ഉപയോഗശൂന്യമായ ഡാറ്റ കൊണ്ട് നിറയുന്നു.
പ്രശ്നം നിങ്ങളുടെ മോഡലല്ല. പ്രശ്നം അതിന് ചുറ്റുമുള്ള ഇൻഫ്രാസ്ട്രക്ചറാണ്.
ഈ ഇൻഫ്രാസ്ട്രക്ചറിനെയാണ് ഏജന്റ് ഹാർനസ് (agent harness) എന്ന് വിളിക്കുന്നത്.
ഏജന്റ് എന്നത് പെരുമാറ്റമാണ് (behavior). ഹാർനസ് എന്നത് അതിന്റെ യന്ത്രസംവിധാനമാണ് (machinery). നിങ്ങൾ മോഡലല്ലെങ്കിൽ, നിങ്ങൾ ഹാർനസാണ്.
ഒരു റോ LLM-നെ ഒരു CPU ആയി കരുതുക. അതിന് RAM-ഓ, ഡിസ്കോ, അല്ലെങ്കിൽ I/O-യോ ഇല്ല. ഹാർനസ് എന്നത് ഒരു ഓപ്പറേറ്റിംഗ് സിസ്റ്റമാണ്. മോഡലിനെ ഉപയോഗപ്രദമാക്കാൻ ആവശ്യമായ മെമ്മറി, ടൂളുകൾ, ലോജിക് എന്നിവ അത് നൽകുന്നു.
പ്രൊഡക്ഷൻ-ഗ്രേഡ് ഹാർനസിന് പന്ത്രണ്ട് പ്രധാന ഘടകങ്ങളുണ്ട്:
• Orchestration Loop: ഇതാണ് ഹൃദയമിടിപ്പ്. ഇത് Thought-Action-Observation സൈക്കിൾ നിയന്ത്രിക്കുന്നു. • Tool Layer: ഇവ കൈകളാണ്. ടൂൾ രജിസ്ട്രേഷൻ, വാലിഡേഷൻ, എക്സിക്യൂഷൻ എന്നിവ ഹാർനസ് കൈകാര്യം ചെയ്യുന്നു. • Memory: ഇതിൽ ഷോർട്ട്-ടേം ഹിസ്റ്ററിയും സെഷനുകൾക്കിടയിലുള്ള ലോംഗ്-ടേം പെർസിസ്റ്റൻസും ഉൾപ്പെടുന്നു. • Context Management: ഡാറ്റ കംപാക്ട് ചെയ്യുകയോ സംഗ്രഹിക്കുകയോ ചെയ്തുകൊണ്ട് ഇത് കോൺടെക്സ്റ്റ് നശിക്കുന്നത് (context rot) തടയുന്നു. • Prompt Assembly: ഓരോ ഘട്ടത്തിലും മോഡൽ കാണുന്ന കൃത്യമായ ഇൻപുട്ട് ഇത് നിർമ്മിക്കുന്നു. • Output Classification: മോഡലിന് സംസാരിക്കണോ അതോ ഒരു ടൂൾ ഉപയോഗിക്കണോ എന്ന് ഇത് തീരുമാനിക്കുന്നു. • State Management: ഒരു പിശക് അല്ലെങ്കിൽ തടസ്സം ഉണ്ടാകുമ്പോൾ ജോലി പുനരാരംഭിക്കാൻ ഇത് ഏജന്റിനെ അനുവദിക്കുന്നു. • Error Handling: പിശകുകൾ വർദ്ധിച്ചു പോകാതിരിക്കാൻ ഇത് പരാജയങ്ങളെ തടയുന്നു. • Guardrails: സുരക്ഷിതമല്ലാത്തതോ തെറ്റായതോ ആയ പ്രവർത്തനങ്ങൾ തടയാൻ ഇവ ട്രിപ്പ്വയറുകളായി പ്രവർത്തിക്കുന്നു. • Permission Enforcement: മോഡൽ ചെയ്യാൻ ആഗ്രഹിക്കുന്ന കാര്യങ്ങളിൽ നിന്നും അതിന് അനുവാദമുള്ള കാര്യങ്ങളിൽ നിന്നും ഇത് വ്യത്യാസം വരുത്തുന്നു. • Verification Loops: ഗുണനിലവാരം മെച്ചപ്പെടുത്തുന്നതിനായി സ്വന്തം ജോലി പരിശോധിക്കാൻ ഇത് മോഡലിനെ അനുവദിക്കുന്നു. • Agent Handoffs: ഒരു ഏജന്റ് എങ്ങനെ മറ്റൊരു ഏജന്റിന് ജോലി കൈമാറുന്നു എന്ന് ഇത് നിയന്ത്രിക്കുന്നു.
ഹാർനസ് പരമാവധി ലളിതമായി നിലനിർത്തുക എന്നതാണ് നല്ല എഞ്ചിനീയറിംഗിന്റെ ലക്ഷ്യം. മോഡലുകൾ കൂടുതൽ ബുദ്ധിമാതാക്കളാകുമ്പോൾ, നിങ്ങൾക്ക് കുറഞ്ഞ സ്കാഫോൾഡിംഗ് (scaffolding) മതിയാകും.
നിങ്ങളുടെ ഏജന്റ് പരാജയപ്പെടുമ്പോൾ, മോഡലിനെ കുറ്റപ്പെടുത്തരുത്. നിങ്ങളുടെ ഹാർനസ് പരിശോധിക്കുക.
Source: https://dev.to/aniruddhaadak/the-anatomy-of-an-agent-harness-1n1j
Optional learning community: https://t.me/GyaanSetuAi