FailureDNA നിർമ്മിക്കുന്നു: എപ്പോൾ സ്വയം വിശ്വസിക്കരുത് എന്ന് അറിയുന്ന ഒരു ഏജന്റ് മെമ്മറി

മിക്ക AI ഏജന്റുകളും അപകടകരമായ ഒരു തെറ്റ് വരുത്താറുണ്ട്. പുതിയ തകരാറുകൾ (outages) പരിഹരിക്കാൻ അവ പഴയ സംഭവങ്ങളെ ഉപയോഗിക്കുന്നു. ഒരു പുതിയ പ്രശ്നം പഴയതിനോട് സാമ്യമുള്ളതാണെങ്കിൽ, ഏജന്റ് പഴയ പരിഹാരം തന്നെ പകർത്തി ഉപയോഗിക്കുന്നു.

ഇത് ഒരു പ്രശ്നമാണ്. സാമ്യം എന്നത് അത് പ്രായോഗികമാണ് എന്നതിനെ സൂചിപ്പിക്കുന്നില്ല. ഒരു പഴയ പരിഹാരം പഴയ ഡാറ്റാബേസ് പതിപ്പിൽ പ്രവർത്തിച്ചേക്കാം, എന്നാൽ നിങ്ങളുടെ നിലവിലെ പതിപ്പിൽ അത് പരാജയപ്പെട്ടേക്കാം. പരാജയപ്പെട്ട ഒരു പരിഹാരം ആവർത്തിക്കുന്നത് സമയം പാഴാക്കാൻ മാത്രമേ സഹായിക്കൂ. കാലഹരണപ്പെട്ട ഒരു പരിഹാരം ഉപയോഗിക്കുന്നത് തകരാർ കൂടുതൽ വഷളാക്കും.

ഇത് പരിഹരിക്കുന്നതിനായി ഞാൻ FailureDNA നിർമ്മിച്ചു. യഥാർത്ഥ ഫലങ്ങൾ (outcomes) ട്രാക്ക് ചെയ്യുന്ന ഒരു മെമ്മറി സിസ്റ്റമാണിത്. ഒരു പഴയ അനുഭവം ഉപയോഗപ്രദമാണോ, പരിശോധന ആവശ്യമാണോ, അതോ ഒഴിവാക്കണോ എന്ന് ഇത് തീരുമാനിക്കുന്നു.

ഈ സിസ്റ്റം ഒരു നിയമം പാലിക്കുന്നു: മോഡൽ ആണ് പ്രവർത്തി (action) തിരഞ്ഞെടുക്കുന്നത്, എന്നാൽ ഏതാണ് സാധുതയുള്ളത് എന്ന് തീരുമാനിക്കുന്നത് ഡെറ്റർമിനിസ്റ്റിക് കോഡ് (deterministic code) ആണ്.

How it works: • ഏജന്റ് ഇൻസിഡന്റ് ലക്ഷണങ്ങളെ (symptoms) എംബെഡ് ചെയ്യുന്നു. • Alibaba Cloud RDS-ലെ pgvector ഉപയോഗിച്ച് ഇത് പഴയ സംഭവങ്ങളെ തിരയുന്നു. • ഒരു ഡെറ്റർമിനിസ്റ്റിക് ഗേറ്റ് (deterministic gate) ഫലങ്ങൾ പരിശോധിക്കുന്നു. • മോഡൽ ഒരു അലൗലിസ്റ്റ് ചെയ്ത (allowlisted) പ്രവർത്തി തിരഞ്ഞെടുക്കുന്നു. • സിസ്റ്റം ആ പ്രവർത്തി നടപ്പിലാക്കുകയും യഥാർത്ഥ ഫലം സേവ് ചെയ്യുകയും ചെയ്യുന്നു.

The gate uses three simple rules:

  • പഴയ ഫലം പരാജയമായിരുന്നുവെങ്കിൽ: അത് ഒഴിവാക്കുക.
  • പഴയ ഫലം വിജയമായിരുന്നുവെങ്കിൽ കൂടാതെ എൻവയോൺമെന്റ് (environment) ഒന്നുതന്നെയാണെങ്കിൽ: അത് ഉപയോഗിക്കുക.
  • പഴയ ഫലം വിജയമായിരുന്നുവെങ്കിലും എൻവയോൺമെന്റ് മാറിയിട്ടുണ്ടെങ്കിൽ: അത് പരിശോധിക്കുക.

അറിയപ്പെടുന്ന പരാജയങ്ങൾ ആവർത്തിക്കാൻ ഏജന്റിന് കഴിയില്ല. മോഡൽ കാണുന്നതിന് മുമ്പ് തന്നെ സിസ്റ്റം തെറ്റായ പ്രവർത്തികളെ നീക്കം ചെയ്യുന്നു. ഇത് മുന്നറിയിപ്പുകൾ അവഗണിക്കുന്നത് തടയുന്നു. മോഡൽ സർഗ്ഗാത്മകത (creativity) നൽകുന്നു, എന്നാൽ കോഡ് സുരക്ഷ (safety) ഉറപ്പാക്കുന്നു.

Technical details: • എംബെഡിംഗുകൾക്കും ആക്ഷൻ സെലക്ഷനും ഞാൻ Qwen Cloud ഉപയോഗിച്ചു. • text-embedding-v3 ഉപയോഗിച്ച് 1024-d വെക്റ്ററുകൾ നിർമ്മിക്കുന്നു. • ഹൈബ്രിഡ് റിട്രീവൽ (Hybrid retrieval) സെമാന്റിക് സാമ്യവും (semantic similarity) കീവേഡ് ഓവർലാപ്പും (keyword overlap) സംയോജിപ്പിക്കുന്നു. • ബാക്കെൻഡ് Alibaba Cloud Function Compute-ൽ FastAPI ഉപയോഗിച്ച് പ്രവർത്തിക്കുന്നു. • മെമ്മറി ApsaraDB RDS for PostgreSQL-ൽ സൂക്ഷിക്കുന്നു.

പഴയ പരാജയങ്ങൾ ആവർത്തിക്കുന്നതും കാലഹരണപ്പെട്ട പരിഹാരങ്ങൾ ഉപയോഗിക്കുന്നതും തടയാൻ FailureDNA ഏജന്റിനെ സഹായിക്കുന്നു. ഇത് സിസ്റ്റത്തിന്റെ സുരക്ഷ ഉറപ്പാക്കുന്നതോടൊപ്പം മോഡലിന്റെ സർഗ്ഗാത്മകത നിലനിർത്തുകയും ചെയ്യുന്നു.

Source: https://dev.to/prabhakaranjm/building-failuredna-an-agent-memory-that-knows-when-not-to-trust-itself-fbn

Optional learning community: https://t.me/GyaanSetuAi