നിങ്ങളുടെ മോഡൽ ഫൈൻ-ട്യൂൺ ചെയ്യുന്നത് നിർത്തൂ. നിങ്ങളുടെ ആർക്കിടെക്ചറാണ് പ്രശ്നം.

ഡെമോകൾ കാണാൻ മികച്ചതാണ്. എന്നാൽ പ്രൊഡക്ഷൻ സിസ്റ്റങ്ങൾ വ്യത്യസ്തമാണ്. ഇവ രണ്ടിനും ഇടയിൽ ഒരു വലിയ വ്യത്യാസമുണ്ട്.

ഇപ്പോൾ ആളുകൾ എല്ലാത്തിനെയും ഒരു ഏജന്റ് (agent) എന്ന് വിളിക്കുന്നു. മെമ്മറിയുള്ള ഒരു ചാറ്റ്ബോട്ട് ഒരു ഏജന്റാണ്. ഒരു ലൂപ്പ് ഉള്ള ഒരു സ്ക്രിപ്റ്റ് ഒരു ഏജന്റാണ്. ഈ തെറ്റ് എൻജിനീയറിംഗ് പിശകുകൾക്ക് കാരണമാകുന്നു. ലളിതമായ ജോലികൾക്ക് അമിതമായി എൻജിനീയറിംഗ് നടത്താനും സങ്കീർണ്ണമായ ജോലികൾക്ക് ആവശ്യമായ എൻജിനീയറിംഗ് ചെയ്യാതിരിക്കാനും ഇത് നിങ്ങളെ പ്രേരിപ്പിക്കുന്നു.

ഒരു ഏജന്റിന് ഒരു ലക്ഷ്യം (objective) ആവശ്യമാണ്. അത് വെറുതെ ഒരു നിർദ്ദേശം മാത്രം പാലിക്കുകയല്ല ചെയ്യുന്നത്. അടുത്തതായി എന്ത് ചെയ്യണമെന്ന് അത് തീരുമാനിക്കുന്നു. പരാജയങ്ങളെ അത് കൈകാര്യം ചെയ്യുന്നു. എപ്പോൾ നിർത്തണമെന്ന് അതിന് അറിയാം.

നിങ്ങളുടെ സിസ്റ്റം പരിശോധിക്കാൻ ഈ നിയമങ്ങൾ ഉപയോഗിക്കുക:

  • ഓരോ ഘട്ടത്തിലും ഒരു മനുഷ്യൻ മാർഗ്ഗനിർദ്ദേശം നൽകേണ്ടി വരുന്നുണ്ടെങ്കിൽ, അത് ഒരു ചാറ്റ് ഇന്റർഫേസ് ആണ്.
  • ഒരു ടൂൾ കോൾ പരാജയപ്പെട്ടാൽ അതിൽ നിന്ന് അത് വീണ്ടെടുക്കാൻ സാധിക്കുന്നുണ്ടെങ്കിൽ, അത് ഒരു ഏജന്റാണ്.
  • ഒരു ലക്ഷ്യത്തെ ഉപദൗത്യങ്ങളായി (subtasks) തിരിക്കാൻ സാധിക്കുന്നുണ്ടെങ്കിൽ, അത് യഥാർത്ഥ ഏജന്റാണ്.

വിജയിക്കുന്ന ടീമുകൾ പുതിയ മോഡലുകൾക്ക് പിന്നാലെ പോകില്ല. അവർ കൃത്യമായ ലക്ഷ്യത്തോടെ നിർമ്മിച്ച പൈപ്പ്‌ലൈനുകളാണ് (pipelines) ഉണ്ടാക്കുന്നത്. അവർ ഈ മൂന്ന് കാര്യങ്ങളിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു:

  • ടൂൾ ഡിസൈൻ: ഇന്റർഫേസ് എത്രത്തോളം വ്യക്തമാണ്?
  • ഫെയിലർ ഹാൻഡ്‌ലിംഗ്: ഒരു ടൂൾ ഒന്നും തിരികെ നൽകുന്നില്ലെങ്കിൽ എന്ത് സംഭവിക്കുന്നു?
  • ഒബ്സർവബിലിറ്റി: ഓരോ തീരുമാനവും നിങ്ങൾക്ക് ട്രാസ്സ് ചെയ്യാൻ കഴിയുന്നുണ്ടോ?

നിങ്ങൾ ഉപയോഗിക്കുന്ന ഫ്രെയിംവർക്കിനേക്കാൾ പ്രാധാന്യം നിങ്ങളുടെ പാറ്റേണുകൾക്കാണ്. വിവിധ ഫ്രെയിംവർക്കുകളിൽ ഞാൻ ആർക്കിടെക്ചറുകൾ പുനർനിർമ്മിച്ചിട്ടുണ്ട്, എന്നാൽ ഫലങ്ങൾ ഒന്നുതന്നെയാണ്. ഫ്രെയിംവർക്ക് എന്നത് ഒരു സ്കാഫോൾഡിംഗ് (scaffolding) മാത്രമാണ്. ആർക്കിടെക്ചറാണ് യഥാർത്ഥ കെട്ടിടം.

ഈ പാറ്റേണുകൾ പിന്തുടരുക:

  • പ്ലാൻ ചെയ്ത ശേഷം പ്രവർത്തിക്കുക. ചിന്തിക്കുന്നതിനായി (reasoning) ഒരു ഘട്ടവും പ്രവർത്തിക്കുന്നതിനായി (action) മറ്റൊരു ഘട്ടവും ഉപയോഗിക്കുക.
  • റിട്രീവലിനെ (retrieval) റീസണിംഗിൽ (reasoning) നിന്ന് വേർതിരിക്കുക. കോൺടെക്സ്റ്റ് ശേഖരിക്കുന്നതും അത് ഉപയോഗിക്കുന്നതും രണ്ട് വ്യത്യസ്ത ജോലികളാണ്.
  • വ്യക്തമായ കൈമാറ്റങ്ങൾ (handoffs) ഉപയോഗിക്കുക. ഒരു ഏജന്റ് മറ്റൊരു ഏജന്റിലേക്ക് ജോലി കൈമാറുമ്പോൾ, സ്ട്രക്ചേർഡ് ലോഗുകൾ (structured logs) ഉപയോഗിക്കുക.

RAG ഒരു സ്റ്റാൻഡേർഡ് ആണ്, എന്നാൽ ചങ്കിംഗ് (chunking) പലപ്പോഴും തെറ്റായിട്ടാണ് ചെയ്യുന്നത്. ഡോക്യുമെന്റുകൾ മോശമായി വിഭജിച്ചാൽ മോഡലിന് കോൺടെക്സ്റ്റ് നഷ്ടപ്പെടും. ഇത് ഹാളുസിനേഷനുകൾക്ക് (hallucinations) കാരണമാകുന്നു.

നിങ്ങളുടെ RAG പൈപ്പ്‌ലൈൻ ഉപയോഗശൂന്യമായ ഫലങ്ങളാണ് നൽകുന്നതെങ്കിൽ, നിങ്ങളുടെ ചങ്കിംഗും മെറ്റാഡേറ്റയും പരിശോധിക്കുക. എംബെഡിംഗ് മോഡലിനെ കുറ്റപ്പെടുത്തരുത്.

വിശ്വസിക്കാൻ കഴിയുന്ന സിസ്റ്റങ്ങൾ നിർമ്മിക്കുക എന്നതാണ് എൻജിനീയറിംഗ് വെല്ലുവിളി. ഗവേണൻസ് (governance), ഒബ്സർവബിലിറ്റി (observability), വിശ്വസനീയമായ ടൂൾ ഉപയോഗം എന്നിവയിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുക. വെറുതെ ബെഞ്ച്മാർക്കുകൾക്ക് പിന്നാലെ പോകരുത്.

മികച്ച എൻജിനീയർമാർ സിസ്റ്റം ഡിസൈനിലാണ് ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നത്. മറ്റുള്ളവർക്ക് പരിപാലിക്കാനും വിശ്വസിക്കാനും കഴിയുന്ന AI സിസ്റ്റങ്ങൾ അവർ നിർമ്മിക്കും.

Source: https://dev.to/aibughunter/stop-fine-tuning-your-model-your-architecture-is-the-problem-3kkg