ഏറ്റവും പ്രചാരമുള്ള AI ഫ്രെയിംവർക്കിന് ഒരു ഗുരുതരമായ പോരായ്മയുണ്ട്

ആളുകൾ എല്ലാറ്റിനെയും ഒരു ഏജന്റ് എന്ന് വിളിക്കുന്നു.

ഒരു ലൂപ്പ് ഉള്ള സ്ക്രിപ്റ്റ് ഒരു ഏജന്റാണ്. മെമ്മറിയുള്ള ഒരു ചാറ്റ്ബോട്ട് ഒരു ഏജന്റാണ്. ഈ തെറ്റ് മോശം എൻജിനീയറിംഗിലേക്ക് നയിക്കുന്നു.

ലളിതമായ ജോലികൾക്കായി സങ്കീർണ്ണമായ ഓർക്കസ്ട്രേഷൻ (orchestration) നിർമ്മിക്കാൻ ടീമുകൾ ആഴ്ചകൾ പാഴാക്കുന്നു. ഒരു സിംഗിൾ പ്രോംപ്റ്റിന് നിങ്ങൾക്ക് ഒരു ഏജന്റിന്റെ ആവശ്യമില്ല.

ഒരു ഏജന്റിന് ഒരു ലക്ഷ്യം ഉണ്ടായിരിക്കണം. അത് അതിന്റെ അടുത്ത ഘട്ടങ്ങൾ സ്വയം തീരുമാനിക്കണം. പരാജയങ്ങൾ കൈകാര്യം ചെയ്യാനും ഒരു ജോലി എപ്പോൾ അവസാനിച്ചു എന്ന് തിരിച്ചറിയാനും അതിന് കഴിയണം.

നിങ്ങളുടെ സിസ്റ്റം പരിശോധിക്കാൻ ഈ നിയമങ്ങൾ ഉപയോഗിക്കുക:

  • ഓരോ ഘട്ടത്തിലും ഒരു മനുഷ്യൻ മാർഗ്ഗനിർദ്ദേശം നൽകണമെങ്കിൽ, അത് ഒരു ചാറ്റ് ഇന്റർഫേസ് ആണ്.
  • ഒരു ടൂൾ കോൾ പരാജയപ്പെട്ടാൽ നിങ്ങളുടെ സിസ്റ്റം അതിൽ നിന്ന് തിരിച്ചുവരുന്നുണ്ടെങ്കിൽ, നിങ്ങൾക്കൊരു ഏജന്റ് ഉണ്ട്.
  • നിങ്ങളുടെ സിസ്റ്റം ഒരു ലക്ഷ്യത്തെ ഉപദൗത്യങ്ങളായി (subtasks) വിഭജിക്കുന്നുണ്ടെങ്കിൽ, നിങ്ങൾക്കൊരു യഥാർത്ഥ ഏജന്റ് ഉണ്ട്.

മിക്ക വിജയകരമായ ഏജന്റുകളും പരിമിതമായ മേഖലകളിൽ മാത്രം പ്രവർത്തിക്കുന്നവയാണ്. അവ ഡോക്യുമെന്റ് എക്സ്ട്രാക്ഷൻ അല്ലെങ്കിൽ കോഡ് റിവ്യൂ പോലുള്ള ഒരു ജോലി മാത്രം ചെയ്യുന്നു. അവ പൊതുവായ റീസണിംഗ് എൻജിനുകൾ (reasoning engines) അല്ല.

മികച്ച ടീമുകൾ മൂന്ന് കാര്യങ്ങളിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു:

  • ടൂൾ ഡിസൈൻ: ഏജന്റിന് വേണ്ടി ക്ലീൻ ആയ ഇന്റർഫേസുകൾ നിർമ്മിക്കുക.
  • ഫെയിലിയർ ഹാൻഡ്‌ലിംഗ്: ഒരു ടൂൾ പരാജയപ്പെടുമ്പോൾ എന്ത് സംഭവിക്കണമെന്ന് തീരുമാനിക്കുക.
  • ഒബ്സർവബിലിറ്റി (Observability): ഒരു ഏജന്റ് എന്തുകൊണ്ട് ഒരു തീരുമാനം എടുത്തു എന്ന് കണ്ടെത്തുക.

LangChain അല്ലെങ്കിൽ CrewAI പോലുള്ള ഫ്രെയിംവർക്കുകളേക്കാൾ പാറ്റേണുകൾക്കാണ് പ്രാധാന്യം. ഞാൻ ഒരേ ആർക്കിടെക്ചർ മൂന്ന് വ്യത്യസ്ത ഫ്രെയിംവർക്കുകളിൽ വീണ്ടും നിർമ്മിച്ചിട്ടുണ്ട്. ഫലങ്ങൾ ഒന്നുതന്നെയായിരുന്നു.

ഈ പാറ്റേണുകൾ പിന്തുടരുക:

  • പ്ലാൻ ചെയ്യുക, തുടർന്ന് പ്രവർത്തിക്കുക: പ്ലാനിംഗിനായി ഒരു ഘട്ടവും ജോലിക്കായി മറ്റൊരു ഘട്ടവും ഉപയോഗിക്കുക.
  • റിട്രീവലിനെ റീസണിംഗിൽ നിന്ന് വേർതിരിക്കുക: ഡാറ്റ ശേഖരിക്കുന്നത് അത് ഉപയോഗിക്കുന്നതിന് തുല്യമല്ല.
  • എക്സ്പ്ലിസിറ്റ് ഹാൻഡ്‌ഓഫുകൾ: ഒരു ഏജന്റ് മറ്റൊരു ഏജന്റിന് ജോലി കൈമാറുമ്പോൾ സ്ട്രക്ചേർഡ് ലോഗുകൾ ഉപയോഗിക്കുക.

മോശം ചങ്കിംഗ് (chunking) കാരണം RAG സിസ്റ്റങ്ങൾ പലപ്പോഴും പരാജയപ്പെടുന്നു. നിങ്ങളുടെ മോഡൽ സാങ്കേതിക വസ്തുതകൾ ശരിയായി പറയുകയും എന്നാൽ സന്ദർഭം (context) വിട്ടുപോവുകയും ചെയ്യുന്നുണ്ടെങ്കിൽ, നിങ്ങളുടെ ചങ്കുകളാണ് പ്രശ്നം. സെമാന്റിക് ചങ്കിംഗ് (semantic chunking) അല്ലെങ്കിൽ പാരന്റ്-ഡോക്യുമെന്റ് റിട്രീവൽ (parent-document retrieval) പരീക്ഷിച്ചു നോക്കുക.

ബെഞ്ച്മാർക്കുകൾക്ക് പിന്നാലെ പോകുന്നത് നിർത്തുക. നിങ്ങൾ ശ്രദ്ധിക്കാത്ത സമയത്തും വിശ്വസിക്കാൻ കഴിയുന്ന സിസ്റ്റങ്ങൾ നിർമ്മിക്കുക എന്നതാണ് യഥാർത്ഥ വെല്ലുവിളി.

ഗവേണൻസ്, ഒബ്സർവബിലിറ്റി, വിശ്വസനീയമായ ടൂൾ ഉപയോഗം എന്നിവയിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുക. മികച്ച എൻജിനീയർമാർ പ്രോംപ്റ്റ് എൻജിനീയറിംഗിൽ മാത്രമല്ല, സിസ്റ്റം ഡിസൈനിലും ശ്രദ്ധ കേന്ദ്രീകരിക്കും.

Source: https://dev.to/aibughunter/the-hottest-ai-framework-right-now-has-a-fatal-flaw-nobody-mentions-2ing

Optional learning community: https://t.me/GyaanSetuAi