AI വൈദഗ്ധ്യം നേടിയെടുക്കാനുള്ള അവസരം അടയുകയാണ്

ആളുകൾ AI ഡെമോകളെയും പ്രൊഡക്ഷൻ സിസ്റ്റങ്ങളെയും ഒന്നുതന്നെയാണെന്ന രീതിയിലാണ് സംസാരിക്കുന്നത്. അവ രണ്ടും ഒന്നല്ല.

ആകർഷകമായ ഒരു ഡെമോയും യഥാർത്ഥ ലോകത്ത് പ്രവർത്തിക്കുന്ന ഒരു സിസ്റ്റവും തമ്മിൽ വലിയ വ്യത്യാസമുണ്ട്.

എല്ലാവരും എല്ലാറ്റിനെയും ഒരു ഏജന്റ് (agent) എന്ന് വിളിക്കുന്നു. മെമ്മറിയുള്ള ഒരു ചാറ്റ്ബോട്ട് ഒരു ഏജന്റാണ്. ഒരു ലൂപ്പ് ഉള്ള ഒരു സ്ക്രിപ്റ്റ് ഒരു ഏജന്റാണ്. ഇത് തെറ്റാണ്. ഈ തെറ്റ് മോശം എഞ്ചിനീയറിംഗിലേക്ക് നയിക്കുന്നു.

ഇതിന്റെ ഫലമായി ലളിതമായ ജോലികൾക്ക് അമിതമായി എഞ്ചിനീയറിംഗ് നടത്തുകയും പ്രയാസകരമായ ജോലികൾക്ക് മതിയായ എഞ്ചിനീയറിംഗ് നടത്താതിരിക്കുകയും ചെയ്യുന്നു.

ഇതിന്റെ യഥാർത്ഥ നിർവചനം ഇതാണ്: ഒരു ഏജന്റിന് ഒരു ലക്ഷ്യമുണ്ടാകും (objective). അത് അടുത്ത ഘട്ടം സ്വയം തീരുമാനിക്കുന്നു. പരാജയങ്ങളെ അത് കൈകാര്യം ചെയ്യുന്നു. ഒരു ജോലി എപ്പോൾ അവസാനിക്കുന്നു എന്ന് അതിന് അറിയാം. മറ്റുള്ളവയെല്ലാം വെറും ഫംഗ്ഷൻ കോളുകൾ (function calls) മാത്രമാണ്.

വ്യത്യാസം എങ്ങനെ തിരിച്ചറിയാം: • ഓരോ ഘട്ടത്തിലും ഒരു മനുഷ്യൻ നിർദ്ദേശങ്ങൾ നൽകേണ്ടി വരുന്നുണ്ടെങ്കിൽ, അത് ഒരു ചാറ്റ് ഇന്റർഫേസ് ആണ്. • ഒരു ടൂൾ കോൾ (tool call) പരാജയപ്പെട്ടാൽ സിസ്റ്റം അതിൽ നിന്ന് തിരിച്ചു വരുന്നുണ്ടെങ്കിൽ, അത് ഒരു ഏജന്റാണ്. • ഒരു ലക്ഷ്യത്തെ ഉപദൗത്യങ്ങളായി (subtasks) വിഭജിക്കാൻ സിസ്റ്റത്തിന് കഴിയുന്നുണ്ടെങ്കിൽ, അത് യഥാർത്ഥ ഏജന്റാണ്.

വിജയിക്കുന്ന ടീമുകൾ പുതിയ മോഡലുകൾക്ക് പിന്നാലെ മാത്രം ഓടാറില്ല. അവർ മൂന്ന് കാര്യങ്ങളിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു:

  • ടൂൾ ഡിസൈൻ (Tool design): ഇന്റർഫേസ് എത്രത്തോളം വ്യക്തമാണ്?
  • ഫെയിലർ ഹാൻഡ്‌ലിംഗ് (Failure handling): ഒരു ടൂൾ ഒന്നും തിരികെ നൽകുന്നില്ലെങ്കിൽ എന്ത് സംഭവിക്കും?
  • ഒബ്സർവബിലിറ്റി (Observability): ഏജന്റ് എന്തുകൊണ്ടാണ് ആ തീരുമാനം എടുത്തത്?

നിങ്ങൾ ഉപയോഗിക്കുന്ന ഫ്രെയിംവർക്കിനേക്കാൾ പ്രധാനം നിങ്ങൾ പിന്തുടരുന്ന പാറ്റേണുകളാണ്. LangChain അല്ലെങ്കിൽ CrewAI വെറും ടൂളുകൾ മാത്രമാണ്. ആർക്കിടെക്ചറാണ് (architecture) പ്രധാനം.

ഈ പാറ്റേണുകൾ ഉപയോഗിക്കുക:

  • പ്ലാൻ ചെയ്യുക, ശേഷം നടപ്പിലാക്കുക: പ്ലാൻ ചെയ്യാൻ ഒരു ഘട്ടവും പ്രവർത്തിക്കാൻ മറ്റൊരു ഘട്ടവും ഉപയോഗിക്കുക.
  • റിട്രീവലും (retrieval) റീസണിംഗും (reasoning) വേർതിരിക്കുക: ഡാറ്റ ശേഖരിക്കുന്നതും ഡാറ്റ ഉപയോഗിക്കുന്നതും രണ്ട് വ്യത്യസ്ത ജോലികളാണ്.
  • എക്സ്പ്ലിസിറ്റ് ഹാൻഡ്‌ഓഫുകൾ (Explicit handoffs): ഒരു ഏജന്റ് മറ്റൊരു ഏജന്റിന് ജോലി കൈമാറുമ്പോൾ സ്ട്രക്ചേർഡ് ലോഗുകൾ (structured logs) ഉപയോഗിക്കുക.

RAG-ഉം പ്രശ്നങ്ങൾ ഉണ്ടാക്കുന്നുണ്ട്. ഭൂരിഭാഗം ആളുകളും ചങ്കിംഗിൽ (chunking) പരാജയപ്പെടുന്നു. നിങ്ങളുടെ ചങ്കുകൾ (chunks) കോൺടെക്സ്റ്റ് മുറിച്ചുമാറ്റുന്നുണ്ടെങ്കിൽ, മോഡൽ ഹാളുസിനേറ്റ് (hallucinate) ചെയ്യും. മോഡലിനെ കുറ്റപ്പെടുത്തുന്നതിന് മുമ്പ് നിങ്ങളുടെ ചങ്കിംഗും മെറ്റാഡേറ്റയും (metadata) ശരിയാക്കണം.

മോഡലുകൾ മെച്ചപ്പെട്ടുകൊണ്ടിരിക്കും. ടോക്കണുകൾക്ക് (tokens) വില കുറയും. എന്നാൽ ഇത് എഞ്ചിനീയറിംഗ് വെല്ലുവിളികൾ പരിഹരിക്കില്ല.

വിശ്വസിക്കാവുന്ന സിസ്റ്റങ്ങൾ നിർമ്മിക്കുക എന്നതാണ് യഥാർത്ഥ വെല്ലുവിളി. നിങ്ങൾക്ക് ഗവേണൻസും (governance) വിശ്വസനീയമായ ടൂൾ ഉപയോഗവും ആവശ്യമാണ്.

അടുത്ത രണ്ട് വർഷങ്ങളിൽ പ്രസക്തരാകുന്ന എഞ്ചിനീയർമാർ പ്രോംപ്റ്റ് എഞ്ചിനീയർമാരല്ല (prompt engineers). അവർ സിസ്റ്റം ഡിസൈനർമാരാണ് (systems designers). മറ്റുള്ളവർക്ക് പരിപാലിക്കാൻ കഴിയുന്ന തരത്തിലുള്ള AI ആണ് അവർ നിർമ്മിക്കുന്നത്.

സ്രോതസ്സ്: https://dev.to/aibughunter/the-window-to-build-ai-expertise-is-closing-faster-than-anyone-expected-3a2c

ഓപ്ഷണൽ ലേണിംഗ് കമ്മ്യൂണിറ്റി: https://t.me/GyaanSetuAi