ഈ ആഴ്ച നിങ്ങളുടെ ടീമിന് മികച്ച ഒരു AI മോഡലിന്റെ ആവശ്യമില്ല
പുതിയ AI മോഡലുകൾക്കായി തിരയുന്നത് നിർത്തുക. നിങ്ങൾക്ക് യഥാർത്ഥത്തിൽ വേണ്ടത് നിങ്ങളുടെ വർക്ക്ഫ്ലോ (workflow) മെച്ചപ്പെടുത്തുക എന്നതാണ്.
മിക്ക ടീമുകളും ഏത് മോഡലാണ് കൂടുതൽ ബുദ്ധിപരമായി തോന്നുന്നത് എന്നതിലാണ് ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നത്. അവർ പുതിയ റിലീസുകളെ ബെഞ്ച്മാർക്ക് ചെയ്യുകയും ബുദ്ധിശക്തിയെക്കുറിച്ച് തർക്കിക്കുകയും ചെയ്യുന്നു. എന്നാൽ നിങ്ങൾ LLM ഉപയോഗിച്ച് നിർമ്മാണം നടത്തുന്നുണ്ടെങ്കിൽ, യഥാർത്ഥ ബുദ്ധിമുട്ട് എന്താണെന്ന് നിങ്ങൾക്ക് അറിയാം. പ്രശ്നം മോശം കോഡ് അല്ല, മറിച്ച് മോശം എക്സിക്യൂഷൻ (execution) ആണ്.
നിങ്ങൾ ഈ പ്രശ്നങ്ങൾ കാണുന്നുണ്ടാകാം:
- ഒരു ടാസ്കിന്റെ പകുതിയിൽ വെച്ച് നിലച്ചുപോകുന്ന ഏജന്റ് ലൂപ്പുകൾ (Agent loops).
- ആളുകളെ ആശയക്കുഴപ്പത്തിലാക്കുന്ന അപ്രൂവൽ പ്രോംപ്റ്റുകൾ (Approval prompts).
- റീട്രൈകൾക്കിടയിൽ തകരാറിലാകുന്ന കോൺടെക്സ്റ്റ് ചെയിനുകൾ (Context chains).
- ഓട്ടോമേഷൻ അതിന്റെ സ്റ്റേറ്റ് (state) നഷ്ടപ്പെടുത്തുന്നത് കാരണം മനുഷ്യർ കാര്യങ്ങൾ ശരിയാക്കേണ്ടി വരുന്നത്.
ബുദ്ധിശക്തി വർദ്ധിച്ചുകൊണ്ടിരിക്കുകയാണ്, എന്നാൽ ഓപ്പറേഷണൽ കൺട്രോൾ (operational control) പിന്നിലാവുകയാണ്. നമ്മൾ 'ഓർക്കസ്ട്രേഷൻ ടാക്സ്' (orchestration tax) എന്ന കാലഘട്ടത്തിലേക്ക് പ്രവേശിക്കുകയാണ്. നിങ്ങൾ ഇതിനായി തയ്യാറെടുക്കുന്നില്ലെങ്കിൽ, സിസ്റ്റം തകരാറിലാകുന്നതിലൂടെയും (outages) നിശബ്ദമായ പരാജയങ്ങളിലൂടെയും (silent failures) നിങ്ങൾ അതിന്റെ വില നൽകേണ്ടി വരും.
AI ഔട്ട്പുട്ട് അപൂർവ്വമായി മാത്രമേ അന്തിമ ഉൽപ്പന്നമാകാറുള്ളൂ. അത് ഒരു വലിയ സിസ്റ്റത്തിലെ ഒരു ഇടക്കാല ഘട്ടം മാത്രമാണ്. നിങ്ങൾ ഈ ചോദ്യങ്ങൾക്ക് പരിഹാരം കാണണം:
- ഒരു ടൈമൗട്ടിന് ശേഷം ടാസ്ക് പുനരാരംഭിക്കാൻ കഴിയുമോ?
- ഓരോ അപ്രൂവലും നമുക്ക് ഓഡിറ്റ് ചെയ്യാൻ കഴിയുമോ?
- ഡ്യൂപ്ലിക്കേറ്റ് ആക്ഷനുകൾ ഇല്ലാതെ സ്റ്റെപ്പുകൾ വീണ്ടും റൺ ചെയ്യാൻ കഴിയുമോ?
- പ്രവർത്തനത്തിനിടയിൽ ഒരു മനുഷ്യന് നിയന്ത്രണം ഏറ്റെടുക്കാൻ കഴിയുമോ?
പെയ്മെന്റുകളിലും ബാക്ക്ഗ്രൗണ്ട് ജോബുകളിലും വർഷങ്ങൾക്ക് മുമ്പ് തന്നെ സീനിയർ എഞ്ചിനീയർമാർ ഈ പ്രശ്നങ്ങൾ പരിഹരിച്ചിരുന്നു. നമ്മൾ ഐഡെംപോട്ടൻസി കീകൾ (idempotency keys), ചെക്ക്പോയിന്റുകൾ (checkpoints), ട്രാൻസാക്ഷൻ ലോഗുകൾ (transaction logs) എന്നിവ ഉപയോഗിച്ചിരുന്നു. AI ഈ പ്രശ്നങ്ങൾ പുതുതായി ഉണ്ടാക്കിയതല്ല, മറിച്ച് അവ കൂടുതൽ വേഗത്തിൽ സംഭവിക്കാൻ കാരണമായി എന്ന് മാത്രം.
നിങ്ങളുടെ എക്സിക്യൂഷൻ കോൺട്രാക്റ്റ് (execution contract) തീരുമാനിക്കുന്നതിന് മുമ്പ് ഒരു മോഡൽ തിരഞ്ഞെടുക്കരുത്. ബ്രേക്ക് ഇല്ലാത്ത ഒരു കാറിന് റേസിംഗ് എഞ്ചിൻ തിരഞ്ഞെടുക്കുന്നത് പോലെയാണത്.
ഈ ഘട്ടങ്ങളിലൂടെ വിശ്വസനീയമായ ഒരു വർക്ക്ഫ്ലോ നിർമ്മിക്കുക:
AI ജോലികളെ ചെറിയ ഘട്ടങ്ങളായി തിരിക്കുക ഒരു വലിയ പ്രോംപ്റ്റ് ഉപയോഗിക്കരുത്. അതിനെ ഇങ്ങനെ വിഭജിക്കുക: കോൺടെക്സ്റ്റ് ശേഖരിക്കുക, മാറ്റം നിർദ്ദേശിക്കുക, പരിശോധനകൾ നടത്തുക, അനുമതി അഭ്യർത്ഥിക്കുക, മാറ്റം നടപ്പിലാക്കുക.
ഡ്യൂറബിൾ സ്റ്റോറേജ് (durable storage) ഉപയോഗിക്കുക സ്റ്റാറ്റസ്, സ്റ്റെപ്പുകൾ, ശ്രമങ്ങളുടെ എണ്ണം എന്നിവ ട്രാക്ക് ചെയ്യാൻ ഒരു ഡാറ്റാബേസ് ഉപയോഗിക്കുക. ഒരു വർക്കർ ക്രാഷ് ആയാൽ, മെമ്മറിയിൽ നിന്നല്ല, മറിച്ച് സ്റ്റേറ്റിൽ (state) നിന്ന് നിങ്ങൾക്ക് കാര്യങ്ങൾ വീണ്ടെടുക്കാം.
ഐഡെംപോട്ടൻസി (idempotency) ഉറപ്പാക്കുക ഡാറ്റ മാറ്റുന്ന ഓരോ ആക്ഷനും ഒരു സ്റ്റേബിൾ കീ ആവശ്യമാണ്. ഒരു സ്റ്റെപ്പ് രണ്ടുതവണ റൺ ചെയ്താലും ഫലം മാറാൻ പാടില്ല.
ടിയറുകൾ (tiers) ഉപയോഗിച്ച് പെർമിഷനുകൾ നിയന്ത്രിക്കുക നിരന്തരമായ അപ്രൂവലുകൾ ചോദിക്കുന്നത് നിർത്തുക. താഴെ പറയുന്ന രീതിയിൽ ടിയറുകൾ സൃഷ്ടിക്കുക:
- Tier 0: റീഡ്-ഓൺലി ടാസ്ക്കുകൾ (auto-approved).
- Tier 1: കുറഞ്ഞ റിസ്കുള്ള റൈറ്റുകൾ (batched approval).
- Tier 2: ഉയർന്ന സ്വാധീനമുള്ള ടാസ്ക്കുകൾ (human checkpoint).
- ഓപ്പറേഷണൽ മെട്രിക്സ് (operational metrics) ട്രാക്ക് ചെയ്യുക ലേറ്റൻസിയിലും (latency) ചിലവിലും മാത്രം ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നത് നിർത്തുക. ടൈമൗട്ട് നിരക്ക്, റീട്രൈ വിജയം, റോൾബാക്ക് ഫ്രീക്വൻസി എന്നിവ ട്രാക്ക് ചെയ്യുക.
മികച്ച AI ടീമുകൾ മാന്ത്രിക പ്രോംപ്റ്റുകളെക്കുറിച്ച് (magic prompts) അഹങ്കരിക്കില്ല. അവർ വിരസവും എന്നാൽ സുസ്ഥിരവും നിരീക്ഷിക്കാവുന്നതുമായ (observable) പൈപ്പ്ലൈനുകൾ പ്രവർത്തിപ്പിക്കും. അവരുടെ കരുത്ത് മോഡലല്ല, മറിച്ച് അച്ചടക്കമുള്ള സിസ്റ്റംസ് എഞ്ചിനീയറിംഗ് (systems engineering) ആണ്.
Source: https://dev.to/chrisbuildsonline/your-team-doesnt-need-a-better-ai-model-this-week-29l4
Optional learning community: https://t.me/GyaanSetuAi