ഈ ആഴ്ച നിങ്ങളുടെ ടീമിന് മികച്ച ഒരു AI മോഡലിന്റെ ആവശ്യമില്ല
നിങ്ങളുടെ ടീമിന് പുതിയൊരു AI മോഡലിന്റെ ആവശ്യമില്ല. അവർക്ക് വേണ്ടത് മികച്ച വർക്ക്ഫ്ലോകളാണ് (workflows).
ഏറ്റവും പുതിയ മോഡലുകൾക്കായി തിരയുന്നത് നിർത്തുക. നിങ്ങളുടെ പ്രവർത്തനരീതികൾ (execution) മെച്ചപ്പെടുത്താൻ ശ്രമിച്ചു തുടങ്ങുക. മിക്ക ടീമുകളും നേരിടുന്നത് ഒരേ പ്രശ്നങ്ങളാണ്. ടാസ്ക്കുകൾക്കിടയിൽ ഏജന്റ് ലൂപ്പുകൾ (agent loops) തകരാറിലാകുന്നു. അപ്രൂവൽ പ്രോംപ്റ്റുകൾ ആളുകളെ ആശയക്കുഴപ്പത്തിലാക്കുന്നു. റീട്രൈകൾക്കിടയിൽ കോൺടെക്സ്റ്റ് ചെയിനുകൾ (context chains) മുറിയുന്നു. ഓട്ടോമേഷൻ അതിന്റെ സ്റ്റേറ്റ് (state) നഷ്ടപ്പെടുത്തുന്നത് കാരണം തെറ്റുകൾ തിരുത്താൻ മനുഷ്യർ മണിക്കൂറുകൾ ചെലവഴിക്കുന്നു.
പ്രശ്നം ഇനി ബുദ്ധിശക്തിയല്ല (intelligence). പ്രശ്നം പ്രവർത്തനരീതിയാണ് (execution).
നമ്മൾ 'ഓർക്കസ്ട്രേഷൻ ടാക്സ്' (orchestration tax) എന്ന കാലഘട്ടത്തിലേക്ക് പ്രവേശിക്കുകയാണ്. നിങ്ങൾ ഇതിനായി തയ്യാറെടുക്കുന്നില്ലെങ്കിൽ, സിസ്റ്റം തകരാറിലാകുന്നതിലൂടെയും (outages) നിശബ്ദമായ പരാജയങ്ങളിലൂടെയും (silent failures) നിങ്ങൾ അതിന്റെ വില നൽകേണ്ടി വരും. രാത്രി വൈകി എഞ്ചിനീയർമാർ ബോട്ട്സിനെ നിരീക്ഷിച്ചു കൊണ്ടിരിക്കേണ്ടി വരുമ്പോഴും നിങ്ങൾ ഈ വില നൽകുന്നു.
AI നൽകുന്ന ഔട്ട്പുട്ട് അപൂർവ്വമായി മാത്രമേ അന്തിമ ഉൽപ്പന്നമാകാറുള്ളൂ. അത് ഒരു വലിയ സിസ്റ്റത്തിലെ ഒരു ഇടക്കാല ഘട്ടം മാത്രമാണ്. ടിക്കറ്റ് ട്രയാജ് (ticket triage), PR ഡ്രാഫ്റ്റിംഗ്, ടെസ്റ്റ് ജനറേഷൻ എന്നിവയിൽ ഇത് സഹായിക്കുന്നു.
നിങ്ങൾ ഈ ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകണം:
- ടൈമൗട്ടിന് ശേഷം ടാസ്ക് പുനരാരംഭിക്കാൻ കഴിയുമോ?
- ഒരു മാറ്റം ആര് അംഗീകരിച്ചു എന്ന് നമുക്ക് പരിശോധിക്കാൻ (audit) കഴിയുമോ?
- ഡ്യൂപ്ലിക്കേറ്റ് സൈഡ് ഇഫക്റ്റുകൾ (side effects) ഉണ്ടാക്കാതെ ഒരു ടാസ്ക് വീണ്ടും റൺ ചെയ്യാൻ കഴിയുമോ?
- എല്ലാം വീണ്ടും തുടങ്ങാതെ തന്നെ, ഒരു മനുഷ്യന് ഇടയിൽ വെച്ച് നിയന്ത്രണം ഏറ്റെടുക്കാൻ കഴിയുമോ?
സീനിയർ എഞ്ചിനീയർമാർക്ക് ഇത് എങ്ങനെ പരിഹരിക്കാമെന്ന് അറിയാം. പെയ്മെന്റുകൾക്കും ബാക്ക്ഗ്രൗണ്ട് ജോബ്സിനും വേണ്ടി വർഷങ്ങൾക്ക് മുമ്പ് തന്നെ നമ്മൾ ഈ പ്രശ്നങ്ങൾ പരിഹരിച്ചിട്ടുണ്ട്. നമ്മൾ idempotency keys, checkpoints, transaction logs എന്നിവ ഉപയോഗിക്കുന്നു. AI ഈ പരാജയങ്ങൾ കൂടുതൽ വേഗത്തിൽ സംഭവിക്കാൻ കാരണമാകുന്നു എന്ന് മാത്രം.
മോഡലിന്റെ ഗുണനിലവാരം എന്നത് ഈ സമവാക്യത്തിന്റെ ഒരു ഭാഗം മാത്രമാണ്. തകരാറിലായ ഒരു വർക്ക്ഫ്ലോയിൽ മികച്ച ഒരു മോഡൽ ഉണ്ടെങ്കിൽ അത് കുഴപ്പങ്ങൾ ഉണ്ടാക്കും. എന്നാൽ ശക്തമായ ഒരു വർക്ക്ഫ്ലോയിൽ ഒരു സാധാരണ മോഡൽ പോലും മൂല്യം സൃഷ്ടിക്കും.
വെറുതെ തോന്നലുകൾക്ക് പിന്നാലെ പോകാതെ പ്രായോഗികമായ ഒരു പ്ലേബുക്ക് (playbook) തയ്യാറാക്കുക:
AI ജോലികളെ വ്യക്തമായ ഘട്ടങ്ങളായി തിരിക്കുക.
collect_context,propose_change,run_checksതുടങ്ങിയ ഘട്ടങ്ങൾ ഉപയോഗിക്കുക. ഒരു വലിയ പ്രോംപ്റ്റ് കൊണ്ട് മാത്രം മുഴുവൻ പ്രക്രിയയും നടത്താൻ അനുവദിക്കരുത്.ഡ്യൂറബിലിറ്റിക്കായി (durability) ഒരു ഡാറ്റാബേസ് ഉപയോഗിക്കുക. നിങ്ങളുടെ വർക്ക്ഫ്ലോ സ്റ്റാറ്റസും ഇവന്റ് ലോഗുകളും Postgres പോലുള്ള ഒരു ഡാറ്റാബേസിൽ സൂക്ഷിക്കുക. ഒരു വർക്കർ ക്രാഷ് ആയാൽ, മെമ്മറിക്ക് പകരം സ്റ്റേറ്റിൽ (state) നിന്ന് നിങ്ങൾക്ക് കാര്യങ്ങൾ വീണ്ടെടുക്കാം.
Idempotency ഉറപ്പാക്കുക. ഡാറ്റ മാറ്റുന്ന ഓരോ ആക്ഷനും ഒരു സ്റ്റേബിൾ കീ (stable key) ആവശ്യമാണ്. ഒരു ഘട്ടം രണ്ടുതവണ പ്രവർത്തിച്ചാലും ഫലം മാറാൻ പാടില്ല.
പെർമിഷനുകൾ വിവിധ തലങ്ങളായി (tiers) ക്രമീകരിക്കുക. നിരന്തരം അപ്രൂവൽ ചോദിക്കരുത്. റീഡ്-ഓൺലി ടാസ്ക്കുകൾക്കും, കുറഞ്ഞ റിസ്കുള്ള റൈറ്റുകൾക്കും, ഉയർന്ന സ്വാധീനമുള്ള മാറ്റങ്ങൾക്കുമായി വ്യത്യസ്ത തലങ്ങൾ സൃഷ്ടിക്കുക.
ഓപ്പറേഷണൽ മെട്രിക്സ് (operational metrics) ട്രാക്ക് ചെയ്യുക. ലേറ്റൻസിയും (latency) ചിലവും മാത്രം ട്രാക്ക് ചെയ്യുന്നത് നിർത്തുക. റീട്രൈ സക്സസ് റേറ്റ്, മനുഷ്യ ഇടപെടലുകൾ (human intervention), റോൾബാക്ക് ഫ്രീക്വൻസി എന്നിവ ട്രാക്ക് ചെയ്യുക.
മികച്ച AI ടീമുകൾ ഓട്ടോണമസ് ഏജന്റുകളെക്കുറിച്ച് (autonomous agents) അഹങ്കരിക്കില്ല. അവർ टिकाറ്റും നിരീക്ഷിക്കാൻ കഴിയുന്നതുമായ (observable) പൈപ്പ്ലൈനുകൾ നിർമ്മിക്കും. അവരുടെ കരുത്ത് മാന്ത്രിക പ്രോംപ്റ്റുകളല്ല, മറിച്ച് അച്ചടക്കമുള്ള സിസ്റ്റംസ് എഞ്ചിനീയറിംഗായിരിക്കും.
ഓരോ മാസവും മോഡലുകൾ കൂടുതൽ ബുദ്ധിമാനാകുന്നു. കാര്യങ്ങൾ തെറ്റായി പോകുമ്പോൾ തകരാറിലാകാത്ത വർക്ക്ഫ്ലോകൾ നിർമ്മിക്കുന്നതിലൂടെയാണ് നിങ്ങൾക്ക് മുൻതൂക്കം ലഭിക്കുന്നത്.
Source: https://dev.to/chrisbuildsonline/your-team-doesnt-need-a-better-ai-model-this-week-2og7
Optional learning community: https://t.me/GyaanSetuAi