ഇമെയിൽ ഏജന്റുകൾക്കായുള്ള ഹ്യൂമൻ-ഇൻ-ദി-ലൂപ്പ് ഡിസൈൻ (Human-in-the-loop Design for Email Agents)

ഒരു റീഫണ്ട് അഭ്യർത്ഥന നിങ്ങളുടെ സപ്പോർട്ട് ക്യൂവിൽ എത്തുന്നു. നിങ്ങളുടെ AI ഏജന്റ് 91% കോൺഫിഡൻസോടെ (confidence) ഒരു നോളജ് ബേസ് മാച്ച് കണ്ടെത്തുന്നു. എങ്കിലും ഏജന്റ് ആ മറുപടി അയക്കരുത്.

മിക്ക ടീമുകളും ഹ്യൂമൻ ഓവർസൈറ്റിനെ (human oversight) ഒരു ലളിതമായ തിരഞ്ഞെടുപ്പായി കാണുന്നു: ഒന്നുകിൽ AI തനിയെ ഇമെയിലുകൾ അയക്കുന്നു, അല്ലെങ്കിൽ ഒരു മനുഷ്യൻ എല്ലാം പരിശോധിക്കുന്നു. രണ്ട് രീതികളും പരാജയപ്പെടുന്നു.

പൂർണ്ണമായ ഓട്ടോമേഷൻ നിങ്ങളുടെ ബ്രാൻഡിനെ ദോഷകരമായി ബാധിക്കുന്ന മോശം മറുപടികളിലേക്ക് നയിക്കുന്നു. പൂർണ്ണമായ മനുഷ്യ പരിശോധന AI-യെ സമയം ലാഭിക്കാത്ത, ചെലവേറിയ ഒരു ഡ്രാഫ്റ്റ് ജനറേറ്റർ മാത്രമാക്കുന്നു.

ഒരു സ്വിച്ചിന് പകരം ഒരു ഡയൽ (dial) ഉപയോഗിക്കുക. സന്ദേശത്തിന്റെ തരം അനുസരിച്ച് ഓട്ടോമേഷൻ നില നിശ്ചയിക്കുക.

ഗേറ്റ് 1: നോളജ് മാച്ച് (Knowledge Match) AI ഉത്തരത്തിൽ എത്രത്തോളം ഉറപ്പുള്ളതാണെന്ന് ഈ ഗേറ്റ് പരിശോധിക്കുന്നു.

• കോൺഫിഡൻസ് 85% അല്ലെങ്കിൽ അതിൽ കൂടുതൽ: ആർട്ടിക്കിളിൽ നിന്ന് നേരിട്ട് മറുപടി തയ്യാറാക്കുക (Draft). • കോൺഫിഡൻസ് 60% മുതൽ 85% വരെ: മറുപടി തയ്യാറാക്കുക, എന്നാൽ ഒരു മനുഷ്യന് വേഗത്തിൽ പരിശോധിക്കാൻ കഴിയുന്ന രീതിയിൽ സോഴ്സ് ലിങ്ക് ഉൾപ്പെടുത്തുക. • കോൺഫിഡൻസ് 60%-ൽ താഴെ: ഡ്രാഫ്റ്റ് തയ്യാറാക്കരുത്. മാനുവൽ റിവ്യൂവിനായി ഫ്ലാഗ് ചെയ്യുക.

ഗേറ്റ് 2: റിസ്ക് ലെവൽ (Risk Level) ഒരു തെറ്റ് സംഭവിച്ചാൽ ഉണ്ടാകുന്ന പ്രത്യാഘാതങ്ങളെക്കുറിച്ച് ഈ ഗേറ്റ് പരിശോധിക്കുന്നു. ഇത് കോൺഫിഡൻസ് സ്കോറുകളെ അവഗണിക്കുന്നു.

• കുറഞ്ഞ റിസ്ക് (പാസ്‌വേഡ് റീസെറ്റ്, FAQs): മനുഷ്യന്റെ അംഗീകാരത്തിനായി മറുപടി തയ്യാറാക്കുക. • ഇടത്തരം റിസ്ക് (റീഫണ്ടുകൾ, ബില്ലിംഗ് മാറ്റങ്ങൾ): മറുപടി തയ്യാറാക്കുക, എന്നാൽ കൂടുതൽ മനുഷ്യ പരിശോധന ആവശ്യമാണ്. • ഉയർന്ന റിസ്ക് (നിയമപരമായ ഭീഷണികൾ, തട്ടിപ്പുകൾ): ഡ്രാഫ്റ്റ് തയ്യാറാക്കരുത്. ഉടൻ തന്നെ ഒരു വ്യക്തിയെ അറിയിക്കുക (Escalate).

അതുകൊണ്ടാണ് 91% കോൺഫിഡൻസുള്ള ഒരു റീഫണ്ട് മറുപടി അയക്കാത്തത്. AI-ക്ക് ഉത്തരം അറിയാമോ എന്ന് കോൺഫിഡൻസ് പറയുന്നു. AI തെറ്റാണെങ്കിൽ എന്ത് സംഭവിക്കുമെന്ന് റിസ്ക് പറയുന്നു. ഈ രണ്ട് ആശയങ്ങളെയും നിങ്ങൾ വേർതിരിക്കണം.

നിയമം ലളിതമാണ്: അയക്കുന്നതിന് മുമ്പ് എപ്പോഴും ഡ്രാഫ്റ്റ് കാണിക്കുക. ഒരിക്കലും ഓട്ടോ-സെൻഡ് ചെയ്യരുത്.

ഹ്യൂമൻ ഓവർസൈറ്റ് എന്നത് ഒരു നികുതിയല്ല. പിന്നീട് കൂടുതൽ കാര്യങ്ങൾ ഓട്ടോമേറ്റ് ചെയ്യാൻ ആവശ്യമായ ഡാറ്റ ശേഖരിക്കാനുള്ള മാർഗമാണിത്. 'ഡ്രാഫ്റ്റ്-ആൻഡ്-അപ്രൂവ്' രീതിയിൽ നിന്ന് 'ഫുൾ-ഓട്ടോ' രീതിയിലേക്ക് മാറാൻ, നിങ്ങളുടെ കൃത്യത തെളിയിക്കാൻ ലോഗുകൾ (logs) ഉപയോഗിക്കുക. വികാരങ്ങളെ മാത്രം ആശ്രയിക്കരുത്.

ഈ ആഴ്ച നിങ്ങളുടെ സന്ദേശങ്ങളുടെ തരങ്ങളെ ഈ മൂന്ന് റിസ്ക് തലങ്ങളിൽ (risk tiers) തരംതിരിക്കുക. എവിടെയാണ് നിങ്ങൾ അമിതമായി പരിശോധിക്കുന്നതെന്നും എവിടെയാണ് നിങ്ങൾ അമിത റിസ്ക് എടുക്കുന്നതെന്നും തീരുമാനിക്കുക.

സ്രോതസ്സ്: https://dev.to/qasim157/human-in-the-loop-design-for-email-agents-3fhc

ഓപ്ഷണൽ ലേണിംഗ് കമ്മ്യൂണിറ്റി: https://t.me/GyaanSetuAi