AI നിഗമനങ്ങളെ (Inference) വസ്തുതകളായി (Fact) തെറ്റായി അടയാളപ്പെടുത്തുന്നത് എങ്ങനെ തടയാം

AI റിസർച്ച് ഏജന്റുകൾ പലപ്പോഴും വസ്തുതകളും ഊഹങ്ങളും തമ്മിൽ കലർത്താറുണ്ട്. ഒരു വെബ് പേജ് ഒരു വിപണി മൂല്യം (market value) പ്രസ്താവിച്ചേക്കാം. തുടർന്ന് വിപണി വേഗത്തിൽ വളരുകയാണെന്ന് ഏജന്റ് നിഗമനത്തിലെത്തുന്നു. അന്തിമമായ ടെക്സ്റ്റിൽ ഈ രണ്ട് പ്രസ്താവനകളും ഒരേപോലെ തോന്നും. വിവരങ്ങളും അഭിപ്രായങ്ങളും ഇത്തരത്തിൽ കലരുന്നത് അപകടകരമാണ്.

മികച്ച പ്രോംപ്റ്റുകൾ (prompts) ഉപയോഗിച്ച് നിങ്ങൾക്ക് ഇത് പരിഹരിക്കാൻ കഴിയില്ല. പ്രോംപ്റ്റുകൾ പ്രോബബിലിസ്റ്റിക് (probabilistic) ആണ്. സമ്മർദ്ദഘട്ടങ്ങളിൽ മോഡൽ ഊഹങ്ങൾ പറയും.

ഇതിനുള്ള പരിഹാരം ഘടനാപരമാണ് (structural). തീരുമാനമെടുക്കാനുള്ള ചുമതല LLM-ൽ നിന്ന് മാറ്റി നിങ്ങളുടെ കോഡിലേക്ക് (code) മാറ്റുക.

ജോലിയെ രണ്ട് ഭാഗങ്ങളായി തിരിക്കുക:

LLM ചെയ്യുന്നത്:

  • ഒരു പേജിൽ നിന്നുള്ള അവകാശവാദങ്ങൾ (claims) വേർതിരിച്ചെടുക്കുന്നു.
  • ടെക്സ്റ്റ് സംഗ്രഹിക്കുന്നു (summarize).

Deterministic കോഡ് ചെയ്യുന്നത്:

  • അവകാശവാദങ്ങൾക്ക് സ്കോർ നൽകുന്നു.
  • സ്രോതസ്സുകൾ (sources) ക്രോസ്-ചെക്ക് ചെയ്യുന്നു.
  • അവകാശവാദങ്ങളെ FACT അല്ലെങ്കിൽ INFERENCE എന്ന് അടയാളപ്പെടുത്തുന്നു.
  • വിവരങ്ങൾ പുതിയതാണോ എന്ന് തീരുമാനിക്കുന്നു.

കർശനമായ നിയമങ്ങൾ പാലിച്ചാൽ മാത്രമേ ഒരു അവകാശവാദത്തിന് FACT എന്ന ലേബൽ ലഭിക്കൂ. ഉദാഹരണത്തിന്, അത് രണ്ട് സ്വതന്ത്ര സ്രോതസ്സുകളിൽ നിന്നോ അല്ലെങ്കിൽ ഒരു ഔദ്യോഗിക API-ൽ നിന്നോ വരണം. മറ്റെല്ലാ കാര്യങ്ങളും INFERENCE ആയി കണക്കാക്കപ്പെടും.

ഈ പൈപ്പ്‌ലൈൻ (pipeline) ഉപയോഗിക്കുക:

  1. PLAN: ചോദ്യങ്ങളെ സബ്-ക്വറികളായി (sub-queries) മാറ്റുക.
  2. HARVEST: വിവിധ വഴികളിലൂടെ വിവരങ്ങൾ ശേഖരിക്കുക.
  3. NORMALIZE: ഘടനാപരമായ അവകാശവാദങ്ങൾ വേർതിരിച്ചെടുക്കാൻ LLM ഉപയോഗിക്കുക. LLM ഉപയോഗിക്കുന്ന ഏക ഘട്ടം ഇതാണ്.
  4. CORROBORATE: അവകാശവാദങ്ങളെ ഗ്രൂപ്പ് ചെയ്യുകയും സ്വതന്ത്ര സ്രോതസ്സുകളുടെ എണ്ണം കണക്കാക്കുകയും ചെയ്യുക.
  5. SCORE: ലേബലുകൾ നൽകാൻ നിയമങ്ങൾ പ്രയോഗിക്കുക.
  6. RENDER: വസ്തുതകൾ, നിഗമനങ്ങൾ, വിട്ടുപോയ വിവരങ്ങൾ എന്നിവ കാണിക്കുക.

സ്വതന്ത്രമായ സ്രോതസ്സുകൾ എന്നത് വളരെ പ്രധാനമാണ്. ഒരു ബ്ലോഗ് മറ്റൊരു ബ്ലോഗിനെ ഉദ്ധരിക്കുന്നത് രണ്ട് സ്രോതസ്സുകളായി കണക്കാക്കാനാവില്ല. ഒരു വസ്തുത സ്ഥിരീകരിക്കാൻ നിങ്ങൾക്ക് വ്യത്യസ്ത ഡൊമെയ്‌നുകളോ (domains) അല്ലെങ്കിൽ ഒരു ഔദ്യോഗിക API-യോ ആവശ്യമാണ്.

വിശ്വസനീയമായ ഒരു ഏജന്റിനായി ഈ നിയമങ്ങൾ പാലിക്കുക:

  • escalation ഉപയോഗിക്കുക: ആദ്യം ഒരു വെബ് സെർച്ച് പരീക്ഷിക്കുക. ആദ്യ ഘട്ടം പരാജയപ്പെട്ടാൽ മാത്രം ഒരു ന്യൂസ് എഞ്ചിനിലേക്കോ അക്കാദമിക് സെർച്ചിലേക്കോ മാറുക.
  • freshness ട്രാക്ക് ചെയ്യുക: പഴയ വിവരങ്ങളെ stale എന്ന് അടയാളപ്പെടുത്തുക. പഴയ വസ്തുതകൾ പുതിയതാണെന്ന് വരുത്തിത്തീർക്കാൻ അനുവദിക്കരുത്.
  • വിട്ടുപോയ വിവരങ്ങൾ (gaps) വെളിപ്പെടുത്തുക: നിങ്ങൾക്ക് കണ്ടെത്താൻ കഴിയാത്ത കാര്യങ്ങൾ പട്ടികപ്പെടുത്തുക. വിവരങ്ങൾ ലഭിക്കാതെ വരുന്നത് ഒരു പരാജയമാണ്.
  • reproducibility ഉറപ്പാക്കുക: ഒരേ ചോദ്യത്തിന് എല്ലാ തവണയും ഒരേ ലേബലുകൾ തന്നെ ലഭിക്കണം. ലേബലുകൾ മാറുന്നുണ്ടെങ്കിൽ, ഒരു LLM ആണ് വിവരങ്ങൾക്ക് സ്കോർ നൽകുന്നത് എന്നാണ് അർത്ഥം. ആ LLM കോൾ ഒരു ഫങ്ക്ഷൻ (function) ഉപയോഗിച്ച് മാറ്റുക.

ഈ രീതി മോഡലിന് ഏറ്റവും നന്നായി ചെയ്യാൻ കഴിയുന്ന കാര്യം ചെയ്യാൻ അനുവദിക്കുന്നു: വായിക്കുക, വേർതിരിച്ചെടുക്കുക. എന്താണ് സത്യം എന്ന് തീരുമാനിക്കുന്നതിൽ നിന്ന് ഇത് മോഡലിനെ തടയുന്നു.

Source: https://dev.to/hexisteme/how-to-make-an-ai-research-agent-label-facts-vs-inferences-a-deterministic-provenance-pipeline-5dfn

Optional learning community: https://t.me/GyaanSetuAi