LLM-കളുടെ സ്രോതസ്സുകൾ യഥാർത്ഥമാണോ എന്ന് അവരോട് ചോദിക്കുന്നത് നിർത്തുക
നിങ്ങൾ ഒരു AI-യോട് സ്രോതസ്സുകളുടെ ഒരു പട്ടിക ആവശ്യപ്പെടുന്നു. അത് നിങ്ങൾക്ക് തലക്കെട്ടുകളും, എഴുത്തുകാരെയും, DOIs-ഉം നൽകുന്നു. എല്ലാം തികച്ചും കൃത്യമായി തോന്നുന്നു. എന്നാൽ അവയിൽ പകുതിയോളം നിലവിലില്ലെന്ന് നിങ്ങൾ പിന്നീട് തിരിച്ചറിയുന്നു.
ആ DOI ഒന്നിനും വഴിമാറുന്നില്ല. ആ പ്രബന്ധം (paper) ഒരിക്കലും എഴുതപ്പെട്ടിട്ടില്ല.
"ഇത് യഥാർത്ഥമാണെന്ന് നിനക്ക് ഉറപ്പാണോ?" എന്ന് ആ മോഡലിനോട് ചോദിക്കുക എന്നതാണ് നിങ്ങളുടെ സ്വാഭാവികമായ പ്രവണത. AI 'അതെ' എന്ന് പറയും. അത് എപ്പോഴും 'അതെ' എന്ന് തന്നെ പറയും. ഒരു വ്യാജരേഖ നിർമ്മിക്കുന്നയാളോട് അയാളുടെ കൃതി യഥാർത്ഥമാണോ എന്ന് ചോദിക്കുന്നത് പോലെയാണിത്.
ഒരു LLM പ്രബന്ധങ്ങളുടെ ഒരു ഡാറ്റാബേസ് ഉപയോഗിക്കുന്നില്ല. അത് ഒരു ക്രമത്തിലെ അടുത്ത വാക്ക് പ്രവചിക്കുകയാണ് ചെയ്യുന്നത്. ഒരു AI-യെ സംബന്ധിച്ചിടത്തോളം, ഒരു സൈറ്റേഷൻ (citation) എന്നത് വെറുമൊരു പാറ്റേൺ മാത്രമാണ്. ഒരു സൈറ്റേഷന് ഒരു പേരും, ഒരു വർഷവും, പത്ത് അക്കങ്ങളും വേണമെന്ന് അതിന് അറിയാം. സത്യം ഉൾക്കൊള്ളാതെ തന്നെ ഒരു യഥാർത്ഥ സ്രോതസ്സിന്റെ രൂപം അത് അനുകരിക്കുന്നു.
സ്വന്തം പ്രവൃത്തികൾ പരിശോധിക്കാൻ (verify) മോഡലിനോട് ആവശ്യപ്പെടുന്നത് നിർത്തുക. രണ്ട് കാരണങ്ങളാൽ അതിന് അത് ചെയ്യാൻ കഴിയില്ല:
- അതിന് ഒരു ലൈവ് രജിസ്ട്രിയിലേക്ക് (live registry) പ്രവേശനം ലഭ്യമല്ല. അത് കേവലം വിശ്വസനീയമെന്ന് തോന്നുന്ന ടെക്സ്റ്റ് മാത്രമേ നിർമ്മിക്കുന്നുള്ളൂ.
- താൻ നേരത്തെ പറഞ്ഞ കാര്യങ്ങൾ ശരിവെക്കാനുള്ള ഒരു പ്രവണത (bias) അതിനുണ്ട്.
വിവരങ്ങൾ പരിശോധിക്കാൻ നിങ്ങൾ ബാഹ്യമായ ടൂളുകൾ (external tools) ഉപയോഗിക്കണം. സാങ്കേതിക എഴുത്തുകൾക്കായി (technical writing) ഉപയോഗിക്കാവുന്ന മൂന്ന് ഘട്ടങ്ങളുള്ള ഒരു ഫിൽട്ടർ ഇതാ:
നിലനിൽപ്പ് (Existence). Crossref പോലുള്ള ഒരു API ഉപയോഗിച്ച് DOI പരിശോധിക്കുക. API ഒരു 404 error കാണിക്കുന്നുണ്ടെങ്കിൽ, ആ സ്രോതസ്സ് വ്യാജമാണ്. നിർമ്മിച്ചെടുത്ത ഒരു DOI ഒരിക്കലും പ്രവർത്തിക്കില്ല.
വിശ്വാസ്യത (Credibility). ഒരു സ്രോതസ്സ് നിലനിൽക്കുന്നുണ്ടെങ്കിലും അത് മൂല്യമില്ലാത്തതാകാം. ജേണലോ കോൺഫറൻസോ അംഗീകരിക്കപ്പെട്ടതാണോ എന്ന് പരിശോധിക്കുക. ഒരു സാധുവായ DOI ഗുണനിലവാരം ഉറപ്പുനൽകുന്നില്ല.
കൃത്യത (Fidelity). ആ പ്രബന്ധം നിങ്ങളുടെ വാദത്തെ ശരിക്കും പിന്തുണയ്ക്കുന്നുണ്ടോ? നിങ്ങൾ ഉള്ളടക്കം വായിക്കണം. അബ്സ്ട്രാക്റ്റ് (abstract) എല്ലാ വിശദാംശങ്ങളും ഉൾക്കൊള്ളുന്നു എന്ന് കരുതരുത്. തെറ്റായ ഒരു വാദത്തിനായി ഉപയോഗിക്കുന്ന യഥാർത്ഥ സൈറ്റേഷനും ഒരു നുണ തന്നെയാണ്.
ഇത് അക്കാദമിക് പ്രബന്ധങ്ങൾക്ക് മാത്രമല്ല ബാധകമാകുന്നത്. ഒരു AI ഒരു JIRA ticket, ഒരു CVE നമ്പർ, അല്ലെങ്കിൽ ഒരു code commit എന്നിവ സൈറ്റേറ്റ് ചെയ്യുന്നുണ്ടെങ്കിൽ, നിങ്ങൾ അത് യഥാർത്ഥ സിസ്റ്റവുമായി ഒത്തുനോക്കി പരിശോധിക്കണം.
AI ആർക്കിടെക്ചറിലെ ഏറ്റവും വലിയ തെറ്റ് മോഡൽ സ്വയം പരിശോധിക്കുമെന്ന് വിശ്വസിക്കുന്നതാണ്. പരിശോധന (Verification) എന്നത് ഒരു പ്രത്യേക ഘട്ടമായിരിക്കണം. ഉപയോക്താവ് ഫലം കാണുന്നതിന് മുമ്പ് അത് ഒരു ബാഹ്യ സ്രോതസ്സുമായി (external source of truth) ബന്ധിപ്പിക്കേണ്ടതുണ്ട്.
മോഡലുകളെ കൂടുതൽ സത്യസന്ധമാക്കാൻ ശ്രമിക്കരുത്. അവ ടെക്സ്റ്റ് ജനറേറ്ററുകളാണ്, അവ എപ്പോഴും ഹാലൂസിനേഷൻ (hallucinate) നടത്തും. പകരം, അവ പറയുന്നത് കണ്ണടച്ച് വിശ്വസിക്കുന്നത് നിർത്തുക.
ഒരു രജിസ്ട്രിയിലൂടെ നിങ്ങൾക്ക് പരിശോധിക്കാൻ കഴിയാത്ത ഒരു സൈറ്റേഷൻ ഒരു സൈറ്റേഷനല്ല. അത് ലാബ് കോട്ട് ധരിച്ച ഒരു ഊഹം മാത്രമാണ്.
Source: https://dev.to/ohugonnot/stop-asking-the-llm-whether-its-source-is-real-2oaa
Optional learning community: https://t.me/GyaanSetuAi