ഞങ്ങൾ മോഡലുകളെ വിശ്വസിക്കുന്നത് നിർത്തി. പിന്നീട് ഞങ്ങളുടെ സ്വന്തം കണക്കുകളെയും വിശ്വസിക്കുന്നത് നിർത്തി.
മികച്ച AI മോഡലുകൾക്ക് പിന്നാലെ പായുന്നത് ഞാൻ നിർത്തി. കൂടുതൽ കരുത്തുറ്റ ഒരു മോഡൽ എന്റെ സിസ്റ്റത്തിന്റെ പ്രശ്നങ്ങൾ പരിഹരിക്കുമെന്ന് ഞാൻ കരുതി. പക്ഷേ അത് നടന്നില്ല. പ്രശ്നം മോഡലിലായിരുന്നില്ല, മറിച്ച് സിസ്റ്റത്തിലായിരുന്നു.
പിന്നീട് അതിലും മോശമായ ഒരു കാര്യം ഞാൻ തിരിച്ചറിഞ്ഞു. എന്റെ സ്വന്തം അളവുകളെയും (measurements) എനിക്ക് വിശ്വസിക്കാൻ കഴിയുന്നില്ലായിരുന്നു.
ഞാൻ മൂന്ന് വ്യത്യസ്ത പരാജയങ്ങൾ കണ്ടു:
- തെറ്റായ എൻവയോൺമെന്റ് (environment) അളക്കുമ്പോഴും വിജയിച്ചു കാണിച്ച ഒരു ടെസ്റ്റ് സ്യൂട്ട് (test suite).
- ജോലികൾ തടഞ്ഞുവെച്ചെങ്കിലും തെറ്റായ സ്റ്റാറ്റിസ്റ്റിക്സ് (statistics) നൽകിയ ഒരു ഗേറ്റ് (gate).
- തെറ്റായ എണ്ണം റിപ്പോർട്ട് ചെയ്ത ഒരു ഏജന്റ് (agent).
സൂക്ഷ്മമായി പരിശോധിക്കുന്നത് വരെ ഓരോ പരാജയവും വിജയമായിട്ടാണ് തോന്നിയത്. എന്റെ വെരിഫിക്കേഷൻ ടൂളുകൾ എന്നെ കബളിപ്പിക്കുകയായിരുന്നു.
എല്ലാ അനിശ്ചിതത്വങ്ങളെയും (uncertainty) നിരോധിക്കുക എന്നതായിരുന്നു എന്റെ ആദ്യത്തെ ചിന്ത. ഓരോ പ്രോബബിലിസ്റ്റിക് ഘടകങ്ങളെയും (probabilistic element) ഒഴിവാക്കാൻ ഞാൻ ആഗ്രഹിച്ചു. എല്ലാം ഡെറ്റർമിനിസ്റ്റിക് (deterministic) ആകണമെന്ന് ഞാൻ ആഗ്രഹിച്ചു.
അത് ഒരു തെറ്റായിരുന്നു.
നിങ്ങൾ എല്ലാ അനിശ്ചിതത്വങ്ങളും നീക്കം ചെയ്താൽ, AI-യുടെ മൂല്യവും ഇല്ലാതാകും. ആശയങ്ങൾ നിർദ്ദേശിക്കാനും പരിഹാരങ്ങൾ പര്യവേക്ഷണം ചെയ്യാനുമാണ് AI രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്. കർക്കശമായ നിയമങ്ങളിൽ നിന്ന് നിങ്ങൾക്ക് അത് ലഭിക്കില്ല.
അനിശ്ചിതത്വത്തെ നിരോധിക്കുക എന്നതല്ല പരിഹാരം. അതിനെ ശരിയായ രീതിയിൽ സ്ഥാനപ്പെടുത്തുക എന്നതാണ് പരിഹാരം.
ഒരു സിസ്റ്റത്തിന് രണ്ട് വ്യത്യസ്ത സ്ഥാനങ്ങൾ ആവശ്യമാണ്:
നിർദ്ദേശിക്കുന്ന സ്ഥാനം (The Proposing Seat) ഈ സ്ഥാനം കാര്യങ്ങൾ പര്യവേക്ഷണം ചെയ്യുകയും നിർദ്ദേശിക്കുകയും ചെയ്യുന്നു. ഇതിന് നോൺ-ഡെറ്റർമിനിസം (nondeterminism) ആവശ്യമാണ്. ഒരു മോഡൽ തെറ്റായ ഒരു പരിഹാരം നിർദ്ദേശിച്ചാൽ പോലും അതിന്റെ ആഘാതം കുറവായിരിക്കും, കാരണം അത് ഇതുവരെ ഒന്നും തീരുമാനിച്ചിട്ടില്ല.
വിധിനിർണ്ണയ സ്ഥാനം (The Judging Seat) ഒരു ടെസ്റ്റ് വിജയിച്ചോ അല്ലെങ്കിൽ ഒരു നിയമം പാലിക്കപ്പെട്ടോ എന്ന് ഈ സ്ഥാനം തീരുമാനിക്കുന്നു. ഈ സ്ഥാനം ഡെറ്റർമിനിസ്റ്റിക് (deterministic) ആയിരിക്കണം. ഇത് പുനരാവർത്തിക്കാനും (reproducible) പരിശോധിക്കാനും (checkable) കഴിയുന്നതാകണം.
എന്റെ സിസ്റ്റത്തിലെ പരാജയങ്ങൾ സംഭവിച്ചത് ഞാൻ വിധിനിർണ്ണയ സ്ഥാനത്ത് (judging seat) തെറ്റായ കാര്യങ്ങൾ പ്രതിഷ്ഠിച്ചതുകൊണ്ടാണ്. അനിശ്ചിതത്വമുള്ള പ്രക്രിയകളെ (uncertain processes) അന്തിമ തീരുമാനങ്ങൾ എടുക്കാൻ ഞാൻ അനുവദിച്ചു.
നിയമം ലളിതമാണ്:
- അനിശ്ചിതത്വമുള്ള ഭാഗങ്ങളെ പര്യവേക്ഷണം ചെയ്യാൻ അനുവദിക്കുക.
- ഡെറ്റർമിനിസ്റ്റിക് ഭാഗങ്ങളെ വിധിനിർണ്ണയം നടത്താൻ അനുവദിക്കുക.
മുഴുവൻ സിസ്റ്റത്തെയും നിശ്ചിതമാക്കാൻ ശ്രമിക്കരുത്. പകരം, നിങ്ങളുടെ വിധികർത്താക്കൾ (judges) കൃത്യമാണെന്ന് ഉറപ്പുവരുത്തുക. തെറ്റായ ഒരു ഡെറ്റർമിനിസ്റ്റിക് വിധികർത്താവ് ഒരു പ്രോബബിലിസ്റ്റിക് വിധികർത്താവിനേക്കാൾ അപകടകാരിയാണ്. തെറ്റായ ഒരു വിധികർത്താവ് നിരന്തരമായ ഒരു പിശക് സൃഷ്ടിക്കുന്നു, അത് കാലക്രമേണ നിങ്ങൾ ചോദ്യം ചെയ്യാൻ പോലും മറന്നുപോകുന്നു.
നിങ്ങൾക്ക് വിശ്വാസം നൽകുന്ന ഓരോ പാളിയും (layer) ആദ്യം അളക്കേണ്ടതുണ്ട്. ആ അളവ് നിങ്ങൾക്ക് നേരിട്ട് കാണാൻ കഴിയുന്ന ഡെറ്റർമിനിസ്റ്റിക് ആയ ഒന്നിൽ അധിഷ്ഠിതമായിരിക്കണം.
നിങ്ങളുടെ AI സിസ്റ്റങ്ങളിൽ നിർദ്ദേശിക്കുന്നതിനും വിധിനിർണ്ണയിക്കുന്നതിനും ഇടയിൽ നിങ്ങൾ എങ്ങനെയാണ് അതിർവരമ്പുകൾ നിശ്ചയിക്കുന്നത്? എവിടെയാണ് നിങ്ങൾ ഡെറ്റർമിനിസം (determinism) നിർബന്ധമാക്കുന്നത്?
Source: https://dev.to/josephyeo/we-stopped-trusting-models-then-we-stopped-trusting-our-own-numbers-1611
Optional learning community: https://t.me/GyaanSetuAi