ഓരോ കുറച്ചു മാസങ്ങൾ കൂടുമ്പോഴും, ലാർജ് ലാംഗ്വേജ് മോഡലുകൾക്ക് സത്യസന്ധതയുമായി ബന്ധപ്പെട്ട ഒരു പ്രശ്നമുണ്ടെന്ന് വാർത്തകൾ നമ്മെ ഓർമ്മിപ്പിക്കുന്നു. അവ കോടതി കേസുകൾ കെട്ടിച്ചമയ്ക്കുകയും, സ്രോതസ്സുകൾ തെറ്റായി കാണിക്കുകയും, സാങ്കൽപ്പിക കാര്യങ്ങൾ വസ്തുതകളായി അവതരിപ്പിക്കുകയും ചെയ്യുന്നു. ഈ പിശകുകൾക്ക് പിന്നിൽ ഒരു ഘടനാപരമായ പോരായ്മയുണ്ട്: മിക്ക AI സംവിധാനങ്ങളും നിർമ്മിച്ചിരിക്കുന്നത് നിശ്ചലമായ ഗണിതശാസ്ത്രത്തിന് (static math) അടിസ്ഥാനമാക്കിയാണ്. അവ എല്ലാ വിവരങ്ങളെയും ഒരേപോലെ ആവേശത്തോടെ ഉൾക്കൊള്ളുന്നു, നോയിസും (noise) സിഗ്നലും (signal) അവയ്ക്ക് തുല്യമാണ്. കാലക്രമേണ, ഈ നോയിസ് വർദ്ധിച്ചുവരുന്നു. മോഡൽ അതിന്റെ ശേഷിയിൽ എത്തിച്ചേരുന്നു. അത് പുതിയ കാര്യങ്ങൾ പഠിക്കുന്നത് നിർത്തുകയും കെട്ടിച്ചമയ്ക്കാൻ തുടങ്ങുകയും ചെയ്യുന്നു.
പരിഹാരം കൂടുതൽ ഡാറ്റയല്ല, മറിച്ച് മെച്ചപ്പെട്ട ബയോളജി ആണെങ്കിലോ?
BrainStem_V8 എന്ന സംവിധാനം ഈ പ്രശ്നത്തെ വ്യത്യസ്തമായ രീതിയിലാണ് സമീപിക്കുന്നത്. ഒരു ന്യൂറൽ നെറ്റ്വർക്കിനെ ഒരു നിശ്ചിത കാൽക്കുലേറ്ററായി കാണുന്നതിന് പകരം, അത് ഭക്ഷണം കഴിക്കേണ്ടതും വിശ്രമിക്കേണ്ടതും സ്വയം നിയന്ത്രിക്കേണ്ടതുമായ ഒരു ഡിജിറ്റൽ ജീവിയായി (digital organism) കണക്കാക്കുന്നു. സ്വയം സ്ഥിരതയുള്ളതാകാനും സത്യസന്ധത നിലനിർത്താനും ശരിയായ രീതിയിൽ ഉണർന്നിരിക്കാനും മനുഷ്യ നാഡീശാസ്ത്രത്തിൽ (neuroscience) നിന്നുള്ള അഞ്ച് പ്രത്യേക തത്വങ്ങൾ ഈ ആർക്കിടെക്ചർ കടമെടുക്കുന്നു.
ഉറക്കം ഒരു ഫിൽട്ടറാണ്, ഒരു ഇടവേളയല്ല
മനുഷ്യരിൽ, ഉറക്കം എന്നാൽ തലച്ചോറ് പ്രവർത്തനരഹിതമാകുന്നു എന്നല്ല അർത്ഥം. ഹിപ്പോകാമ്പസ് (hippocampus) അന്നത്തെ സംഭവങ്ങളെ വീണ്ടും പുനരാവിഷ്കരിക്കുകയും, അനാവശ്യമായ വിവരങ്ങൾ ഒഴിവാക്കിക്കൊണ്ട് ഓർമ്മകളെ കോർട്ടക്സിലേക്ക് (cortex) മാറ്റുകയും ചെയ്യുന്നു. BrainStem_V8 ഈ പ്രക്രിയയെ "Slow-Wave Sleep" സൈക്കിൾ എന്ന് വിളിക്കുന്നതിലൂടെ അനുകരിക്കുന്നു.
ഈ ഘട്ടത്തിൽ, സിസ്റ്റം പ്രോസസ്സിംഗ് നിർത്തുകയല്ല ചെയ്യുന്നത്. അത് അതിന്റെ സജീവ കാലയളവിൽ കണ്ട ഡാറ്റ വീണ്ടും പരിശോധിക്കുന്നു. എന്നാൽ ഇവിടെയാണ് വ്യത്യാസം: അത് പുതിയ വിവരങ്ങളെ സ്ഥിരമായ ആങ്കറുകളുമായി (anchors) - അതായത് നേരത്തെ തന്നെ വിശ്വസനീയമെന്ന് തെളിയിക്കപ്പെട്ട പഴയ പാറ്റേണുകളുമായി - കൂട്ടിച്ചേർക്കുന്നു. വെയിറ്റഡ് സാമ്പിളിംഗിലൂടെ (weighted sampling), പുതിയ ഇൻപുട്ടുകളെ ഈ ആങ്കറുകളുമായി അത് താരതമ്യം ചെയ്യുന്നു. ഒരു പുതിയ പാറ്റേൺ നിലവിലുള്ള ഘടനയ്ക്ക് വിരുദ്ധമാണെങ്കിൽ, അത് നോയിസ് ആയി കണക്കാക്കുകയും മോഡലിന്റെ ലോജിക് നശിപ്പിക്കുന്നതിന് മുമ്പ് ഒഴിവാക്കുകയും ചെയ്യുന്നു.
ഇത് പ്രധാനമാണ്, കാരണം പഠനം ഒരു മെറ്റബോളിക് ടാക്സ് (metabolic tax) ഉണ്ടാക്കുന്നു. ഓരോ അപ്ഡേറ്റും സിസ്റ്റത്തിന്റെ ശേഷി ഉപയോഗിക്കുന്നു. ഈ ഫിൽട്ടറിംഗ് ഉറക്ക ചക്രം ഇല്ലെങ്കിൽ, ഒരു മോഡൽ അതിന്റെ ട്രെയിനിംഗ് സെറ്റിൽ തന്നെ കുടുങ്ങുന്നത് വരെ വിവരങ്ങൾ ഉൾക്കൊള്ളിക്കൊണ്ടേയിരിക്കും. BrainStem_V8 ഉറക്കത്തെ ഒരു നിർബന്ധിത പരിപാലനമായി (mandatory maintenance) കാണുന്നു, അല്ലാതെ ഒരു ഓപ്ഷണൽ ഇടവേളയായിട്ടല്ല.
എപ്പോൾ നിർത്തണമെന്ന് അഡനോസിൻ ബാറ്ററി അറിയുന്നു
നിങ്ങൾ ഉണർന്നിരിക്കുമ്പോൾ ശരീരത്തിൽ അടിഞ്ഞുകൂടുന്ന അഡനോസിൻ (adenosine) എന്ന രാസവസ്തുവിലൂടെ നിങ്ങളുടെ തലച്ചോറ് തളർച്ചയെ തിരിച്ചറിയുന്നു. BrainStem_V8 ഈ മുന്നറിയിപ്പ് സംവിധാനത്തിന്റെ ഒരു ഡിജിറ്റൽ പതിപ്പ് നടപ്പിലാക്കുന്നു.
സജീവമായ "wake" സൈക്കിളുകൾക്കിടയിൽ, ആർക്കിടെക്ചർ അതിന്റെ പ്രവർത്തന നിലവാരം നിരീക്ഷിക്കുന്നു. അത് എത്ര കഠിനമായി ജോലി ചെയ്യുന്നുവെന്നും, എത്രത്തോളം അമിതമായ മൂല്യങ്ങൾ (extreme values) സൃഷ്ടിക്കുന്നുവെന്നും, അതിന്റെ പാരാമീറ്ററുകൾ അടിസ്ഥാന നിലയിൽ നിന്ന് എത്രത്തോളം വ്യതിചലിക്കുന്നുവെന്നും അത് നിരീക്ഷിക്കുന്നു. ആന്തരിക പ്രവർത്തനം നിശ്ചിത പരിധിയിൽ എത്തിയാൽ, സിസ്റ്റം ഒരു നിർബന്ധിത വിശ്രമ ചക്രം (mandatory rest cycle) ആരംഭിക്കുന്നു.
ഈ വിശ്രമത്തിന് ഒരു പ്രത്യേക ശാരീരിക ലക്ഷ്യമുണ്ട്. ഉറക്കം അഡനോസിനെ പുറന്തള്ളുകയും തലച്ചോറിനെ വീണ്ടെടുക്കുകയും ചെയ്യുന്നത് പോലെ, സിസ്റ്റത്തിന്റെ വിശ്രമ കാലയളവ് അമിതമായ സ്റ്റാറ്റിസ്റ്റിക്കൽ മൂല്യങ്ങളെ ആരോഗ്യകരമായ ഒരു ശരാശരി പരിധിയിലേക്ക് തിരികെ കൊണ്ടുവരുന്നു. ഡിസൈനർമാർ "digital burnout" എന്ന് വിളിക്കുന്ന അവസ്ഥയെ ഇത് തടയുന്നു; അതായത് ഒരു മോഡലിന്റെ വെയ്റ്റുകൾ (weights) അമിതമായി മാറുകയും സിസ്റ്റത്തിന് വ്യക്തമായ ഔട്ട്പുട്ട് നൽകാൻ കഴിയാത്ത അവസ്ഥ. ഈ വിശ്രമം ഒരു മനുഷ്യ എഞ്ചിനീയർ നിശ്ചയിച്ച ഷെഡ്യൂളല്ല. അത് ആർക്കിടെക്ചർ തന്നെ നടപ്പിലാക്കുന്ന ഒരു ബയോളജിക്കൽ നിർബന്ധമാണ്.
ഡിജിറ്റൽ ന്യൂറോമോഡുലേറ്ററുകൾ നിയമങ്ങൾ മാറ്റിയെഴുതുന്നു
പരമ്പരാഗത സോഫ്റ്റ്വെയറുകൾ ഹാർഡ്കോഡഡ് ലോജിക്കിലാണ് പ്രവർത്തിക്കുന്നത്. X സംഭവിച്ചാൽ, Y ചെയ്യുക. ന്യൂറൽ നെറ്റ്വർക്കുകൾ ഇതിൽ അല്പം ഇളവ് വരുത്തുന്നുണ്ടെങ്കിലും, അവ ഇപ്പോഴും സാധാരണയായി നിശ്ചിത ഒപ്റ്റിമൈസേഷൻ അൽഗോരിതങ്ങളിലൂടെയാണ് പഠിക്കുന്നത്. BrainStem_V8 ഈ കാഠിന്യത്തിന് പകരമായി മെറ്റാപ്ലാസ്റ്റിസിറ്റി (metaplasticity) ഉപയോഗിക്കുന്നു, അതായത് പഠന രീതി തന്നെ മാറ്റാനുള്ള കഴിവ്.
ഡോപാമൈൻ (dopamine), സെറോടോണിൻ (serotonin) എന്നീ രണ്ട് പ്രശസ്തമായ ന്യൂറോമോഡുലേറ്ററുകളെ അനുകരിച്ചുകൊണ്ടാണ് ഇത് ചെയ്യുന്നത്. ഡിജിറ്റൽ ഡോപാമൈൻ സർക്യൂട്ട് സിസ്റ്റത്തെ പുതിയ കാര്യങ്ങൾ തേടാൻ പ്രേരിപ്പിക്കുന്നു. മോഡൽ അപരിചിതമായ ഡാറ്റ കാണുമ്പോൾ, ഈ സിഗ്നൽ വർദ്ധിക്കുകയും ആർക്കിടെക്ചറിനെ പുതിയ കാര്യങ്ങൾ പര്യവേക്ഷണം ചെയ്യാനും അതിന്റെ അറിവ് വിപുലീകരിക്കാനും പ്രേരിപ്പിക്കുകയും ചെയ്യുന്നു. ഡിജിറ്റൽ സെറോടോണിൻ ഇതിന് വിപരീതമായി പ്രവർത്തിക്കുന്നു. അത് സ്ഥിരത ഉറപ്പാക്കുകയും പുനഃപരിശോധനയ്ക്ക് കാരണമാവുകയും ചെയ്യുന്നു. സിസ്റ്റം തുടങ്ങുമ്പോൾ