ക്രോസ്-മോഡൽ നോളജ്-ഡിസ്റ്റിലേഷൻ ഫ്രെയിംവർക്ക് ഉപയോഗിച്ചതിലൂടെ ബഹുഭാഷാ തൊഴിലാളികൾക്ക് സോഫ്റ്റ്-റോബോട്ടിക്സ് പരിപാലന സമയം 34% കുറയ്ക്കാനും, ഇൻഫറൻസ് എഞ്ചിൻ 60% ചുരുക്കാനും, 45 ms-ൽ താഴെ സമയത്തിനുള്ളിൽ നിർദ്ദേശങ്ങൾ നൽകാനും സാധിച്ചു. ഫ്ലെക്സിബിൾ പോളിമറുകളും ഫ്ലൂയിഡിക് ആക്ചുവേറ്ററുകളും ഉപയോഗിച്ച് നിർമ്മിച്ച സോഫ്റ്റ്-റോബോട്ടുകൾ നിർമ്മാണം, മെഡിക്കൽ ഉപകരണങ്ങൾ, അപകടകരമായ സ്ഥലങ്ങൾ എന്നിവിടങ്ങളിൽ വ്യാപകമായി ഉപയോഗിച്ചുവരുന്നു എന്നതിനാൽ ഈ മുന്നേറ്റം വളരെ പ്രധാനമാണ്; എന്നിരുന്നാലും ഭാഷാപരമായ തടസ്സങ്ങളും വിഭജിക്കപ്പെട്ട സെൻസർ സ്ട്രീമുകളും അവയുടെ പരിപാലനത്തെ തടസ്സപ്പെടുത്തുന്നു.
എന്തുകൊണ്ടാണ് സോഫ്റ്റ്-റോബോട്ടിക്സ് പരിപാലനം ഒരു മൾട്ടിമോഡൽ പ്രശ്നമാകുന്നത്
സോഫ്റ്റ് റോബോട്ടുകൾ ലോഹ കൈകളിൽ നിന്ന് വ്യത്യസ്തമാണ്: ഇലാസ്റ്റോമറുകൾ, സിലിക്കൺ സ്കിന്നുകൾ, എംബെഡഡ് ചാനലുകൾ എന്നിവ വഴി ദ്രാവകങ്ങൾ പമ്പ് ചെയ്യപ്പെടുന്നു. ഒരു മെംബ്രേനിലെ വിള്ളലോ, ഒരു ന്യൂമാറ്റിക് ലൈനിലെ ചോർച്ചയോ, അല്ലെങ്കിൽ പമ്പിന്റെ ശബ്ദത്തിലുണ്ടാകുന്ന നേരിയ മാറ്റമോ പോലും വരാനിരിക്കുന്ന തകരാറുകളുടെ സൂചനയാകാം. ഇത്തരം ലക്ഷണങ്ങൾ തിരിച്ചറിയാൻ ഒന്നിലധികം ഡാറ്റാ സ്രോതസ്സുകൾ ആവശ്യമാണ്.
- വിഷ്വൽ (Visual) ഫീഡുകൾ ഉപരിതലത്തിലെ വൈരൂപ്യങ്ങളോ നിറവ്യത്യാസമോ കാണിക്കുന്നു.
- ടാക്റ്റൈൽ (Tactile) സെൻസറുകൾ അപ്രതീക്ഷിതമായ വഴക്കമോ തെന്നലോ റിപ്പോർട്ട് ചെയ്യുന്നു.
- അക്കോസ്റ്റിക് (Acoustic) മൈക്രോഫോണുകൾ പമ്പിന്റെ അസാധാരണമായ ഫ്രീക്വൻസികൾ പകർത്തിക്കുന്നു.
- ലിംഗ്വിസ്റ്റിക് (Linguistic) ഇൻപുട്ടുകൾ അറ്റകുറ്റപ്പണി രീതികൾ സാങ്കേതിക വിദഗ്ധന്റെ മാതൃഭാഷയിൽ നൽകുന്നു.
ഒരു സ്പാനിഷ് സംസാരിക്കുന്ന ഓപ്പറേറ്റർ സാധാരണ ഒരു ട്രാൻസ്ലേഷൻ മോഡലിൽ നിന്നുള്ള ഇംഗ്ലീഷ് നിർദ്ദേശങ്ങൾ പിന്തുടർന്നപ്പോൾ, മോഡൽ ടെക്സ്റ്റ് ശരിയായി നൽകിയെങ്കിലും വളർന്നുവരുന്ന ഒരു വിള്ളലിന്റെ വിഷ്വൽ സൂചന ശ്രദ്ധിക്കാതെ പോയി. ഇത് അറ്റകുറ്റപ്പണി വൈകാനും പ്ലാന്റ് പ്രവർത്തനം നിർത്തിവെക്കേണ്ടി വന്നതിലൂടെ സാമ്പത്തിക നഷ്ടമുണ്ടാകാനും കാരണമായി. ഈ സംഭവം മൂന്ന് പരസ്പരബന്ധിത വെല്ലുവിളികളെ വെളിപ്പെടുത്തി: അനുയോജ്യമല്ലാത്ത മോഡാലിറ്റികൾ (mismatched modalities), നേരിട്ടുള്ള വിവർത്തനത്തിന് പ്രയാസമുള്ള സാങ്കേതിക പദാവലി, കൂടാതെ റിയൽ-ടൈം ഷോപ്പ്-ഫ്ലോർ ഫീഡ്ബാക്കിന്റെ ആവശ്യകത എന്നിവയാണവ.
ക്രോസ്-മോഡൽ നോളജ് ഡിസ്റ്റിലേഷൻ എങ്ങനെ പ്രവർത്തിക്കുന്നു
ഗവേഷകർ ഒരു മോണോലിത്തിക് AI-ക്ക് പകരം ഓരോ മോഡാലിറ്റിയിലും വിദഗ്ദ്ധരായ ഒരു കൂട്ടം “ടീച്ചർ” (teacher) മോഡലുകളും, അവരുടെ അറിവുകൾ സംയോജിപ്പിക്കുന്ന ഒരു ലൈറ്റ്വെയ്റ്റ് “സ്റ്റുഡന്റ്” (student) മോഡലും ഉപയോഗിച്ചു. ഈ പൈപ്പ്ലൈനിന് മൂന്ന് ഘട്ടങ്ങളുണ്ട്:
- മോഡാലിറ്റി-സ്പെസിഫിക് ടീച്ചർമാർ (Modality-specific teachers) – വിഷൻ, ഓഡിയോ, ടെക്സ്റ്റ് കോർപ്പസുകളിൽ പരിശീലിപ്പിച്ച പ്രത്യേക ന്യൂറൽ നെറ്റ്വർക്കുകൾ. വിഷൻ ടീച്ചർ വിള്ളലുകൾ കണ്ടെത്തുന്നു, ഓഡിയോ ടീച്ചർ പമ്പിന്റെ അസാധാരണ ശബ്ദങ്ങൾ അടയാളപ്പെടുത്തുന്നു, ലാംഗ്വേജ് ടീച്ചർ സാങ്കേതിക മാനുവലുകൾ വിശകലനം ചെയ്യുന്നു.
- അലൈൻമെന്റ് മോഡ്യൂൾ (Alignment module) – വൈവിധ്യമാർന്ന ഔട്ട്പുട്ടുകളെ ഒരു പങ്കിട്ട എംബെഡിംഗ് സ്പേസിലേക്ക് (shared embedding space) പ്രൊജക്റ്റ് ചെയ്യുന്ന ഒരു ന്യൂറൽ ബ്രിഡ്ജ്. കോൺട്രാസ്റ്റിവ് ലേണിംഗ് (Contrastive learning) വഴി ഒരു വിഷ്വൽ വിള്ളലിനെ അതിന്റെ അക്കോസ്റ്റിക് സിഗ്നേച്ചറുമായി ബന്ധിപ്പിക്കാൻ സിസ്റ്റത്തെ ഇത് പ്രേരിപ്പിക്കുന്നു, അങ്ങനെ എംബെഡിംഗുകൾ ക്രോസ്-മോഡൽ സെമാന്റിക്സ് പിടിച്ചെടുക്കുന്നു.
- മൾട്ടി ലിംഗ്വൽ സ്റ്റുഡന്റ് (Multilingual student) – അലൈൻ ചെയ്ത എംബെഡിംഗുകൾ ഉപയോഗിച്ച് പിന്തുണയ്ക്കുന്ന ഏത് ഭാഷയിലും അറ്റകുറ്റപ്പണി നിർദ്ദേശങ്ങൾ നൽകുന്ന ഒരു കോംപാക്ട് മോഡൽ. “pneumatic diaphragm” അല്ലെങ്കിൽ “hydrogel actuator” പോലുള്ള പ്രത്യേക സാങ്കേതിക പദങ്ങൾക്ക് ശരിയായ വിവർത്തനങ്ങൾ നൽകാൻ ഒരു ഡൊമെയ്ൻ-സ്പെസിഫിക് നോളജ് ഗ്രാഫ് സഹായിക്കുന്നു.
ക്വാണ്ടൈസേഷൻ (Quantization)—അതായത് വെയിറ്റ് പ്രിസിഷൻ കുറയ്ക്കുന്നത്—സ്റ്റുഡന്റ് മോഡലിന്റെ വലിപ്പം 60% കുറയ്ക്കുന്നു, ഇത് കുറഞ്ഞ കമ്പ്യൂട്ടിംഗ് ശേഷിയുള്ള എഡ്ജ് ഡിവൈസുകളിൽ പോലും പ്രവർത്തിക്കാൻ സഹായിക്കുന്നു. ഇതിലൂടെ ലഭിക്കുന്ന 45 ms-ന്റെ ഇൻഫറൻസ് ലേറ്റൻസി, പമ്പിന്റെ ശബ്ദം കേൾക്കുന്നതിനോടൊപ്പം ലൈവ് ക്യാമറ ഫീഡ് കാണുന്ന ഒരു ഓപ്പറേറ്ററുടെ റിയൽ-ടൈം ആവശ്യകതകൾ നിറവേറ്റുന്നു.
പ്രകടനത്തിലുള്ള വർദ്ധനവും യഥാർത്ഥ ലോകത്തെ സ്വാധീനവും
ഒരു പങ്കാളി സ്ഥാപനത്തിൽ ഈ ഫ്രെയിംവർക്ക് പൈലറ്റ് ടെസ്റ്റ് ചെയ്തു.
- സമയ ലാഭം: വിഷ്വൽ, അക്കോസ്റ്റിക് അസാധാരണതകൾ ഒരേസമയം എടുത്തുകാണിക്കുന്ന ഭാഷാപരമായ മാർഗ്ഗനിർദ്ദേശങ്ങൾ ലഭിച്ചതിനാൽ, ബഹുഭാഷാ ടീമുകൾക്ക് പതിവ് പരിശോധനകൾ 34% വേഗത്തിൽ പൂർത്തിയാക്കാൻ കഴിഞ്ഞു.
സെൻസർ സ്ട്രീമുകളെ ഭാഷാ പ്രോസസ്സിംഗുമായി സംയോജിപ്പിക്കുന്നത് സോഫ്റ്റ്-റോബോട്ടിക്സ് പരിപാലനത്തെ പ്രതികരണാത്മക രീതിയിൽ (reactive) നിന്ന് പ്രവചന രീതിയിലേക്ക് (predictive) മാറ്റാൻ കഴിയുമെന്ന് ഈ കണക്കുകൾ കാണിക്കുന്നു.
സാധ്യമായ പോരായ്മകൾ
ഈ സമീപനം ഒരു വലിയ മോഡലിന്റെ ലാളിത്യത്തിന് പകരം ടീച്ചർമാരുടെയും അലൈൻമെന്റ് ലെയറിന്റെയും സങ്കീർണ്ണമായ ഒരു ഏകോപനം (orchestration) ആണ് ഉപയോഗിക്കുന്നത്. ഒന്നിലധികം സ്പെഷ്യലിസ്റ്റ് മോഡലുകൾ നിലനിർത്തുന്നത് ഓരോ മോഡാലിറ്റിക്കും കൂടുതൽ ട്രെയിനിംഗ് ഡാറ്റയും കൃത്യമായ വേർഷൻ കൺട്രോളും ആവശ്യപ്പെടുന്നു.
അടുത്തത് എന്ത്
ചുരുക്കത്തിൽ: ഒരു ലളിതമായ മൾട്ടി ലിംഗ്വൽ മോഡലിനെ വിഷൻ, ശബ്ദം, ടെക്സ്റ്റ് എന്നിവ ഒരേസമയം മനസ്സിലാക്കാൻ പഠിപ്പിക്കുന്നത് എഞ്ചിനീയർമാർക്ക് പരിപാലന ചക്രം (maintenance cycles) കുറയ്ക്കാനും സോഫ്റ്റ്-റോബോട്ടിക്സിന്റെ വിശ്വാസ്യത വൈവിധ്യമാർന്ന തൊഴിലാളികളിലേക്ക് എത്തിക്കാനും സഹായിക്കുന്നു. വലുതാകുന്നതിനേക്കാൾ ബുദ്ധിപരമായ AI-ക്ക് ഭാഷാപരമായ വിടവുകളും സെൻസർ സിലോകുകളും (sensor silos) റിയൽ ടൈമിൽ മറികടക്കാൻ കഴിയുമെന്ന് ഈ രീതി തെളിയിക്കുന്നു.