ഗവേഷകർ ReBA routing അവതരിപ്പിച്ചു, ഇത് ഒരു ജിയോമെട്രി ഗൈഡഡ് ടോക്കൺ-റൂട്ടിംഗ് സ്കീമാണ്. മൾട്ടിമോഡൽ മിക്സ്ചർ-ഓഫ്-എക്സ്പെർട്ട്സ് (MoE) മോഡലുകളിൽ വിഷ്വൽ, ടെക്സ്റ്റൽ ടോക്കണുകൾ സന്തുലിതമായി നിലനിർത്താൻ ഇത് സഹായിക്കുന്നു. ഇമേജ് റെസല്യൂഷൻ വർദ്ധിപ്പിക്കുമ്പോൾ ട്രെയിനിംഗ് സ്ഥിരതയുള്ളതാക്കാൻ ഈ രീതി സഹായിക്കുമെന്ന് ആദ്യകാല പരീക്ഷണങ്ങൾ കാണിച്ചു, സാധാരണ റൂട്ടറുകൾ പരാജയപ്പെടുന്ന സാഹചര്യമാണിത്.

വിഷൻ-ലാംഗ്വേജ് മോഡലുകൾക്ക് എന്തുകൊണ്ട് ഒരു പുതിയ റൂട്ടർ ആവശ്യമാണ്

വിഷൻ-ലാംഗ്വേജ് മോഡലുകൾ രണ്ട് വ്യത്യസ്ത സ്രോതസ്സുകളാണ് സ്വീകരിക്കുന്നത്: നൂറുകണക്കിന് ഇമേജ് പാച്ചുകളും (image patches) ഏതാനും വാക്കുകളും (word tokens). സാധാരണ MoE റൂട്ടറുകൾ എല്ലാ ടോക്കണുകളെയും ഒരേതരം ഡാറ്റയായി പരിഗണിക്കുന്നു, അതിനാൽ ഇമേജ് പാച്ചുകൾ കുറച്ച് എക്സ്പെർട്ടുകളിൽ മാത്രം കുമിഞ്ഞുകൂടുകയും ടെക്സ്റ്റ് ടോക്കണുകൾ ഉപയോഗിക്കപ്പെടാതെ ഇരിക്കുകയും ചെയ്യുന്നു. നിലവിലുള്ള രീതികൾ ഓരോ എക്സ്പെർട്ടിനും നൽകുന്ന ടോക്കണുകളുടെ ആകെ എണ്ണം തുല്യമാക്കുന്ന ഒരു ഓക്സിലറി ലോസ് (auxiliary loss) ഉപയോഗിച്ച് ഈ പ്രശ്നം പരിഹരിക്കാൻ ശ്രമിക്കുന്നു. എന്നാൽ വലിയ അളവിലുള്ള ഇമേജ് ലോഡ് ചെറിയ ടെക്സ്റ്റ് ലോഡിനെ മറച്ചുവെക്കുന്നതിനാൽ, പ്രകടനം മോശമാകുന്നതുവരെ യഥാർത്ഥ അസന്തുലിതാവസ്ഥ തിരിച്ചറിയാൻ കഴിയില്ല.

ReBA റൂട്ടിംഗ് രീതിയെ എങ്ങനെ മാറ്റുന്നു

റൂട്ടിംഗ് പ്രക്രിയയിൽ ReBA ഒരു modality boundary ചേർക്കുന്നു. പാച്ചുകളും വാക്കുകളും കലർന്ന ഒരു സിംഗിൾ പൂളിന് പകരം, ഇമേജ് ടോക്കണുകളുടെ ജിയോമെട്രിക് ലേഔട്ടിനെ മാനിക്കുന്ന പ്രത്യേക പാതകൾ ഇത് നിർമ്മിക്കുന്നു. ഓരോ ഇമേജ് ഇൻസ്റ്റൻസിനും തുല്യമായ വെയിറ്റ് ലഭിക്കുന്നതിനാൽ, ഏതെങ്കിലും ഒരു എക്സ്പെർട്ട് ബോട്ടിൽനെക്ക് (bottleneck) ആകുന്നത് തടയുന്നു. പാച്ചുകളുടെ സ്പേഷ്യൽ അറേഞ്ച്‌മെന്റ് (spatial arrangement) ഉപയോഗിച്ച് പ്രവർത്തിക്കുന്നതിനാൽ, ഇൻപുട്ട് റെസല്യൂഷൻ മാറിയാലും സിസ്റ്റം സ്ഥിരത നിലനിർത്തുന്നു.

രചയിതാക്കൾ റിപ്പോർട്ട് ചെയ്ത പ്രധാന നേട്ടങ്ങൾ:

  • വിഷ്വൽ, ലിംഗ്വിസ്റ്റിക് ടോക്കണുകൾക്കിടയിൽ വ്യക്തമായ വേർതിരിവ് ഉറപ്പാക്കുന്നു.
  • ഒരു ബാച്ചിലെ ഓരോ ഇമേജിൽ നിന്നും തുല്യമായ സംഭാവന ഉറപ്പാക്കുന്നു.
  • ഒരു മോഡാലിറ്റി മാത്രം എക്സ്പെർട്ടുകളെ അമിതമായി ബാധിക്കുന്നത് തടയുന്നു.
  • ഇമേജ് പാച്ചുകളുടെ എണ്ണം കൂടുമ്പോഴും സന്തുലിതാവസ്ഥ നിലനിർത്തുന്നു.

വിവിധ ബെഞ്ച്മാർക്ക് സെറ്റിംഗുകളിൽ, ഒരു ബാച്ചിലേക്ക് എത്ര പാച്ചുകൾ ചേർത്താലും എക്സ്പെർട്ട് പൂൾ തുല്യമായി ഉപയോഗിക്കപ്പെടുന്നുവെന്ന് ReBA തെളിയിച്ചു, ഇത് പരമ്പരാഗത ഓക്സിലറി-ലോസ് രീതിയെക്കാൾ മികച്ചതാണ്.

പരിമിതികളും തുറന്ന ചോദ്യങ്ങളും

വേഗതയെക്കുറിച്ചോ മെമ്മറി ഉപയോഗത്തെക്കുറിച്ചോ ഉള്ള കണക്കുകൾ ഈ പഠനം നൽകുന്നില്ല, അതിനാൽ അധിക റൂട്ടിംഗ് ലോജിക് മറഞ്ഞിരിക്കുന്ന ചിലവുകൾ ഉണ്ടാക്കുന്നുണ്ടോ എന്ന് നമുക്കറിയില്ല. കൂടാതെ, ഒരു ഇമേജിലെ എല്ലാ പാച്ചുകളും ഒരു യൂണിറ്റായി പ്രവർത്തിക്കുന്നു എന്ന് രചയിതാക്കൾ അനുമാനിക്കുന്നു; വ്യത്യസ്ത റെസല്യൂഷനുള്ള ഇമേജുകൾ കലർന്ന ബാച്ചുകളിലോ ഭാഗികമായി മാസ്ക് ചെയ്ത ഭാഗങ്ങളുള്ള ബാച്ചുകളിലോ ഈ അനുമാനം തെറ്റായേക്കാം.

ഇനി ശ്രദ്ധിക്കേണ്ട കാര്യങ്ങൾ

  • Performance-vs-efficiency trade-offs: ReBA വരുത്തുന്ന അധിക ലോഡ് (overhead) എത്രയാണെന്ന് ഭാവി പഠനങ്ങളിൽ അളക്കേണ്ടതുണ്ട്.
  • Mixed-batch behavior: ഹൈ-റെസല്യൂഷനും ലോ-റെസല്യൂഷനും ഉള്ള ഇമേജുകൾ ചേർന്ന ബാച്ചുകളിൽ പരിശോധിക്കുന്നത് മോഡാലിറ്റി ബൗണ്ടറി എത്രത്തോളം ഫലപ്രദമാണെന്ന് വ്യക്തമാക്കും.
  • Adoption in large-scale pipelines: റൂട്ടിംഗ് സ്ഥിരത ഇമേജ് ക്യാപ്ഷനിംഗ് അല്ലെങ്കിൽ വിഷ്വൽ ക്വസ്റ്റ്യൻ ആൻ്ററിംഗ് പോലുള്ള ഡൗൺസ്ട്രീം ടാസ്ക്കുകളിൽ മികച്ച ഫലം നൽകുന്നുണ്ടെങ്കിൽ, ഡെവലപ്പർമാർ സാധാരണ ഓക്സിലറി ലോസിന് പകരം ReBA ഉപയോഗിച്ചേക്കാം.

നിങ്ങൾ ഒരു വിഷൻ-ലാംഗ്വേജ് MoE പൈപ്പ്‌ലൈൻ നിർമ്മിക്കുകയാണെങ്കിൽ, ഇമേജ് റെസല്യൂഷൻ വർദ്ധിപ്പിക്കുമ്പോൾ ഡിഫോൾട്ട് റൂട്ടറിന് പകരം ReBA ഉപയോഗിക്കുന്നത് എക്സ്പെർട്ടുകളുടെ ഉപയോഗം കൂടുതൽ സന്തുലിതമാക്കാൻ സഹായിക്കും. മാറ്റത്തിന് ശേഷം ടോക്കൺ-ഡിസ്ട്രിബ്യൂഷൻ മെട്രിക്സുകൾ ശ്രദ്ധിക്കുക; ഒരു ഫ്ലാറ്റ് ഡിസ്ട്രിബ്യൂഷൻ (flatter distribution) മോഡാലിറ്റി ബൗണ്ടറി ശരിയായി പ്രവർത്തിക്കുന്നു എന്നതിന്റെ സൂചനയാണ്.