New Method Cuts Training Costs to Zero for Precise Facial Edits in Diffusion Models

Title: Latent Identity Tuning മുഖഭാവങ്ങളിൽ കൃത്യതയാർന്ന മാറ്റങ്ങൾ വരുത്താൻ സഹായിക്കുന്നു

ഗവേഷകർ 'Latent-Identity Tuning' എന്ന പുതിയ സാങ്കേതികവിദ്യ അവതരിപ്പിച്ചു. ടെക്സ്റ്റ്-ടു-ഇമേജ് ജനറേറ്ററുകളിൽ (text-to-image generators) വ്യക്തിയുടെ സ്വത്വം (identity) മാറ്റമില്ലാതെ നിലനിർത്തിക്കൊണ്ട് തന്നെ മുഖഭാവങ്ങളിൽ മാറ്റം വരുത്താൻ ഇത് ഡെവലപ്പർമാരെ സഹായിക്കുന്നു, കൂടാതെ ഇതിന് പ്രത്യേക പരിശീലനം (extra training) ആവശ്യമില്ല.

ഭൂരിഭാഗം ഡിഫ്യൂഷൻ അധിഷ്ഠിത ടെക്സ്റ്റ്-ടു-ഇമേജ് മോഡലുകളും (diffusion-based text-to-image models) ചെറിയ മാറ്റങ്ങൾ വരുത്താൻ ആവശ്യപ്പെടുമ്പോൾ—ഉദാഹരണത്തിന് പുരികത്തിന്റെ ആകൃതി മാറ്റുക, മൂക്കിന്റെ സ്ഥാനം മാറ്റുക, അല്ലെങ്കിൽ കണ്ണിന്റെ നിറം മാറ്റുക—ആ വ്യക്തിയുടെ രൂപം മങ്ങുകയോ മാറുന്നതോ ആണ് സംഭവിക്കുന്നത്. മുഖത്തെ ഒരു സാന്ദ്രമായ ലേറ്റന്റ് വേരിയബിൾസ് (latent variables) സെറ്റായി ഈ മോഡലുകൾ എൻകോഡ് ചെയ്യുന്ന രീതിയാണ് ഇതിന് കാരണം; അവയിൽ ഏതെങ്കിലും ഒന്നിന് ചെറിയൊരു മാറ്റം വരുത്തിയാൽ പോലും അത് മുഴുവൻ ചിത്രത്തെയും ബാധിക്കുകയും വ്യക്തിയുടെ സ്വത്വം നഷ്ടപ്പെടുത്തുകയും ചെയ്യുന്നു.

നിലവിലുള്ള ഒരു മോഡലിലെ ഫ്രോസൺ എൻകോഡർ (frozen encoder) ഉപയോഗിച്ചും, മുഖത്തിന്റെ പ്രത്യേക സവിശേഷതകളുമായി ബന്ധപ്പെട്ട ദിശകൾക്കായി അതിന്റെ ലേറ്റന്റ് സ്പേസ് (latent space) പരിശോധിച്ചും LIT ഈ പ്രശ്നം പരിഹരിക്കുന്നു. മുഴുവൻ നെറ്റ്‌വർക്കും വീണ്ടും പരിശീലിപ്പിക്കുന്നതിനോ പുതിയ ഡാറ്റ നൽകുന്നതിനോ പകരം, മുഖത്തിന്റെ ഓരോ ഭാഗവും നിയന്ത്രിക്കുന്ന പ്രത്യേക ലേറ്റന്റ് ടോക്കണുകളെ (latent tokens) ഈ രീതി വേർതിരിച്ചെടുക്കുന്നു. ഒരു ടോക്കൺ പുരികത്തിന്റെ ആകൃതിയെ നിയന്ത്രിക്കാം, മറ്റൊന്ന് മൂക്കിന്റെ ഘടനയെ നിയന്ത്രിക്കാം. ഒരു ടോക്കണിന്റെ മൂല്യം ക്രമീകരിക്കുന്നതിലൂടെ, ചുറ്റുമുള്ള ടോക്കണുകൾ ചിത്രത്തിന്റെ ബാക്കി ഭാഗങ്ങൾ മാറ്റമില്ലാതെ നിലനിർത്തുന്നതിനൊപ്പം ഡെവലപ്പർമാർക്ക് ആ പ്രത്യേക സവിശേഷതയിൽ മാറ്റം വരുത്താനും സാധിക്കും.

ഈ സമീപനം നാല് പ്രായോഗിക നേട്ടങ്ങൾ വാഗ്ദാനം ചെയ്യുന്നു:

• കൃത്യത (Precision) – മാറ്റങ്ങൾ ലക്ഷ്യമിട്ട സവിശേഷതയിൽ മാത്രം പരിമിതമായിരിക്കും, ഇത് ചിത്രത്തിന്റെ മൊത്തത്തിലുള്ള രൂപം നിലനിർത്തുന്നു.
• കുറഞ്ഞ കമ്പ്യൂട്ട് (Low compute) – ഫ്രോസൺ എൻകോഡർ ഉപയോഗിക്കുന്നതിനാൽ പുതിയ ട്രെയിനിംഗ് ലൂപ്പുകൾ ആവശ്യമില്ല, അതിനാൽ കമ്പ്യൂട്ടേഷണൽ ലോഡ് വളരെ കുറവായിരിക്കും.
• സ്വത്വത്തിലെ സ്ഥിരത (Identity consistency) – ഒന്നിലധികം ചിത്രങ്ങളിലോ പ്രോംപ്റ്റുകളിലോ മാറ്റങ്ങൾ വരുത്തുമ്പോഴും അതേ വ്യക്തിയുടെ രൂപം നിലനിൽക്കുന്നു.
• വേഗത്തിലുള്ള വിപണി പ്രവേശനം (Speed to market) – പരിശീലനം ഒഴിവാക്കുന്നത് വഴി, തത്സമയം മുഖഭാവങ്ങളിൽ മാറ്റം വരുത്തേണ്ട ആപ്ലിക്കേഷനുകളുടെ വികസന കാലയളവ് കുറയ്ക്കുന്നു.

ഇതിന്റെ ഗുണഫലങ്ങൾ ഉടൻ ലഭിക്കുന്ന ചില ഉപയോഗങ്ങൾ ഇവയാണ്: വെർച്വൽ ട്രൈ-ഓണുകൾ (virtual try-ons) - ഇവിടെ ഉപഭോക്താവിന് പുതിയൊരു വ്യക്തിത്വത്തെ സൃഷ്ടിക്കാതെ തന്നെ കണ്ണടകളോ മേക്കപ്പോ സ്വന്തം മുഖത്ത് എങ്ങനെയിരിക്കുമെന്ന് കാണാൻ കഴിയും; കൂടാതെ, ഉപയോക്താക്കൾക്ക് മുഖഭാവങ്ങൾ, പ്രായം അല്ലെങ്കിൽ കണ്ണിന്റെ നിറം എന്നിവ തത്സമയം ക്രമീകരിക്കാൻ സഹായിക്കുന്ന അവതാർ നിർമ്മാണ ടൂളുകളും (avatar creation tools).