Title: Latent Identity Tuning ਸਹੀ ਚਿਹਰੇ ਦੇ ਸੰਸਕਰਣਾਂ (Facial Edits) ਨੂੰ ਸਮਰੱਥ ਬਣਾਉਂਦਾ ਹੈ

ਖੋਜਕਰਤਾਵਾਂ ਨੇ Latent-Identity Tuning ਪੇਸ਼ ਕੀਤੀ ਹੈ, ਜੋ ਇੱਕ ਅਜਿਹੀ ਤਕਨੀਕ ਹੈ ਜੋ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਵਿਸ਼ੇ ਦੀ ਪਛਾਣ ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਦੇ ਹੋਏ text-to-image ਜਨਰੇਟਰਾਂ ਵਿੱਚ ਚਿਹਰੇ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਐਡਿਟ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ, ਅਤੇ ਇਹ ਬਿਨਾਂ ਕਿਸੇ ਵਾਧੂ ਟ੍ਰੇਨਿੰਗ ਦੇ ਕੰਮ ਕਰਦੀ ਹੈ।

ਜ਼ਿਆਦਾਤਰ diffusion-ਅਧਾਰਿਤ text-to-image ਮਾਡਲ ਕਿਸੇ ਵਿਅਕਤੀ ਦੀ ਦਿੱਖ ਨੂੰ ਧੁੰਦਲਾ ਜਾਂ ਬਦਲ ਦਿੰਦੇ ਹਨ ਜਦੋਂ ਉਹਨਾਂ ਨੂੰ ਛੋਟੇ ਵੇਰਵਿਆਂ ਨੂੰ ਸੋਧਣ ਲਈ ਕਿਹਾ ਜਾਂਦਾ ਹੈ—ਜਿਵੇਂ ਕਿ ਭੌਂਹਾਂ ਦੀ ਸ਼ਕਲ ਬਦਲਣਾ, ਨੱਕ ਦੀ ਸਥਿਤੀ ਬਦਲਣਾ, ਜਾਂ ਅੱਖਾਂ ਦਾ ਰੰਗ ਬਦਲਣਾ। ਇਹ ਸਮੱਸਿਆ ਇਸ ਤਰੀਕੇ ਤੋਂ ਪੈਦਾ ਹੁੰਦੀ ਹੈ ਕਿ ਇਹ ਮਾਡਲ ਚਿਹਰੇ ਨੂੰ latent variables ਦੇ ਇੱਕ ਸੰਘਣੇ ਸਮੂਹ ਵਜੋਂ ਐਨਕੋਡ ਕਰਦੇ ਹਨ; ਉਹਨਾਂ ਵਿੱਚੋਂ ਕਿਸੇ ਇੱਕ ਵਿੱਚ ਵੀ ਬਦਲਾਅ ਕਰਨ ਨਾਲ ਪੂਰੀ ਤਸਵੀਰ ਵਿੱਚ ਅਸਰ ਪੈਂਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਪਛਾਣ ਖਰਾਬ ਹੋ ਜਾਂਦੀ ਹੈ।

LIT ਮੌਜੂਦਾ ਮਾਡਲ ਤੋਂ frozen encoder ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਅਤੇ ਇਸਦੇ latent space ਵਿੱਚ ਉਹਨਾਂ ਦਿਸ਼ਾਵਾਂ ਦੀ ਭਾਲ ਕਰਕੇ ਇਸ ਤੋਂ ਬਚਦਾ ਹੈ ਜੋ ਵੱਖ-ਵੱਖ ਚਿਹਰੇ ਦੇ ਗੁਣਾਂ (facial attributes) ਨਾਲ ਸਬੰਧਤ ਹੁੰਦੀਆਂ ਹਨ। ਪੂਰੇ ਨੈੱਟਵਰਕ ਨੂੰ ਦੁਬਾਰਾ ਟ੍ਰੇਨ ਕਰਨ ਜਾਂ ਨਵਾਂ ਡੇਟਾ ਦੇਣ ਦੀ ਬਜਾਏ, ਇਹ ਵਿਧੀ ਵਿਅਕਤੀਗਤ latent tokens ਨੂੰ ਵੱਖ ਕਰਦੀ ਹੈ ਜੋ ਚਿਹਰੇ ਦੇ ਹਰੇਕ ਖਾਸ ਹਿੱਸੇ ਨੂੰ ਕੰਟਰੋਲ ਕਰਦੇ ਹਨ। ਇੱਕ token ਭੌਂਹਾਂ ਦੀ ਸ਼ਕਲ ਨੂੰ ਕੰਟਰੋਲ ਕਰ ਸਕਦਾ ਹੈ। ਦੂਜਾ ਨੱਕ ਦੀ ਬਣਤਰ ਨੂੰ ਕੰਟਰੋਲ ਕਰ ਸਕਦਾ ਹੈ। ਇੱਕ ਸਿੰਗਲ token ਦੀ ਕੀਮਤ ਨੂੰ ਐਡਜਸਟ ਕਰਕੇ, ਡਿਵੈਲਪਰ ਉਸ ਵਿਸ਼ੇਸ਼ਤਾ ਨੂੰ ਸੋਧ ਸਕਦੇ ਹਨ ਜਦੋਂ ਕਿ ਆਲੇ-ਦੁਆਲੇ ਦੇ tokens ਬਾਕੀ ਚਿੱਤਰ ਨੂੰ ਬਦਲੇ ਬਿਨਾਂ ਰੱਖਦੇ ਹਨ।

ਇਹ ਪਹੁੰਚ ਚਾਰ ਵਿਹਾਰਕ ਫਾਇਦੇ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ:

  • ਸਟੀਕਤਾ (Precision) – ਬਦਲਾਅ ਸਿਰਫ਼ ਨਿਸ਼ਾਨਾ ਬਣਾਏ ਗਏ ਵਿਸ਼ੇਸ਼ਤਾ ਤੱਕ ਸੀਮਤ ਰਹਿੰਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਸਮੁੱਚੀ ਦਿੱਖ ਬਰਕਰਾਰ ਰਹਿੰਦੀ ਹੈ।
  • ਘੱਟ ਕੰਪਿਊਟਿੰਗ (Low compute) – Frozen encoder ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਕੋਈ ਨਵਾਂ ਟ੍ਰੇਨਿੰਗ ਲੂਪ ਨਹੀਂ ਚਾਹੀਦਾ, ਇਸ ਲਈ ਕੰਪਿਊਟੇਸ਼ਨਲ ਲੋਡ ਬਹੁਤ ਘੱਟ ਰਹਿੰਦਾ ਹੈ।
  • ਪਛਾਣ ਦੀ ਇਕਸਾਰਤਾ (Identity consistency) – ਇੱਕੋ ਵਿਅਕਤੀ ਦੀ ਦਿੱਖ ਕਈ ਤਸਵੀਰਾਂ ਜਾਂ ਪ੍ਰੋਂਪਟਾਂ ਵਿੱਚ ਬਦਲਾਅ ਦੇ ਬਾਵਜੂਦ ਬਰਕਰਾਰ ਰਹਿੰਦੀ ਹੈ।
  • ਤੇਜ਼ੀ ਨਾਲ ਮਾਰਕੀਟ ਵਿੱਚ ਲਿਆਉਣਾ (Speed to market) – ਟ੍ਰੇਨਿੰਗ ਨੂੰ ਛੱਡਣ ਨਾਲ ਉਹਨਾਂ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਵਿਕਾਸ ਚੱਕਰ (development cycle) ਛੋਟਾ ਹੋ ਜਾਂਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਤੁਰੰਤ ਚਿਹਰੇ ਦੇ ਰੂਪ-ਰੰਗ ਵਿੱਚ ਬਦਲਾਅ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

ਉਹਨਾਂ ਵਰਤੋਂ ਦੇ ਮਾਮਲਿਆਂ (use cases) ਵਿੱਚ ਜਿਨ੍ਹਾਂ ਨੂੰ ਤੁਰੰਤ ਲਾਭ ਮਿਲਦਾ ਹੈ, virtual try-ons ਸ਼ਾਮਲ ਹਨ, ਜਿੱਥੇ ਇੱਕ ਖਰੀਦਦਾਰ ਮਾਡਲ ਦੁਆਰਾ ਨਵੀਂ ਪਛਾਣ ਬਣਾਏ ਬਿਨਾਂ ਆਪਣੇ ਚਿਹਰੇ 'ਤੇ ਚਸ਼ਮੇ ਜਾਂ ਮੇਕਅੱਪ ਦੇਖ ਸਕਦਾ ਹੈ, ਅਤੇ ਅਵਤਾਰ ਬਣਾਉਣ ਵਾਲੇ ਟੂਲ ਜੋ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਰੀਅਲ ਟਾਈਮ ਵਿੱਚ ਹਾਵ-ਭਾਵ, ਉਮਰ, ਜਾਂ ਅੱਖਾਂ ਦਾ ਰੰਗ ਸੋਧਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਹਨ।