Njia Mpya Inapunguza Gharama za Mafunzo hadi Sifuri kwa Marekebisho Sahihi ya Uso katika Mifano ya Diffusion

Kichwa: Latent Identity Tuning Inaruhusu Marekebisho ya Uso kwa Usahihi

Watafiti wameanzisha Latent-Identity Tuning, mbinu inayowaruhusu watengenezaji kurekebisha sifa za uso katika mitambo ya kutengeneza picha kutokana na maandishi (text-to-image generators) huku ikihifadhi utambulisho wa mhusika, na inafanya kazi bila kuhitaji mafunzo ya ziada.

Mifano mingi ya text-to-image inayotumia mbinu ya diffusion hupoteza au kubadilisha sura ya mtu wanapoombwa kurekebisha maelezo madogo—kama vile kubadilisha umbo la nyusi, kusogeza pua, au kubadilisha rangi ya macho. Tatizo linatokana na jinsi mifano hii inavyofunga (encode) uso kama seti nzito ya vigezo vya latent (latent variables); kusogeza kimoja kati yao husababisha mabadiliko katika picha nzima, jambo linalovunja utambulisho.

LIT inakwepa hilo kwa kukopa 'frozen encoder' kutoka kwa mfano uliopo na kuchunguza nafasi yake ya latent (latent space) ili kupata mwelekeo unaoendana na sifa maalum za uso. Badala ya kufundisha upya mtandao mzima au kuingiza data mpya, mbinu hii hutenga 'latent tokens' binafsi ambazo kila moja inadhibiti sehemu fulani ya uso. Token moja inaweza kudhibiti umbo la nyusi. Nyingine inaweza kudhibiti muundo wa pua. Kwa kurekebisha thamani ya token moja, watengenezaji wanaweza kurekebisha sifa hiyo huku token zinazozunguka zikihifadhi sehemu nyingine ya picha bila mabadiliko.

Mbinu hii inatoa faida nne za kivitendo:

• Usahihi – Mabadiliko yanabaki kwenye sifa inayolengwa tu, huku ikihifadhi mwonekano wa jumla.
• Matumizi madogo ya kompyuta – 'Frozen encoder' inamaanisha hakuna mzunguko mpya wa mafunzo, hivyo mzigo wa kimitambo unabaki kuwa mdogo.
• Uthabiti wa utambulisho – Sura ya mtu huyo hiyo hiyo inabaki vilevile baada ya marekebisho katika picha au maelekezo (prompts) mbalimbali.
• Kasi ya kuingia sokoni – Kuruka hatua ya mafunzo hupunguza mzunguko wa utengenezaji kwa programu zinazohitaji marekebisho ya uso ya papo hapo.

Matumizi yanayofaidika mara moja ni pamoja na majaribio ya mtandaoni (virtual try-ons), ambapo mnunuzi anaweza kuona miwani au vipodozi kwenye uso wake mwenyewe bila mfano huo kutengeneza utambulisho mpya, na zana za kutengeneza avatar zinazowaruhusu watumiaji kurekebisha hisia, umri, au rangi ya macho kwa wakati halisi.