Kaedah Baharu Mengurangkan Kos Latihan kepada Sifar untuk Suntingan Wajah yang Tepat dalam Model Difusi

Tajuk: Latent Identity Tuning Membolehkan Suntingan Wajah yang Tepat

Penyelidik telah memperkenalkan Latent-Identity Tuning, satu teknik yang membolehkan pembangun menyunting ciri wajah dalam penjana teks-ke-imej sambil mengekalkan identiti subjek tanpa perubahan, dan ia berfungsi tanpa sebarang latihan tambahan.

Kebanyakan model teks-ke-imej berasaskan difusi mengaburkan atau mengubah rupa seseorang apabila diminta untuk mengubah butiran kecil—seperti menukar bentuk kening, mengalihkan hidung, atau mengubah warna mata. Masalah ini berpunca daripada cara model ini mengekod wajah sebagai set pemboleh ubah laten yang padat; mengusik mana-mana satu daripadanya cenderung memberi kesan kepada keseluruhan imej, sekali gus merosakkan identiti.

LIT mengelakkan masalah tersebut dengan meminjam pengekod beku (frozen encoder) daripada model sedia ada dan meneroka ruang latennya untuk mencari arah yang sepadan dengan atribut wajah yang berbeza. Daripada melatih semula keseluruhan rangkaian atau memasukkan data baharu, kaedah ini mengasingkan token laten individu yang masing-masing mengawal bahagian wajah yang tertentu. Satu token mungkin mengawal bentuk kening. Satu lagi mungkin mengawal struktur hidung. Dengan melaraskan nilai satu token sahaja, pembangun boleh mengubah suai ciri tersebut sementara token di sekelilingnya mengekalkan bahagian potret yang lain tanpa perubahan.

Pendekatan ini menawarkan empat kelebihan praktikal:

• Ketepatan – Perubahan kekal terhad kepada ciri yang disasarkan, sekali gus mengekalkan rupa keseluruhan.
• Pengkomputeran rendah – Pengekod beku bermaksud tiada gelung latihan baharu, jadi beban pengkomputeran kekal minimum.
• Ketekalan identiti – Rupa orang yang sama kekal melalui suntingan merentasi pelbagai imej atau prom.
• Kepantasan ke pasaran – Melangkau proses latihan memendekkan kitaran pembangunan bagi aplikasi yang memerlukan manipulasi wajah secara langsung.

Kes penggunaan yang mendapat manfaat serta-merta termasuklah cubaan maya (virtual try-ons), di mana pembeli boleh melihat cermin mata atau solekan pada wajah mereka sendiri tanpa model mencipta identiti baharu, dan alat penciptaan avatar yang membolehkan pengguna memperhalusi ekspresi, umur, atau warna mata secara masa nyata.