Judul: Latent Identity Tuning Memungkinkan Pengeditan Wajah yang Presisi

Para peneliti telah memperkenalkan Latent-Identity Tuning, sebuah teknik yang memungkinkan pengembang untuk mengedit fitur wajah dalam generator text-to-image sambil menjaga identitas subjek tetap utuh, dan teknik ini bekerja tanpa pelatihan tambahan apa pun.

Sebagian besar model text-to-image berbasis difusi mengaburkan atau mengubah kemiripan seseorang saat diminta untuk memodifikasi detail kecil—mengganti bentuk alis, menggeser hidung, atau mengubah warna mata. Masalah ini berasal dari cara model-model tersebut menyandikan wajah sebagai kumpulan variabel laten yang padat; menggeser salah satu variabel cenderung berdampak pada seluruh gambar, sehingga merusak identitas.

LIT menghindari hal tersebut dengan meminjam frozen encoder dari model yang sudah ada dan menyelidiki ruang latennya untuk mencari arah yang sesuai dengan atribut wajah tertentu. Alih-alih melatih ulang seluruh jaringan atau memasukkan data baru, metode ini mengisolasi token laten individual yang masing-masing mengatur bagian wajah tertentu. Satu token mungkin mengontrol bentuk alis. Token lainnya mungkin mengontrol struktur hidung. Dengan menyesuaikan nilai satu token saja, pengembang dapat mengubah fitur tersebut sementara token di sekitarnya menjaga bagian potret lainnya tetap tidak berubah.

Pendekatan ini menawarkan empat keuntungan praktis:

  • Presisi – Perubahan tetap terbatas pada fitur yang ditargetkan, sehingga menjaga tampilan keseluruhan.
  • Komputasi rendah – Penggunaan frozen encoder berarti tidak ada loop pelatihan baru, sehingga beban komputasi tetap minimal.
  • Konsistensi identitas – Kemiripan orang yang sama tetap terjaga meskipun melalui pengeditan di berbagai gambar atau prompt.
  • Kecepatan ke pasar – Melewati proses pelatihan memperpendek siklus pengembangan untuk aplikasi yang membutuhkan manipulasi wajah secara instan.

Kasus penggunaan yang langsung mendapat manfaat termasuk virtual try-on, di mana pembeli dapat melihat kacamata atau riasan pada wajah mereka sendiri tanpa model menciptakan identitas baru, serta alat pembuatan avatar yang memungkinkan pengguna menyempurnakan ekspresi, usia, atau warna mata secara real-time.