Заголовок: Latent Identity Tuning забезпечує точне редагування рис обличчя

Дослідники представили Latent-Identity Tuning — техніку, яка дозволяє розробникам редагувати риси обличчя в моделях text-to-image, зберігаючи при цьому ідентичність об'єкта, і при цьому вона працює без додаткового навчання.

Більшість дифузійних моделей text-to-image розмивають або змінюють схожість людини, коли їх просять змінити дрібні деталі — наприклад, змінити форму брів, змістити ніс або змінити колір очей. Проблема полягає в тому, як ці моделі кодують обличчя як щільний набір латентних змінних; зміна будь-якої з них зазвичай викликає ефект доміно по всьому зображенню, порушуючи ідентичність.

LIT обходить цю проблему, запозичуючи заморожений енкодер (frozen encoder) з існуючої моделі та досліджуючи його латентний простір на предмет напрямків, що відповідають окремим атрибутам обличчя. Замість перенавчання всієї мережі або подачі нових даних, метод ізолює окремі латентні токени, кожен з яких керує певною частиною обличчя. Один токен може контролювати форму брів. Інший — структуру носа. Регулюючи значення одного токена, розробники можуть змінювати цю рису, тоді як сусідні токени зберігають решту портрета незмінною.

Цей підхід пропонує чотири практичні переваги:

  • Точність — зміни обмежуються лише цільовою рисою, зберігаючи загальний вигляд.
  • Низька обчислювальна складність — використання замороженого енкодера означає відсутність нових циклів навчання, тому обчислювальне навантаження залишається мінімальним.
  • Послідовність ідентичності — схожість тієї самої людини зберігається під час редагування на різних зображеннях або за різними запитами.
  • Швидкість виходу на ринок — відмова від навчання скорочує цикл розробки для застосунків, яким потрібна маніпуляція обличчям у режимі реального часу.

Серед випадків використання, які отримають пряму вигоду, — це віртуальні примірки, де покупець може побачити окуляри або макіяж на власному обличчі без того, щоб модель вигадала нову особистість, а також інструменти для створення аватарів, які дозволяють користувачам у реальному часі налаштовувати міміку, вік або колір очей.