Заголовок: Latent Identity Tuning позволяет выполнять точное редактирование лиц

Исследователи представили Latent-Identity Tuning — метод, который позволяет разработчикам редактировать черты лица в генераторах изображений по тексту (text-to-image), сохраняя при этом идентичность субъекта, и при этом он работает без дополнительного обучения.

Большинство диффузионных моделей text-to-image размывают или искажают сходство человека, когда их просят изменить мелкие детали — например, изменить форму бровей, положение носа или цвет глаз. Проблема заключается в том, как эти модели кодируют лицо в виде плотного набора латентных переменных; изменение любой из них, как правило, вызывает эффект домино во всем изображении, нарушая узнаваемость личности.

LIT обходит эту проблему, заимствуя замороженный энкодер из существующей модели и исследуя его латентное пространство на предмет направлений, соответствующих отдельным чертам лица. Вместо переобучения всей сети или подачи новых данных, метод изолирует отдельные латентные токены, каждый из которых управляет определенной частью лица. Один токен может отвечать за форму бровей, другой — за структуру носа. Регулируя значение одного токена, разработчики могут изменять конкретную черту, в то время как соседние токены сохраняют остальную часть портрета неизменной.

Этот подход дает четыре практических преимущества:

  • Точность — изменения ограничиваются только целевой чертой, сохраняя общий облик.
  • Низкая вычислительная сложность — использование замороженного энкодера исключает необходимость новых циклов обучения, поэтому вычислительная нагрузка остается минимальной.
  • Сохранение идентичности — сходство одного и того же человека сохраняется при редактировании на разных изображениях или при использовании различных промптов.
  • Скорость вывода на рынок — отсутствие необходимости в обучении сокращает цикл разработки приложений, требующих манипуляций с лицом в реальном времени.

Среди областей, которые получат немедленную выгоду, — виртуальные примерочные, где покупатель может увидеть очки или макияж на своем лице без риска того, что модель создаст совершенно другого человека, а также инструменты для создания аватаров, позволяющие пользователям в реальном времени настраивать мимику, возраст или цвет глаз.