Nuevo método reduce a cero los costes de entrenamiento para ediciones faciales precisas en modelos de difusión

Título: Latent Identity Tuning permite ediciones faciales precisas

Investigadores han presentado Latent-Identity Tuning, una técnica que permite a los desarrolladores editar rasgos faciales en generadores de texto a imagen manteniendo intacta la identidad del sujeto, y funciona sin necesidad de entrenamiento adicional.

La mayoría de los modelos de texto a imagen basados en difusión desdibujan o alteran el parecido de una persona cuando se les pide modificar detalles pequeños: cambiar la forma de una ceja, desplazar una nariz o cambiar el color de los ojos. El problema radica en la forma en que estos modelos codifican un rostro como un conjunto denso de variables latentes; alterar cualquiera de ellas tiende a repercutir en toda la imagen, rompiendo la identidad.

LIT evita esto tomando prestado el codificador congelado (frozen encoder) de un modelo existente y sondeando su espacio latente en busca de direcciones que correspondan a atributos faciales discretos. En lugar de reentrenar toda la red o introducir nuevos datos, el método aísla tokens latentes individuales que gobiernan cada una de las partes específicas del rostro. Un token podría controlar la forma de la ceja. Otro podría controlar la estructura de la nariz. Al ajustar el valor de un solo token, los desarrolladores pueden retocar ese rasgo mientras los tokens circundantes mantienen el resto del retrato sin cambios.

El enfoque ofrece cuatro ventajas prácticas:

• Precisión – Los cambios se limitan al rasgo objetivo, preservando el aspecto general.
• Bajo coste computacional – El codificador congelado significa que no hay nuevos ciclos de entrenamiento, por lo que la carga computacional se mantiene mínima.
• Consistencia de identidad – El parecido de la misma persona sobrevive a las ediciones en múltiples imágenes o prompts.
• Velocidad de comercialización – Al omitir el entrenamiento, se acorta el ciclo de desarrollo para aplicaciones que necesitan manipulación facial al instante.

Los casos de uso que se benefician de inmediato incluyen los probadores virtuales, donde un comprador puede ver gafas o maquillaje en su propio rostro sin que el modelo invente una nueva identidad, y las herramientas de creación de avatares que permiten a los usuarios ajustar expresiones, la edad o el color de ojos en tiempo real.