Titolo: Il Latent Identity Tuning consente modifiche facciali precise

I ricercatori hanno introdotto il Latent-Identity Tuning, una tecnica che consente agli sviluppatori di modificare i tratti somatici nei generatori text-to-image mantenendo intatta l'identità del soggetto, il tutto senza alcun addestramento aggiuntivo.

La maggior parte dei modelli text-to-image basati sulla diffusione sfoca o altera la somiglianza di una persona quando viene chiesto di modificare piccoli dettagli: cambiare la forma di un sopracciglio, spostare un naso o cambiare il colore degli occhi. Il problema deriva dal modo in cui questi modelli codificano un volto come un insieme denso di variabili latenti; spostarne anche solo una tende a propagarsi a tutta l'immagine, compromettendo l'identità.

LIT aggira questo problema utilizzando l'encoder congelato di un modello esistente e sondando il suo spazio latente alla ricerca di direzioni che corrispondano ad attributi facciali discreti. Invece di riaddestrare l'intera rete o fornire nuovi dati, il metodo isola singoli token latenti che governano ciascuna parte specifica del volto. Un token potrebbe controllare la forma delle sopracciglia. Un altro potrebbe controllare la struttura del naso. Regolando il valore di un singolo token, gli sviluppatori possono apportare modifiche a quel tratto, mentre i token circostanti mantengono inalterato il resto del ritratto.

L'approccio offre quattro vantaggi pratici:

  • Precisione – Le modifiche rimangono limitate al tratto mirato, preservando l'aspetto generale.
  • Basso carico computazionale – L'encoder congelato significa che non sono necessari nuovi cicli di addestramento, mantenendo il carico computazionale al minimo.
  • Coerenza dell'identità – La somiglianza della stessa persona viene preservata durante le modifiche in più immagini o prompt.
  • Velocità di immissione sul mercato – Saltare l'addestramento accorcia il ciclo di sviluppo per le applicazioni che richiedono manipolazioni facciali istantanee.

I casi d'uso che ne traggono immediato beneficio includono i virtual try-on, in cui un acquirente può vedere occhiali o trucco sul proprio volto senza che il modello inventi una nuova identità, e gli strumenti di creazione di avatar che consentono agli utenti di regolare finemente espressioni, età o colore degli occhi in tempo reale.