Neue Methode senkt Trainingskosten für präzise Gesichtsbearbeitungen in Diffusionsmodellen auf Null

Titel: Latent Identity Tuning ermöglicht präzise Gesichtsbearbeitungen

Forscher haben Latent-Identity Tuning vorgestellt, eine Technik, die es Entwicklern ermöglicht, Gesichtszüge in Text-zu-Bild-Generatoren zu bearbeiten und gleichzeitig die Identität der Person unverändert zu lassen – und das ganz ohne zusätzliches Training.

Die meisten auf Diffusion basierenden Text-zu-Bild-Modelle verschwimmen oder verändern das Aussehen einer Person, wenn man sie bittet, kleine Details anzupassen – etwa die Form einer Augenbraue zu tauschen, eine Nase zu verschieben oder die Augenfarbe zu ändern. Das Problem liegt in der Art und Weise begründet, wie diese Modelle ein Gesicht als dichten Satz latenter Variablen kodieren; eine Veränderung an einer dieser Variablen wirkt sich oft auf das gesamte Bild aus und zerstört so die Identität.

LIT umgeht dies, indem es den eingefrorenen Encoder eines bestehenden Modells nutzt und dessen latenten Raum nach Richtungen durchsucht, die diskreten Gesichtsmerkmalen entsprechen. Anstatt das gesamte Netzwerk neu zu trainieren oder neue Daten einzuspeisen, isoliert die Methode einzelne latente Token, die jeweils einen spezifischen Teil des Gesichts steuern. Ein Token könnte die Form der Augenbrauen kontrollieren, ein anderes die Nasenstruktur. Durch die Anpassung des Wertes eines einzelnen Tokens können Entwickler dieses Merkmal feinjustieren, während die umliegenden Token den Rest des Porträts unverändert lassen.

Der Ansatz bietet vier praktische Vorteile:

• Präzision – Änderungen beschränken sich auf das Zielmerkmal und bewahren das Gesamtbild.
• Geringer Rechenaufwand – Der eingefrorene Encoder bedeutet keine neuen Trainingsschleifen, wodurch die Rechenlast minimal bleibt.
• Identitätskonsistenz – Das Aussehen derselben Person bleibt bei Bearbeitungen über mehrere Bilder oder Prompts hinweg erhalten.
• Schnellere Markteinführung – Der Verzicht auf Training verkürzt den Entwicklungszyklus für Anwendungen, die eine Gesichtsanpassung in Echtzeit benötigen.

Anwendungsfälle, die unmittelbar davon profitieren, sind virtuelle Anproben (Virtual Try-ons), bei denen Kunden Brillen oder Make-up im eigenen Gesicht sehen können, ohne dass das Modell eine neue Identität erfindet, sowie Tools zur Avatar-Erstellung, die es Nutzern ermöglichen, Mimik, Alter oder Augenfarbe in Echtzeit feinabzustimmen.