Une nouvelle méthode réduit les coûts d'entraînement à zéro pour des retouches faciales précises dans les modèles de diffusion

Titre : Le Latent Identity Tuning permet des retouches faciales précises

Des chercheurs ont présenté le Latent-Identity Tuning, une technique qui permet aux développeurs de modifier les traits du visage dans les générateurs de texte en image tout en préservant l'identité du sujet, et ce, sans aucun entraînement supplémentaire.

La plupart des modèles de texte en image basés sur la diffusion floutent ou altèrent la ressemblance d'une personne lorsqu'on leur demande de modifier de petits détails — changer la forme d'un sourcil, déplacer un nez ou modifier la couleur des yeux. Le problème provient de la manière dont ces modèles encodent un visage sous la forme d'un ensemble dense de variables latentes ; modifier l'une d'entre elles a tendance à se répercuter sur l'ensemble de l'image, brisant ainsi l'identité.

Le LIT contourne ce problème en empruntant l'encodeur figé d'un modèle existant et en sondant son espace latent pour trouver des directions correspondant à des attributs faciaux distincts. Au lieu de réentraîner l'ensemble du réseau ou d'injecter de nouvelles données, la méthode isole des jetons (tokens) latents individuels qui régissent chacun une partie spécifique du visage. Un jeton peut contrôler la forme des sourcils. Un autre peut contrôler la structure du nez. En ajustant la valeur d'un seul jeton, les développeurs peuvent modifier ce trait tandis que les jetons environnants maintiennent le reste du portrait inchangé.

Cette approche offre quatre avantages pratiques :

• Précision – Les modifications restent limitées au trait ciblé, préservant l'aspect général.
• Faible coût de calcul – L'encodeur figé signifie qu'il n'y a pas de nouvelles boucles d'entraînement, la charge de calcul reste donc minimale.
• Cohérence de l'identité – La ressemblance de la même personne est préservée lors des modifications sur plusieurs images ou prompts.
• Rapidité de mise sur le marché – L'absence d'entraînement raccourcit le cycle de développement pour les applications nécessitant une manipulation faciale à la volée.

Les cas d'utilisation qui en bénéficient immédiatement incluent l'essayage virtuel, où un acheteur peut voir des lunettes ou du maquillage sur son propre visage sans que le modèle n'invente une nouvelle identité, ainsi que les outils de création d'avatars qui permettent aux utilisateurs d'affiner les expressions, l'âge ou la couleur des yeux en temps réel.