New Method Cuts Training Costs to Zero for Precise Facial Edits in Diffusion Models

Title: Latent Identity Tuning ఖచ్చితమైన ముఖ సవరణలను (Facial Edits) సాధ్యం చేస్తుంది

పరిశోధకులు Latent-Identity Tuning అనే సాంకేతికతను పరిచయం చేశారు. ఇది డెవలపర్లు టెక్స్ట్-టు-ఇమేజ్ జనరేటర్లలో సబ్జెక్ట్ యొక్క గుర్తింపు (identity) మారకుండానే ముఖ కవళికలను సవరించడానికి అనుమతిస్తుంది, మరియు ఇది ఎటువంటి అదనపు శిక్షణ (training) లేకుండానే పనిచేస్తుంది.

చాలా వరకు డిఫ్యూజన్-ఆధారిత (diffusion-based) టెక్స్ట్-టు-ఇమేజ్ మోడల్స్, చిన్న చిన్న వివరాలను మార్చమని అడిగినప్పుడు—కనుబొమ్మల ఆకారాన్ని మార్చడం, ముక్కును జరపడం లేదా కంటి రంగును మార్చడం వంటివి—ఆ వ్యక్తి యొక్క పోలికలను మసకబారుస్తాయి లేదా మారుస్తాయి. ఈ సమస్య ఈ మోడల్స్ ముఖాన్ని ఒక సాంద్రత కలిగిన లేటెంట్ వేరియబుల్స్ (latent variables) సెట్‌గా ఎన్‌కోడ్ చేసే విధానం వల్ల వస్తుంది; వాటిలో ఏదో ఒక దానిని స్వల్పంగా మార్చినా, అది మొత్తం చిత్రంపై ప్రభావం చూపి, గుర్తింపును దెబ్బతీస్తుంది.

LIT ఈ సమస్యను అధిగమించడానికి, ఇప్పటికే ఉన్న మోడల్ నుండి ఫ్రోజన్ ఎన్‌కోడర్ (frozen encoder)ను తీసుకుని, దాని లేటెంట్ స్పేస్‌లో విడివిడి ముఖ కవళికలకు సంబంధించిన దిశలను గుర్తిస్తుంది. మొత్తం నెట్‌వర్క్‌ను మళ్ళీ శిక్షణ ఇవ్వడం లేదా కొత్త డేటాను అందించడం కంటే, ఈ పద్ధతి ముఖంలోని ప్రతి భాగాన్ని నియంత్రించే వ్యక్తిగత లేటెంట్ టోకెన్లను (latent tokens) వేరు చేస్తుంది. ఒక టోకెన్ కనుబొమ్మల ఆకారాన్ని నియంత్రించవచ్చు. మరొకటి ముక్కు నిర్మాణాన్ని నియంత్రించవచ్చు. ఒకే ఒక టోకెన్ విలువను సర్దుబాటు చేయడం ద్వారా, డెవలపర్లు మిగిలిన పోర్ట్రెయిట్ మారకుండానే ఆ నిర్దిష్ట ఫీచర్‌ను మార్చవచ్చు.

ఈ విధానం నాలుగు ఆచరణాత్మక ప్రయోజనాలను అందిస్తుంది:

• Precision (ఖచ్చితత్వం) – మార్పులు కేవలం లక్ష్యిత ఫీచర్‌కు మాత్రమే పరిమితమై ఉంటాయి, తద్వారా మొత్తం రూపాన్ని కాపాడవచ్చు.
• Low compute (తక్కువ కంప్యూటేషన్) – ఫ్రోజన్ ఎన్‌కోడర్ ఉండటం వల్ల కొత్త ట్రైనింగ్ లూప్‌లు అవసరం లేదు, కాబట్టి కంప్యూటేషనల్ లోడ్ కనిష్టంగా ఉంటుంది.
• Identity consistency (గుర్తింపు స్థిరత్వం) – అనేక చిత్రాలు లేదా ప్రాంప్ట్‌ల ద్వారా సవరణలు చేసినప్పటికీ, అదే వ్యక్తి యొక్క పోలికలు అలాగే ఉంటాయి.
• Speed to market (వేగవంతమైన మార్కెట్ విడుదల) – శిక్షణను వదిలివేయడం వల్ల, తక్షణ ముఖ సవరణలు (on-the-fly facial manipulation) అవసరమయ్యే అప్లికేషన్ల అభివృద్ధి చక్రం తగ్గుతుంది.

దీని వల్ల తక్షణమే ప్రయోజనం పొందే వినియోగ సందర్భాలలో (use cases) వర్చువల్ ట్రై-ఆన్స్ (virtual try-ons) ఒకటి; ఇక్కడ వినియోగదారు మోడల్ కొత్త గుర్తింపును సృష్టించకుండానే, తమ సొంత ముఖంపై కళ్లద్దాలు లేదా మేకప్‌ను చూసుకోవచ్చు. అలాగే, అవతార్ క్రియేషన్ టూల్స్ (avatar creation tools) ద్వారా వినియోగదారులు తమ ఎక్స్‌ప్రెషన్స్, వయస్సు లేదా కంటి రంగును రియల్ టైమ్‌లో మార్చుకోవచ్చు.