หัวข้อ: Latent Identity Tuning ช่วยให้การแก้ไขใบหน้าทำได้อย่างแม่นยำ

นักวิจัยได้นำเสนอ Latent-Identity Tuning ซึ่งเป็นเทคนิคที่ช่วยให้นักพัฒนาสามารถแก้ไขลักษณะใบหน้าในโมเดลสร้างภาพจากข้อความ (text-to-image generators) โดยที่ยังคงรักษาเอกลักษณ์ของบุคคลนั้นไว้ได้อย่างครบถ้วน และเทคนิคนี้ทำงานได้โดยไม่ต้องมีการฝึกฝน (training) เพิ่มเติม

โมเดลสร้างภาพจากข้อความแบบ diffusion ส่วนใหญ่มักจะทำให้ความคล้ายคลึงของบุคคลนั้นเบลอหรือเปลี่ยนไป เมื่อถูกสั่งให้แก้ไขรายละเอียดเล็กๆ น้อยๆ เช่น เปลี่ยนรูปทรงคิ้ว ปรับตำแหน่งจมูก หรือเปลี่ยนสีตา ปัญหานี้เกิดจากวิธีการที่โมเดลเหล่านี้เข้ารหัสใบหน้าในรูปแบบของชุดตัวแปรแฝง (latent variables) ที่มีความหนาแน่นสูง การขยับตัวแปรใดตัวแปรหนึ่งมักจะส่งผลกระทบต่อเนื่องไปทั่วทั้งภาพ ซึ่งทำให้เอกลักษณ์ของบุคคลนั้นเสียไป

LIT หลีกเลี่ยงปัญหานั้นโดยการหยิบยืม frozen encoder จากโมเดลที่มีอยู่แล้ว และสำรวจ latent space เพื่อหาทิศทางที่สอดคล้องกับลักษณะเฉพาะของใบหน้า แทนที่จะต้องฝึกฝนเครือข่ายใหม่ทั้งหมดหรือป้อนข้อมูลใหม่ วิธีนี้จะแยก latent tokens แต่ละตัวที่ควบคุมส่วนต่างๆ ของใบหน้าโดยเฉพาะ เช่น token หนึ่งอาจควบคุมรูปทรงคิ้ว อีก token หนึ่งอาจควบคุมโครงสร้างจมูก การปรับค่าของ token เพียงตัวเดียวจะช่วยให้นักพัฒนาสามารถปรับแต่งลักษณะนั้นๆ ได้ ในขณะที่ token รอบข้างจะช่วยรักษาภาพพอร์ตเทรตส่วนที่เหลือให้คงเดิมไม่เปลี่ยนแปลง

แนวทางนี้มีข้อดีที่นำไปใช้งานจริงได้ 4 ประการ:

  • ความแม่นยำ (Precision) – การเปลี่ยนแปลงจะจำกัดอยู่เฉพาะลักษณะที่ต้องการแก้ไขเท่านั้น ทำให้ยังคงรูปลักษณ์โดยรวมไว้ได้
  • ใช้ทรัพยากรคำนวณต่ำ (Low compute) – การใช้ frozen encoder หมายความว่าไม่ต้องมีลูปการฝึกฝนใหม่ ทำให้ภาระในการคำนวณอยู่ในระดับต่ำสุด
  • ความสม่ำเสมอของเอกลักษณ์ (Identity consistency) – ความคล้ายคลึงของบุคคลเดิมยังคงอยู่แม้จะมีการแก้ไขผ่านรูปภาพหรือคำสั่ง (prompts) ที่หลากหลาย
  • ความรวดเร็วในการนำออกสู่ตลาด (Speed to market) – การข้ามขั้นตอนการฝึกฝนช่วยย่นระยะเวลาการพัฒนาสำหรับแอปพลิเคชันที่ต้องการการปรับแต่งใบหน้าแบบทันทีทันใด (on-the-fly)

กรณีการใช้งานที่จะได้รับประโยชน์โดยตรง ได้แก่ การลองสินค้าเสมือนจริง (virtual try-ons) ซึ่งผู้ซื้อสามารถเห็นภาพการสวมแว่นตาหรือการแต่งหน้าบนใบหน้าของตนเองได้โดยที่โมเดลไม่สร้างเอกลักษณ์ใหม่ขึ้นมา และเครื่องมือสร้างอวตาร (avatar creation tools) ที่ช่วยให้ผู้ใช้สามารถปรับแต่งการแสดงออกทางสีหน้า อายุ หรือสีตาได้แบบเรียลไทม์