Tiêu đề: Latent Identity Tuning cho phép chỉnh sửa khuôn mặt một cách chính xác

Các nhà nghiên cứu đã giới thiệu Latent-Identity Tuning, một kỹ thuật cho phép các nhà phát triển chỉnh sửa các đặc điểm khuôn mặt trong các trình tạo hình ảnh từ văn bản (text-to-image) trong khi vẫn giữ nguyên danh tính của đối tượng, và nó hoạt động mà không cần bất kỳ quá trình huấn luyện bổ sung nào.

Hầu hết các mô hình tạo hình ảnh từ văn bản dựa trên khuếch tán (diffusion) thường làm mờ hoặc thay đổi nét tương đồng của một người khi được yêu cầu sửa đổi các chi tiết nhỏ—như thay đổi hình dáng lông mày, dịch chuyển mũi, hoặc đổi màu mắt. Vấn đề bắt nguồn từ cách các mô hình này mã hóa một khuôn mặt thành một tập hợp dày đặc các biến tiềm ẩn (latent variables); việc điều chỉnh bất kỳ biến nào cũng có xu hướng gây ra hiệu ứng lan tỏa khắp toàn bộ hình ảnh, làm mất đi danh tính.

LIT giải quyết vấn đề này bằng cách mượn bộ mã hóa (encoder) đóng băng từ một mô hình hiện có và thăm dò không gian tiềm ẩn của nó để tìm các hướng tương ứng với các thuộc tính khuôn mặt riêng biệt. Thay vì huấn luyện lại toàn bộ mạng lưới hoặc nạp dữ liệu mới, phương pháp này tách biệt các token tiềm ẩn riêng lẻ, mỗi token quản lý một phần cụ thể của khuôn mặt. Một token có thể kiểm soát hình dáng lông mày. Một token khác có thể kiểm soát cấu trúc mũi. Bằng cách điều chỉnh giá trị của một token duy nhất, các nhà phát triển có thể tinh chỉnh đặc điểm đó trong khi các token xung quanh giữ cho phần còn lại của bức chân dung không thay đổi.

Cách tiếp cận này mang lại bốn lợi thế thực tế:

  • Độ chính xác – Các thay đổi chỉ giới hạn ở đặc điểm mục tiêu, giúp bảo toàn diện mạo tổng thể.
  • Chi phí tính toán thấp – Việc sử dụng bộ mã hóa đóng băng đồng nghĩa với việc không cần các vòng lặp huấn luyện mới, do đó tải tính toán được giữ ở mức tối thiểu.
  • Sự nhất quán về danh tính – Nét tương đồng của cùng một người vẫn được giữ vững qua các lần chỉnh sửa trên nhiều hình ảnh hoặc câu lệnh (prompts) khác nhau.
  • Tốc độ đưa ra thị trường – Việc bỏ qua bước huấn luyện giúp rút ngắn chu kỳ phát triển cho các ứng dụng cần thao tác khuôn mặt tức thời.

Các trường hợp sử dụng được hưởng lợi ngay lập tức bao gồm thử đồ ảo (virtual try-ons), nơi người mua có thể thấy kính hoặc lớp trang điểm trên khuôn mặt của chính họ mà không khiến mô hình tự tạo ra một danh tính mới, và các công cụ tạo avatar cho phép người dùng tinh chỉnh biểu cảm, độ tuổi hoặc màu mắt trong thời gian thực.