AI Của Alibaba Có Thể "Biến" Bức Hoạ Monalisa Biết Nói Và Hát

mô hình Emote Portrait Live là một bước tiến quan trọng trong việc biến ảnh tĩnh thành chuyển động.

Các kỹ sư Trung Quốc tại Viện Điện toán Thông minh (IIC) của Alibaba, vừa phát triển một ứng dụng AI có tên Emote Portrait Live, có thể "biến hình" một bức ảnh tĩnh có thể nói và hát được.

Công nghệ đằng sau mô hình Emote Portrait Live dựa trên khả năng tổng hợp của các mô hình khuếch tán. Mô hình khuếch tán là một mô hình toán học được sử dụng để mô tả cách mọi thứ lan truyền hoặc khuếch tán theo thời gian. Trong trường hợp này, mô hình khuếch tán được sử dụng để mô tả cách các chuyển động trên khuôn mặt lan truyền từ một điểm khởi đầu đến các phần khác của khuôn mặt.

Mô hình Emote Portrait Live sử dụng mô hình khuếch tán để tổng hợp trực tiếp video đầu nhân vật từ hình ảnh được cung cấp và bất kỳ clip âm thanh nào. Quá trình này bỏ qua nhu cầu xử lý trước phức tạp hoặc biểu diễn trung gian, do đó đơn giản hóa việc tạo video đầu người biết nói.

Mục tiêu của nhóm nghiên cứu là phát triển một khung đầu biết nói có thể nắm bắt được nhiều biểu cảm thực tế trên khuôn mặt, bao gồm cả những biểu cảm vi mô tinh tế và cho phép chuyển động đầu tự nhiên. Để làm được điều đó, các nhà nghiên cứu đã đưa các cơ chế điều khiển ổn định vào mô hình của họ, cụ thể là bộ điều khiển tốc độ và bộ điều khiển vùng mặt, để cải thiện độ ổn định trong quá trình tạo ra.

So với các AI trước đây chỉ có thể biến đổi miệng và một phần của khuôn mặt, thì Emote có thể tạo nét mặt, tư thế, nhíu mày hoặc lắc lư. Đặc biệt, phần miệng được AI tạo ra trông rất tự nhiên. 

Trong một số video do Alibaba công bố, hình ảnh sẽ biến thành video và hát các bài được nhập vào nhanh chóng như bức hoạ Mona Lisa kể lại đoạn độc thoại của Rosalind trong As You Like It , Màn 3, Cảnh 2 của Shakespeare.