AI Của Alibaba Có Thể "Biến" Bức Hoạ Monalisa Biết Nói Và Hát

mô hình Emote Portrait Live là một bước tiến quan trọng trong việc biến ảnh tĩnh thành chuyển động.

Các kỹ sư Trung Quốc tại Viện Điện toán Thông minh (IIC) của Alibaba, vừa phát triển một ứng dụng AI có tên Emote Portrait Live, có thể "biến hình" một bức ảnh tĩnh có thể nói và hát được.

Công nghệ đằng sau mô hình Emote Portrait Live dựa trên khả năng tổng hợp của các mô hình khuếch tán. Mô hình khuếch tán là một mô hình toán học được sử dụng để mô tả cách mọi thứ lan truyền hoặc khuếch tán theo thời gian. Trong trường hợp này, mô hình khuếch tán được sử dụng để mô tả cách các chuyển động trên khuôn mặt lan truyền từ một điểm khởi đầu đến các phần khác của khuôn mặt.

AI Của Alibaba Có Thể Biến Bức Hoạ Monalisa Biết Nói Và Hát

Mô hình Emote Portrait Live sử dụng mô hình khuếch tán để tổng hợp trực tiếp video đầu nhân vật từ hình ảnh được cung cấp và bất kỳ clip âm thanh nào. Quá trình này bỏ qua nhu cầu xử lý trước phức tạp hoặc biểu diễn trung gian, do đó đơn giản hóa việc tạo video đầu người biết nói.

Mục tiêu của nhóm nghiên cứu là phát triển một khung đầu biết nói có thể nắm bắt được nhiều biểu cảm thực tế trên khuôn mặt, bao gồm cả những biểu cảm vi mô tinh tế và cho phép chuyển động đầu tự nhiên. Để làm được điều đó, các nhà nghiên cứu đã đưa các cơ chế điều khiển ổn định vào mô hình của họ, cụ thể là bộ điều khiển tốc độ và bộ điều khiển vùng mặt, để cải thiện độ ổn định trong quá trình tạo ra.

AI Của Alibaba Có Thể Biến Bức Hoạ Monalisa Biết Nói Và Hát 2

So với các AI trước đây chỉ có thể biến đổi miệng và một phần của khuôn mặt, thì Emote có thể tạo nét mặt, tư thế, nhíu mày hoặc lắc lư. Đặc biệt, phần miệng được AI tạo ra trông rất tự nhiên. 

Trong một số video do Alibaba công bố, hình ảnh sẽ biến thành video và hát các bài được nhập vào nhanh chóng như bức hoạ Mona Lisa kể lại đoạn độc thoại của Rosalind trong As You Like It , Màn 3, Cảnh 2 của Shakespeare.

Bài liên quan

Bài đọc nhiều nhất

Bài mới trong ngày

Sự cố nhận diện gây tranh cãi tại Grammy: "Nữ hoàng nhạc anime" LiSA bị tạp chí Billboard nhầm ảnh thành Lisa (BLACKPINK), hứng chịu bình luận miệt thị là "nghệ sĩ vô danh"

Sự cố nhận diện gây tranh cãi tại Grammy: "Nữ hoàng nhạc anime" LiSA bị tạp chí Billboard nhầm ảnh thành Lisa (BLACKPINK), hứng chịu bình luận miệt thị là "nghệ sĩ vô danh"

hoanlagvnDũng Nhỏ TT

Lần đầu tiên trong lịch sử danh giá của mình, Viện Hàn lâm Thu âm Mỹ (Recording Academy) đã quyết định bổ sung hạng mục mới mang tên Best Asian Pop Music Performance (Màn trình diễn nhạc pop châu Á xuất sắc nhất) tại giải thưởng Grammy. Tuy nhiên, niềm vui chưa kịp trọn vẹn thì hạng mục lịch sử này đã lập tức vướng vào một sự cố truyền thông đầy trớ trêu: nữ ca sĩ hàng đầu Nhật Bản LiSA — giọng ca bảo chứng cho hàng loạt siêu phẩm nhạc phim anime đình đám — bất ngờ bị nhầm lẫn danh tính tai hại với thành viên Lisa của nhóm nhạc K-pop BLACKPINK.

Giải trí
Lời tri ân xúc động của "cha đẻ" Naruto: Masashi Kishimoto tiết lộ "Nếu không có Ninku thì Naruto sẽ không tồn tại", hiện thực hóa giấc mơ qua anime kết hợp 4 tập "Naruto x Ninku"

Lời tri ân xúc động của "cha đẻ" Naruto: Masashi Kishimoto tiết lộ "Nếu không có Ninku thì Naruto sẽ không tồn tại", hiện thực hóa giấc mơ qua anime kết hợp 4 tập "Naruto x Ninku"

hoanlagvnDũng Nhỏ TT

Một tiết lộ đầy bất ngờ và xúc động vừa làm nức lòng hàng triệu người hâm mộ truyện tranh và hoạt hình Nhật Bản trên toàn thế giới, hé lộ cội nguồn sáng tạo thực sự đằng sau một trong những tượng đài vĩ đại nhất lịch sử manga. Mangaka lừng danh Masashi Kishimoto — người kiến tạo nên huyền thoại ninja "Naruto" — mới đây đã thẳng thắn chia sẻ rằng động lực cốt lõi thúc đẩy ông đặt bút vẽ nên hành trình của cậu bé ninja làng Lá chính là khát khao cháy bỏng được chứng kiến phần tiếp theo của bộ truyện "Ninku" do tiền bối Koji Kiriyama chấp bút.

Giải trí
Chi Tiết Cốt Truyện Phantom Blade Zero - Phần 8: Số Phận Huyền Giả Và Bí Mật Hoàn Tâm Vô Hạn

Chi Tiết Cốt Truyện Phantom Blade Zero - Phần 8: Số Phận Huyền Giả Và Bí Mật Hoàn Tâm Vô Hạn

Khoa LêLê Khoa

Sau khi khôi phục cây đàn tỳ bà của Huyền Giả, Hồn tiếp tục hành trình khám phá núi Gia Lung, nơi những tàn dư của Liên Minh Chính Đạo đang ẩn náu. Tại đây, anh không chỉ tìm ra số phận thực sự của Huyền Giả mà còn khám phá bí mật về Hoàn Tâm Vô Hạn, bảo vật đang bị nhiều thế lực tranh đoạt.

Game Offline
Lên đầu trang