AI Của Alibaba Có Thể "Biến" Bức Hoạ Monalisa Biết Nói Và Hát

mô hình Emote Portrait Live là một bước tiến quan trọng trong việc biến ảnh tĩnh thành chuyển động.

Các kỹ sư Trung Quốc tại Viện Điện toán Thông minh (IIC) của Alibaba, vừa phát triển một ứng dụng AI có tên Emote Portrait Live, có thể "biến hình" một bức ảnh tĩnh có thể nói và hát được.

Công nghệ đằng sau mô hình Emote Portrait Live dựa trên khả năng tổng hợp của các mô hình khuếch tán. Mô hình khuếch tán là một mô hình toán học được sử dụng để mô tả cách mọi thứ lan truyền hoặc khuếch tán theo thời gian. Trong trường hợp này, mô hình khuếch tán được sử dụng để mô tả cách các chuyển động trên khuôn mặt lan truyền từ một điểm khởi đầu đến các phần khác của khuôn mặt.

AI Của Alibaba Có Thể Biến Bức Hoạ Monalisa Biết Nói Và Hát

Mô hình Emote Portrait Live sử dụng mô hình khuếch tán để tổng hợp trực tiếp video đầu nhân vật từ hình ảnh được cung cấp và bất kỳ clip âm thanh nào. Quá trình này bỏ qua nhu cầu xử lý trước phức tạp hoặc biểu diễn trung gian, do đó đơn giản hóa việc tạo video đầu người biết nói.

Mục tiêu của nhóm nghiên cứu là phát triển một khung đầu biết nói có thể nắm bắt được nhiều biểu cảm thực tế trên khuôn mặt, bao gồm cả những biểu cảm vi mô tinh tế và cho phép chuyển động đầu tự nhiên. Để làm được điều đó, các nhà nghiên cứu đã đưa các cơ chế điều khiển ổn định vào mô hình của họ, cụ thể là bộ điều khiển tốc độ và bộ điều khiển vùng mặt, để cải thiện độ ổn định trong quá trình tạo ra.

AI Của Alibaba Có Thể Biến Bức Hoạ Monalisa Biết Nói Và Hát 2

So với các AI trước đây chỉ có thể biến đổi miệng và một phần của khuôn mặt, thì Emote có thể tạo nét mặt, tư thế, nhíu mày hoặc lắc lư. Đặc biệt, phần miệng được AI tạo ra trông rất tự nhiên. 

Trong một số video do Alibaba công bố, hình ảnh sẽ biến thành video và hát các bài được nhập vào nhanh chóng như bức hoạ Mona Lisa kể lại đoạn độc thoại của Rosalind trong As You Like It , Màn 3, Cảnh 2 của Shakespeare.

Bài liên quan

Bài đọc nhiều nhất

Bài mới trong ngày

"Kimetsu no Yaiba: Vô Hạn Thành" Đang Trên Đà Lập Kỷ Lục Mới, Dự Báo Vượt Mugen Train Và Xác Lập Doanh Thu Chưa Từng Có Cho Anime

"Kimetsu no Yaiba: Vô Hạn Thành" Đang Trên Đà Lập Kỷ Lục Mới, Dự Báo Vượt Mugen Train Và Xác Lập Doanh Thu Chưa Từng Có Cho Anime

hoanlagvnDũng Nhỏ TT

"Kimetsu no Yaiba: Vô Hạn Thành" không chỉ khuấy đảo phòng vé ở Nhật Bản mà còn đang làm mưa làm gió tại các thị trường quốc tế. Phần đầu tiên của bộ phim đã chứng tỏ sức mạnh khổng lồ của mình khi liên tục phá vỡ các kỷ lục doanh thu và dự đoán sẽ trở thành anime có doanh thu cao nhất mọi thời đại.

Giải trí
Honkai: Star Rail Phiên Bản 3.6 "Trở Về Mặt Đất Từ Đêm Dài" sẽ ra mắt vào ngày 24/9

Honkai: Star Rail Phiên Bản 3.6 "Trở Về Mặt Đất Từ Đêm Dài" sẽ ra mắt vào ngày 24/9

Khoa NguyenNguyễn Tiến Khoa

Phiên bản 3.6 của Honkai: Star Rail đánh dấu sự trở lại của những người bạn quen thuộc từ Đội Tàu Astral cùng nhiều sự kiện, thử thách và tính năng hoàn toàn mới. Đây cũng là bản cập nhật được mong chờ nhất khi Dan Heng – Permansor Terrae chính thức xuất hiện và có thể nhận miễn phí trong thời gian giới hạn.

Game Online
Lên đầu trang