AI Của Alibaba Có Thể "Biến" Bức Hoạ Monalisa Biết Nói Và Hát

mô hình Emote Portrait Live là một bước tiến quan trọng trong việc biến ảnh tĩnh thành chuyển động.

Các kỹ sư Trung Quốc tại Viện Điện toán Thông minh (IIC) của Alibaba, vừa phát triển một ứng dụng AI có tên Emote Portrait Live, có thể "biến hình" một bức ảnh tĩnh có thể nói và hát được.

Công nghệ đằng sau mô hình Emote Portrait Live dựa trên khả năng tổng hợp của các mô hình khuếch tán. Mô hình khuếch tán là một mô hình toán học được sử dụng để mô tả cách mọi thứ lan truyền hoặc khuếch tán theo thời gian. Trong trường hợp này, mô hình khuếch tán được sử dụng để mô tả cách các chuyển động trên khuôn mặt lan truyền từ một điểm khởi đầu đến các phần khác của khuôn mặt.

AI Của Alibaba Có Thể Biến Bức Hoạ Monalisa Biết Nói Và Hát

Mô hình Emote Portrait Live sử dụng mô hình khuếch tán để tổng hợp trực tiếp video đầu nhân vật từ hình ảnh được cung cấp và bất kỳ clip âm thanh nào. Quá trình này bỏ qua nhu cầu xử lý trước phức tạp hoặc biểu diễn trung gian, do đó đơn giản hóa việc tạo video đầu người biết nói.

Mục tiêu của nhóm nghiên cứu là phát triển một khung đầu biết nói có thể nắm bắt được nhiều biểu cảm thực tế trên khuôn mặt, bao gồm cả những biểu cảm vi mô tinh tế và cho phép chuyển động đầu tự nhiên. Để làm được điều đó, các nhà nghiên cứu đã đưa các cơ chế điều khiển ổn định vào mô hình của họ, cụ thể là bộ điều khiển tốc độ và bộ điều khiển vùng mặt, để cải thiện độ ổn định trong quá trình tạo ra.

AI Của Alibaba Có Thể Biến Bức Hoạ Monalisa Biết Nói Và Hát 2

So với các AI trước đây chỉ có thể biến đổi miệng và một phần của khuôn mặt, thì Emote có thể tạo nét mặt, tư thế, nhíu mày hoặc lắc lư. Đặc biệt, phần miệng được AI tạo ra trông rất tự nhiên. 

Trong một số video do Alibaba công bố, hình ảnh sẽ biến thành video và hát các bài được nhập vào nhanh chóng như bức hoạ Mona Lisa kể lại đoạn độc thoại của Rosalind trong As You Like It , Màn 3, Cảnh 2 của Shakespeare.

Bài liên quan

Bài đọc nhiều nhất

Bài mới trong ngày

Spotify Xác Nhận U29 Đang Thống Trị 70% Lượng Nghe Nhạc Anime Toàn Cầu

Spotify Xác Nhận U29 Đang Thống Trị 70% Lượng Nghe Nhạc Anime Toàn Cầu

hoanlagvnDũng Nhỏ TT

Nhạc anime đang trở thành một hiện tượng văn hóa toàn cầu, và thế hệ dưới 29 tuổi (U29) chính là lực lượng tiên phong dẫn dắt xu hướng này. Theo tiết lộ mới nhất từ Spotify trong một bài phỏng vấn với BBC, nhóm U29 hiện chiếm tới 70% lượng nghe nhạc anime toàn cầu, minh chứng cho sức hút mãnh liệt của dòng nhạc từng bị coi là “kén tai” và chỉ dành riêng cho fan Nhật Bản.

Giải trí
AYANEO NEXT 2: Máy chơi game cầm tay đầu tiên dùng chip Strix Halo, thiết kế "quái vật", tản nhiệt 2 quạt

AYANEO NEXT 2: Máy chơi game cầm tay đầu tiên dùng chip Strix Halo, thiết kế "quái vật", tản nhiệt 2 quạt

hoanlagvnDũng Nhỏ TT

Sau loạt thiết bị như AYANEO Pocket và Flip DS, AYANEO vừa giới thiệu nguyên mẫu NEXT 2, máy chơi game cầm tay đầu tiên trang bị vi xử lý AMD Strix Halo Ryzen AI Max+ 395, con chip APU di động mạnh nhất của AMD hiện nay, vốn hiếm xuất hiện trên handheld do giá thành quá cao.

Công Nghệ
Lên đầu trang