Nvidia Broadcast sử dụng AI thay thế mắt của bạn bằng mắt "mô phỏng" khi đang ghi hình

Nvidia đã phát hành Nvidia Broadcast 1.4 trong tuần này cùng một vài tính năng beta mới để cải thiện video và một trong số đó cố gắng giải quyết những vấn đề trong việc ghi hình. 

Bằng cách sử dụng AI, tính năng “Giao tiếp bằng mắt” sẽ thay thế mắt của bạn bằng mắt "mô phỏng" trên camera, từ đó có thể thay đổi hướng nhìn của mắt đối tượng trên video. Hiệu ứng này cũng cho phép người xem dễ dàng giao tiếp bằng mắt với người trong video. 

Nvidia không phải là công ty đầu tiên ra mắt tính năng giao tiếp bằng mắt trong các cuộc gọi video hoặc ghi hình truyền hình. Trước đó, Apple đã bắt đầu thử nghiệm tính năng tương tự có tên là "Chỉnh sửa sự chú ý" trên FaceTime với iOS 13 vào năm 2019. Ngoài ra, Microsoft cũng đã thêm tính năng tương tự cho Surface Pro X vào năm 2020, chức năng này hoạt động trong nhiều ứng dụng gọi điện video như Microsoft Teams và Skype.

Tuy nhiên, trong khi Apple thiết kế tính năng chỉnh sửa giao tiếp bằng mắt xung quanh các cuộc đối thoại hai chiều, thì dự án của Nvidia giúp những người ghi hình trực tuyến có thể đọc thoại trong khi ghi hình hoặc phát trực tuyến. Tính năng này cũng có thể biết được khi nào nên ngừng giao tiếp bằng mắt nếu người nói cố tình nhìn ra xa, chuyển đổi mượt mà giữa mắt thật và mắt mô phỏng. 

Tuy nhiên, Eye Contact vẫn đang trong giai đoạn thử nghiệm vì Nvidia chưa thử nghiệm nó cho tất cả các kết hợp màu mắt và điều kiện ánh sáng. Công ty muốn người dùng gửi các video clip dưới dạng phản hồi để trợ giúp hệ thống dựa trên AI.

Một bổ sung mới khác cho Nvidia Broadcast là hiệu ứng họa tiết mà Nvidia cho biết tương tự như của Instagram và cải thiện các hiệu ứng Nền ảo Làm mờ, Thay thế và Xóa.

Ngoài ra, Nvidia cũng đã thêm các tính năng mới của mình vào Maxine, các nhà phát triển SDK có thể sử dụng để tích hợp các tính năng của Nvidia Broadcast vào các ứng dụng khác - dưới dạng microservice. Các nhà phát triển cũng có thể có quyền truy cập sớm vào các tính năng mới khác có tên là Live Portrait.

Công cụ này yêu cầu ít nhất một card màn hình GeForce RTX 2060 (hoặc Quadro tương đương) và 8GB RAM. Cấu hình mà NVIDIA khuyến nghị là một bộ xử lý Core i5-8600 hoặc Ryzen 5 2600.