Microsoft phát triền thành công công cụ AI mới, có khả năng "giả" giọng con người

Một nhóm các nhà nghiên cứu của Microsoft đã công bố một AI mới có thể bắt chước chính xác giọng nói của con người, chi với 3 giây nghe thử.

Công cụ AI của Microsoft, có tên là Vall-E, được đào tạo về "các mã rời rạc bắt nguồn từ mô hình ngôn ngữ codec thần kinh" chứa 60.000 giờ bài phát biểu bằng tiếng Anh được ghi âm từ hơn 7.000 người nói duy nhất, “được trích xuất và xử lý từ sách nói LibriVox

Theo Ars Technica cho biết, Vall-E được xây dựng trên một công nghệ có tên là EnCodec mà Meta đã công bố vào tháng 10 năm 2022. Công cụ hoạt động bằng cách phân tích giọng nói của một người, chia nhỏ thông tin thành các thành phần và sử dụng quá trình đào tạo của nó để tổng hợp âm thanh của giọng nói nếu người đó đang nói thành cụm từ khác nhau. Ngay cả sau khi chỉ nghe một đoạn mẫu dài ba giây, Vall-E có thể tái tạo âm sắc và giai điệu cảm xúc của người nói.

Kết quả thử nghiệm cho thấy Vall-E vượt trội đáng kể so với hệ thống TTS zero-shot tiên tiến nhất [AI tái tạo giọng nói mà nó chưa từng nghe thấy] về độ truyền cảm từ giọng nói và độ tương đồng của người nói. Ngoài ra, VALL-E có thể hiểu và bắt chước cảm xúc của người nói và môi trường âm thanh của dấu nhắc âm thanh trong quá trình tổng hợp.

Bạn có thể nghe các ví dụ về cách tạo lại giọng nói của Vall-E trên GitHub. Các nhà nghiên cứu của Microsoft tin rằng Vall-E có thể được sử dụng như một công cụ chuyển văn bản thành giọng nói, một cách chỉnh sửa lời nói và một hệ thống tạo âm thanh bằng cách kết hợp nó với các AI thế hệ mới khác như GPT-3.

Microsoft đã chia sẻ một bộ sưu tập phong phú các mẫu do VALL-E tạo ra để bạn có thể tự mình nghe thấy khả năng mô phỏng giọng nói có khả năng như thế nào, nhưng kết quả hiện tại là một túi hỗn hợp. Đôi khi, công cụ này gặp sự cố khi tạo lại các dấu, kể cả những dấu tinh tế từ các mẫu nguồn mà người nói phát ra âm thanh Ailen và khả năng thay đổi cảm xúc của một cụm từ nhất định đôi khi gây cười. Nhưng thông thường, các mẫu do VALL-E tạo ra có âm thanh tự nhiên, ấm áp và hầu như không thể phân biệt được với loa gốc trong ba clip nguồn thứ hai.

Tương tự như với các AI khác, khả năng cao Vall-E sẽ bị lạm dụng thực hiện những việc phi pháp. Mạo danh các nhân vật của công chúng là một ví dụ, đặc biệt là khi công cụ này được sử dụng kết hợp cùng Deepfakes. Ngoài ra còn có một thực tế là một số hệ thống an ninh sử dụng nhận dạng giọng nói. Đối với tác động của nó đối với việc làm, Vall-E có thể sẽ là một cách "rẻ" hơn so với việc thuê diễn viên lồng tiếng.

Giải quyết các rủi ro của việc Vall-E bị lạm dụng, các nhà nghiên cứu cho biết những rủi ro này có thể được giảm thiểu. Microsoft cho biết, có thể xây dựng mô hình phát hiện để phân biệt xem clip âm thanh có được tổng hợp bởi VALL-E hay không. Microsoft cũng sẽ áp dụng các Nguyên tắc Trí tuệ nhân tạo của công ty vào thực tiễn khi tiếp tục phát triển các mô hình