Google ra mắt PaLM 2, mô hình ngôn ngữ lớn thế hệ tiếp theo

Tại hội nghị nhà phát triển I/O của mình, Google vừa cho ra mắt PaLM 2, mô hình ngôn ngữ lớn (LLM) mới nhất của mình. PaLM 2 sẽ cung cấp năng lượng cho công cụ trò chuyện Bard và một số dịch vụ khác của Google.

Bard được nâng cấp là đối thủ cạnh tranh của công ty với ChatGPT của OpenAI và hoạt động như mô hình nền tảng cho hầu hết các tính năng AI mới mà công ty sẽ công bố hôm nay. PaLM 2 hiện khả dụng cho các nhà phát triển thông qua API PaLM của Google, Firebase và trên Colab.

Xem thêm: Google Bard giờ đây có thể viết, gỡ lỗi và giải thích code cho lập trình viên

Tương tự như OpenAI, Google đã không đưa ra bất kỳ thông tin kỹ thuật về cách đào tạo mô hình thế hệ tiếp theo này của mình. Thông tin duy nhất mà Google giới thiệu là PaLM 2 được xây dựng dựa trên framework học máy JAX và TPU v4 mới nhất của Google.

PaLM 2 hiện cũng bao gồm các tính năng hỗ trợ viết và gỡ lỗi code. PaLM 2 được xây dựng trên nền tảng Codey, một nền tảng giúp các nhà phát triển có những câu trả lời về API và hỗ trợ triển khai các đoạn code. Google cũng nhấn mạnh rằng PaLM 2 được đào tạo để có thể hiểu hơn 100 ngôn ngữ và 20 ngôn ngữ lập trình, bao gồm những ngôn ngữ phổ biến như JavaScript và Python, bên cạnh đó là Prolog, Verilog và Potran.

Ngoài việc ra mắt PaLM 2 tại sự kiện I/O, Google cũng tiết lộ thêm một loạt các mô hình AI khác bao gồm: Med-PaLM 2 một mô hình AI khác tập trung vào kiến thức ngành y; Sec-PaLM 2, một phiên bản tập trung vào bảo mật; cuối cùng là PaLM 2 phiên bản cấp thấp, hỗ trợ trên điện thoại di động.

Google cho biết có khoảng 25 sản phẩm đã triển khai PaLM 2 như YouTube, Gmail, Google Docs, Google Slides, ...

Tương tự như các mô hình ngôn ngữ khác được ra mắt, PaLM 2 vẫn trong giai đoạn thử nghiệm và kiếm chứng rủi ro, đặc biệt là đối với các phản hồi độc hại bằng nhiều ngôn ngữ.

Xem thêm: Google chính thức trình làng Pixel Fold, cạnh tranh trực tiếp với Samsung Galaxy

Theo Google, mặc dù các nhà nghiên cứu làm sạch các dữ liệu đào tạo LLM đến mức nào đi chăng nữa, thì chắc chắn một số yêu cầu độc hại vẫn sẽ lọt qua kiểm duyệt. Giai đoạn tiếp theo là tiếp tục đào tạo PaLM 2 để giám sát độ độc hại.

Google cũng sẽ bắt đầu làm việc trên mô hình tiếp theo của mình nhằm mang lại những đổi mới trong tương lai. Được gọi là Gemini, công ty cho biết mô hình này bắt đầu thực hiện các khả năng đa phương thức chưa từng xuất hiện ở các mẫu trước. Tương tự như PaLM 2, Gemini sẽ có nhiều kích thước và tính năng khác nhau để sử dụng trên các sản phẩm, ứng dụng và thiết bị khác nhau.