Công Ty Mỹ Phát Triển Thành Công Chip AI Lớn Nhất Thế Giới Với 4 Nghìn Tỷ Bóng Bán Dẫn

Con chip này cũng cần ít mã code hơn 97% để huấn luyện LLM khi so sánh với GPU. Một mô hình có kích thước GPT-3 có thể được triển khai chỉ với 565 dòng mã code.

Công ty Cerebras Systems, trụ sở California, đã ra mắt Wafer Scale Engine 3 (WSE-3), một chip trí tuệ nhân tạo (AI) mạnh gấp đôi so với WSE-2 ra mắt năm 2021.

Theo đó, WSE-3 được sản xuất trên tiến trình 5nm, chứa 4 nghìn tỷ bóng bán dẫn, tích hợp 900.000 nhân tính toán được tối ưu cho AI và có kích thước bằng một miếng wafer silicon vuông 8.5 inch.

Công Ty Mỹ Phát Triển Thành Công Chip AI Lớn Nhất Thế Giới Với 4 Nghìn Tỷ Bóng Bán Dẫn

Chip thế hệ thứ 3 này sẽ được sử dụng để vận hành siêu máy tính AI Cerebras CS-3, cung cấp hiệu năng tối đa 125 petaflop cho các tác vụ AI và có khả năng huấn luyện các mô hình AI lên đến 24 nghìn tỷ tham số.

Cerebras cho biết 24 nghìn tỷ tham số này có thể được lưu trữ trong một vùng nhớ logic đơn, giúp đơn giản hóa đáng kể quy trình huấn luyện và tăng tốc năng suất cho lập trình viên. Cerebras tuyên bố rằng huấn luyện một mô hình 1 nghìn tỷ tham số trên CS-3 đơn giản như huấn luyện một mô hình 1 tỷ tham số trên các GPU thông thường.

“Khi chúng tôi bắt đầu hành trình này 8 năm trước, mọi người đều nói bộ xử lý quy mô wafer là điều viển vông. Chúng tôi vô cùng tự hào khi giới thiệu thế hệ thứ ba của chip AI quy mô wafer đột phá,” Andrew Feldman, CEO và đồng sáng lập của Cerebras cho biết. “WSE-3 là chip AI nhanh nhất thế giới, được thiết kế riêng cho các công việc AI tiên tiến mới nhất. Chúng tôi rất vui mừng được đưa WSE-3 và CS-3 ra thị trường để giúp giải quyết những thách thức AI lớn nhất hiện nay.”

Công Ty Mỹ Phát Triển Thành Công Chip AI Lớn Nhất Thế Giới Với 4 Nghìn Tỷ Bóng Bán Dẫn

Công ty tuyên bố rằng so với GPU power-hungry thì CS-3 có hiệu năng gấp đôi nhưng vẫn giữ mức tiêu thụ điện năng tương đương. Nó cũng yêu cầu ít hơn 97% mã code so với GPU để chạy các mẫu ngôn ngữ lớn. Ví dụ, việc triển khai tiêu chuẩn của một mô hình có kích thước GPT-3 chỉ cần 565 dòng lệnh trên Cerebras.

Cerebras đã hợp tác với một số bên quan tâm, bao gồm cả G42, một công ty phát triển AI. G42 hiện đang phát triển siêu máy tính Condor Galaxy 3, bao gồm 64 "khối xây dựng" hệ thống AI Cerebras CS-3 được cung cấp bởi chip WSE-3. Khi được phát triển, siêu máy tính 8 exaFLOP này sẽ nâng tổng sản lượng máy tính AI của G42 lên 16 exaFLOP.

 

Bài đọc nhiều nhất

Bài mới trong ngày

Duolingo hợp tác Pokémon Go, đưa cú Duo vào sự kiện săn Pokémon đặc biệt

Duolingo hợp tác Pokémon Go, đưa cú Duo vào sự kiện săn Pokémon đặc biệt

Khoa NguyenNguyễn Tiến Khoa

Duolingo và Pokémon Go chuẩn bị tổ chức sự kiện hợp tác, mang đến loạt phần thưởng dành cho người chơi cả hai ứng dụng. Bắt đầu từ ngày 17/11, người dùng hoàn thành thử thách học ngoại ngữ trên Duolingo có thể nhận trang phục Pokémon cho hồ sơ cá nhân và mã quà tặng mở khóa nhiệm vụ nghiên cứu trong Pokémon Go.

Game Online
Brad Pitt xác nhận Ocean’s 14 dự kiến khởi quay vào cuối năm 2027

Brad Pitt xác nhận Ocean’s 14 dự kiến khởi quay vào cuối năm 2027

Khoa NguyenNguyễn Tiến Khoa

Dự án Ocean’s 14 sẽ tiếp tục phải chờ đợi khi Brad Pitt tiết lộ bộ phim dự kiến chỉ bắt đầu ghi hình vào cuối năm 2027. Phần phim thứ năm của thương hiệu trộm cướp nổi tiếng dự kiến quy tụ dàn diễn viên quen thuộc gồm George Clooney, Julia Roberts, Matt Damon và Don Cheadle, với David Leitch đảm nhận vai trò đạo diễn.

Phim Ảnh
Nghịch lý trên chuyên trang IMDb: Bom tấn Nhật Bản "Godzilla Minus Zero" hứng bão điểm 1 sao từ nhóm khán giả chưa từng ra rạp nhưng vẫn thống trị phòng vé Bắc Mỹ

Nghịch lý trên chuyên trang IMDb: Bom tấn Nhật Bản "Godzilla Minus Zero" hứng bão điểm 1 sao từ nhóm khán giả chưa từng ra rạp nhưng vẫn thống trị phòng vé Bắc Mỹ

hoanlagvnDũng Nhỏ TT

Một cuộc chiến điểm số đầy bất thường đang diễn ra trên không gian mạng điện ảnh quốc tế, phơi bày mặt trái của tâm lý hâm mộ cực đoan khi lòng tự tôn văn hóa bị đặt nhầm chỗ. Siêu phẩm quái vật mới nhất mang tên "Godzilla Minus Zero" dưới bàn tay nhào nặn của đạo diễn lừng danh Takashi Yamazaki bất ngờ trở thành tâm điểm của một chiến dịch đánh giá thấp có chủ đích (review bombing) với hàng loạt lượt chấm điểm 1/10 vô lý trên chuyên trang cơ sở dữ liệu điện ảnh hàng đầu thế giới IMDb.

Giải trí
Hacker đứng sau vụ rò rỉ GTA 6 năm 2022 nhận tội tấn công Rockstar Games

Hacker đứng sau vụ rò rỉ GTA 6 năm 2022 nhận tội tấn công Rockstar Games

Khoa NguyenNguyễn Tiến Khoa

Nghi phạm 21 tuổi đứng sau vụ tấn công mạng nhằm vào Rockstar Games và làm rò rỉ hàng loạt hình ảnh gameplay GTA 6 vào năm 2022 đã nhận tội tại tòa án Anh. Các cuộc tấn công của người này còn nhắm đến Uber và EE/BT, với tổng thiệt hại được ước tính khoảng 10 triệu bảng Anh.

Giải trí
Lên đầu trang