Để trả lời câu hỏi, ChatGPT phải tốn 700.000 USD mỗi ngày để vận hành

Việc sử dụng ChatGPT để viết mail, tạo kế hoạch bài học và làm lại profile cá nhân có thể ngốn của OpenAI tới 700.000 USD mỗi ngày do hoạt động trên hệ thống máy chủ đắt đỏ.

"Hầu hết chi phí này dựa trên các máy chủ đắt tiền mà họ yêu cầu," Dylan Patel, nhà phân tích chính của công ty nghiên cứu chất bán dẫn SemiAnalysis cho biết.

Xem thêm: Nhiếp ảnh gia từ chối giải thưởng, sau khi tác phẩm được tạo ra bằng AI của ông đoạt giải nhất

Nhà phân tích cũng cho biết thêm, việc vận hành ChatGPT còn tốn kém hơn sau khi GPT-4 ra mắt và còn số 700.000 USD được ông đưa ra khi OpenAI đang chạy mô hình ngôn ngữ GPT-3. 

Hiện tại, OpenAI vẫn chưa đưa ra bình luận gì. 

Afzal Ahmad, một nhà phân tích khác tại SemiAnalysis, cho biết: Mặc dù việc đào tạo các mô hình ngôn ngữ lớn của ChatGPT có thể tiêu tốn hàng chục triệu USD, chi phí vận hành hoặc chi phí suy luận, "vượt xa chi phí đào tạo khi triển khai một mô hình ở bất kỳ quy mô hợp lý nào".

Các công ty sử dụng mô hình ngôn ngữ của OpenAI đã phải trả giá đắt trong nhiều năm. Nick Walton, CEO của Latitude, một startup đứng sau trò chơi dungeon AI sử dụng gợi ý bằng văn bản để tạo cốt truyện, cho biết việc chạy mô hình này cùng với các khoản thanh toán cho máy chủ Amazon Web Services khiến công ty phải trả 200.000 USD mỗi tháng để AI trả lời hàng triệu câu hỏi mà người dùng đặt ra trong năm 2021.

Chi phí đắt đỏ là một phần lý do khiến Walton quyết định chuyển sang một nhà cung cấp phần mềm được hỗ trợ bởi AI21 Labs, điều này giúp công ty cắt giảm một nửa chi phí AI còn 100.000 USD/ tháng.

Microsoft "lên tiếng" 

Xem thêm: Microsoft bí mật phát triển chip AI, quyết giành lại ngôi vương GPU H100 của Nvidia

Nhằm giảm chi phí cho các hoạt động mô hình AI, Microsoft đang phát triển một con chip AI có tên là Athena. Dự án bắt đầu vào năm 2019, diễn ra nhiều năm sau khi Microsoft thực hiện thỏa thuận trị giá 1 tỷ USD với OpenAI, yêu cầu OpenAI chạy các mô hình của mình độc quyền trên các máy chủ đám mây Azure của Microsoft.

Theo The Information, ý tưởng đằng sau con chip này có hai mặt. Đầu tiên, CEO của Microsoft nhận ra rằng họ đang tụt lại phía sau Google và Amazon trong nỗ lực xây dựng chip nội bộ của riêng mình. Thứ hai, các mô hình AI của công ty đang chạy trên chip của Nvidia được gọi là bộ xử lý đồ họa. Điều này buộc Microsoft tìm các giải pháp thay thế rẻ hơn và công ty quyết định xây dựng một con chip ít tốn kém hơn.

The Information cho biết, hơn 300 nhân viên của Microsoft hiện đang làm việc trên con chip này sau gần 4 năm phát triển. Con chip này có thể được phát hành để sử dụng nội bộ bởi Microsoft và OpenAI vào đầu năm tới.