Apple Tiết Lộ Bước Đột Phá AI Mới Để Đào Tạo LLM Về Hình Ảnh Và Văn Bản

MM1, mô hình ngôn ngữ lớn của Apple có bước đột phát vượt bậc, có thể xác định và đếm vật thể trong hình ảnh mà không cần đào tạo.

Các nhà nghiên cứu của Apple đã phát triển MM1, một phương pháp mới để đào tạo các mô hình ngôn ngữ lớn (LLM) kết hợp cả thông tin văn bản và hình ảnh. 

Trong một báo cáo mới từ nhà nghiên cứu của hãng cho biết, MM1 là một phần của nhóm mô hình đa phương thức bao gồm tới 30 tỷ tham số, sử dụng tập dữ liệu bao gồm các cặp chú thích hình ảnh, tài liệu văn bản-hình ảnh xen kẽ và dữ liệu chỉ có văn bản.

Apple giải thích mô hình ngôn ngữ lớn đa phương thức (MLLM) là các mô hình nền tảng quy mô lớn xử lý dữ liệu hình ảnh và văn bản để tạo ra kết quả đầu ra văn bản.

Apple tuyên bố rằng MM1 có khả năng đếm các vật thể, xác định từng chủ thể và vật thể trong hình ảnh, thể hiện kiến ​​thức từ ngữ và hiểu biết thông thường về các vật thể hàng ngày cũng như thực hiện các hàm toán học cơ bản. 

Ngoài ra, mô hình cũng hỗ trợ học tập trong ngữ cảnh, nghĩa là MM1 không cần đào tạo lại hoặc tinh chỉnh cho từng truy vấn mà có thể hiểu truy vấn dựa trên ngữ cảnh được cung cấp. Mô hình cũng có khả năng suy luận đa hình ảnh, cho phép nó diễn giải và rút ra kết luận từ nhiều hình ảnh.

"MM1 chỉ là sự khởi đầu và hãng đang trong giai đoạn phát triển mô hình tiếp theo." Brandon McKinzie, kỹ sư nghiên cứu cấp cao của Apple và là người đang nghiên cứu các mô hình đa phương.

Tin tức về MM1 được đưa ra trong khi gần đây nhiều thông tin cho rằng Apple hiện đang đàm phán để tích hợp công nghệ Gemini AI của Google lên các tính năng cho Phone thế hệ tiếp theo. Sự hợp tác này sẽ giúp mở rộng lượng người dùng Google Gemini và giúp Apple có quyền truy cập vào một số công nghệ AI tiên tiến nhất hiện có.