Viện Đổi mới Công nghệ UAE cách mạng hóa mô hình ngôn ngữ AI với kiến trúc mới

Viện Đổi mới Công nghệ UAE cách mạng hóa mô hình ngôn ngữ AI với kiến trúc mới

Viện Đổi mới Công nghệ (TII) của UAE đã giới thiệu mô hình ngôn ngữ lớn mới trong dòng sản phẩm Falcon của mình, Falcon Mamba 7B. Mô hình mới này là mô hình ngôn ngữ không gian trạng thái (SSLM) mã nguồn mở hoạt động hiệu quả nhất thế giới, được Hugging Face xác minh độc lập.

Đây là mô hình SSLM đầu tiên dành cho Falcon, đánh dấu sự chuyển hướng từ các mô hình Falcon trước đó đều sử dụng kiến trúc dựa trên máy biến áp (transformer). Falcon Mamba 7B là minh chứng cho thấy những nỗ lực nghiên cứu tiên phong của Viện và các công cụ, sản phẩm đột phá mà Viện cung cấp cho cộng đồng dưới dạng mã nguồn mở.

Ưu điểm của Falcon Mamba 7B:

• Hiệu suất vượt trội: Falcon Mamba 7B vượt trội hơn các mô hình kiến trúc máy biến áp truyền thống như Llama 3.1 8B, Llama 3 8B của Meta và Mistral 7B trên các điểm chuẩn mới được giới thiệu bởi HuggingFace. Đối với các SSLM khác, Falcon Mamba 7B vượt qua tất cả các mô hình mã nguồn mở khác trong các điểm chuẩn cũ và sẽ là mô hình đầu tiên trên bảng xếp hạng điểm chuẩn mới, khắt khe hơn của HuggingFace.
• Hiệu quả bộ nhớ: Các mô hình không gian trạng thái có hiệu suất cực cao trong việc hiểu các tình huống phức tạp phát triển theo thời gian, chẳng hạn như toàn bộ một cuốn sách. Điều này là do SSLM không yêu cầu thêm bộ nhớ để xử lý lượng thông tin lớn như vậy. Ngược lại, các mô hình dựa trên máy biến áp, mặc dù rất hiệu quả trong việc ghi nhớ và sử dụng thông tin đã xử lý trước đó trong một chuỗi, nhưng lại đòi hỏi sức mạnh tính toán đáng kể do phải so sánh mọi từ với mọi từ khác.

Ứng dụng:

Giống như các mô hình kiến trúc máy biến áp, SSLM cũng vượt trội trong các tác vụ Xử lý Ngôn ngữ Tự nhiên và có thể được áp dụng cho dịch máy, tóm tắt văn bản, thị giác máy tính và xử lý âm thanh.

Tầm nhìn:

Theo ông Faisal Al Bannai, Tổng thư ký ATRC và Cố vấn cho Tổng thống UAE về Nghiên cứu Chiến lược và Công nghệ Tiên tiến, Falcon Mamba 7B đánh dấu mô hình AI xếp hạng hàng đầu thứ tư liên tiếp của TII, củng cố vị thế của Abu Dhabi như trung tâm toàn cầu về nghiên cứu và phát triển AI. Thành tựu này cũng nêu bật cam kết vững chắc của UAE đối với đổi mới.

Tiến sĩ Najwa Aaraj, Giám đốc điều hành TII, cho biết: “Viện Đổi mới Công nghệ tiếp tục vượt qua ranh giới của công nghệ với dòng mô hình AI Falcon. Falcon Mamba 7B là đại diện cho công việc tiên phong thực sự và mở đường cho những đổi mới AI trong tương lai, nhằm nâng cao năng lực con người và cải thiện cuộc sống.”

Kết luận:

Falcon Mamba 7B sẽ được phát hành theo Giấy phép TII Falcon 2.0, giấy phép phần mềm dựa trên Apache 2.0 cho phép sử dụng, bao gồm chính sách sử dụng được chấp nhận nhằm thúc đẩy việc sử dụng AI có trách nhiệm.

Với việc Falcon LLMs đã được tải xuống hơn 45 triệu lượt, minh chứng cho sự thành công vượt trội của các mô hình này, Falcon Mamba 7B hứa hẹn sẽ tiếp tục tạo nên làn sóng mới trong lĩnh vực AI.