Mô hình ngôn ngữ nhỏ Hymba 1.5B của NVIDIA: Vượt trội so với Llama 3.2 và SmolLM v2

Mục lục

1. Giới thiệu
2. Kiến trúc Hymba: Sự kết hợp độc đáo
3. Chi tiết kỹ thuật
4. Hiệu quả, hiệu năng và tính linh hoạt
5. Kết luận
6. Thông tin tác giả

1. Giới thiệu

Các mô hình ngôn ngữ lớn (LLM) như GPT-4 và Llama-2 rất mạnh mẽ nhưng đòi hỏi tài nguyên tính toán đáng kể, khiến chúng không thực tế đối với các thiết bị nhỏ hơn. Đặc biệt, các mô hình transformer dựa trên cơ chế attention có nhu cầu bộ nhớ cao và độ phức tạp tính toán bậc hai, hạn chế hiệu quả của chúng. Các Mô hình không gian trạng thái (SSMs), chẳng hạn như Mamba, cung cấp một giải pháp thay thế với độ phức tạp thấp hơn, nhưng khả năng ghi nhớ hạn chế của chúng cản trở hiệu suất trong các tác vụ phức tạp. Các mô hình lai hiện có kết hợp tuần tự các lớp transformer và SSM thường thiếu sự phối hợp cần thiết để đạt hiệu suất tối ưu.

2. Kiến trúc Hymba: Sự kết hợp độc đáo

NVIDIA đã giới thiệu Hymba, một họ mô hình ngôn ngữ nhỏ mới với kiến trúc lai kết hợp Mamba và các đầu attention hoạt động song song. Mô hình này, với 1,5 tỷ tham số, nhằm mục đích giải quyết các thách thức về hiệu quả và hiệu năng mà các mô hình NLP nhỏ hơn gặp phải, được huấn luyện trên 1,5 nghìn tỷ token.

Các mô hình Hymba của NVIDIA có kiến trúc song song lai kết hợp cơ chế attention của transformer với SSM để tăng cường hiệu quả. Kiến trúc này cho phép các đầu attention và các đầu SSM xử lý dữ liệu đầu vào song song, kết hợp sức mạnh của cả hai phương pháp. Các đầu attention cung cấp khả năng ghi nhớ độ phân giải cao, trong khi các đầu SSM cho phép tóm tắt ngữ cảnh hiệu quả.

Hymba cũng giới thiệu các meta token có thể học được, được đặt trước mỗi lời nhắc đầu vào để giúp lưu trữ thông tin quan trọng và giảm tải cho các cơ chế attention. Kiến trúc của mô hình được tối ưu hóa hơn nữa với việc chia sẻ khóa-giá trị (KV) giữa các lớp và attention cửa sổ trượt một phần để duy trì kích thước bộ nhớ cache nhỏ gọn, giải quyết hiệu quả các hạn chế về bộ nhớ.

3. Chi tiết kỹ thuật

Mô hình Hymba-1.5B kết hợp Mamba và các đầu attention chạy song song với các meta token để tăng cường hiệu quả. Thiết lập này giảm tải tính toán của các transformer mà không ảnh hưởng đến khả năng ghi nhớ. Hymba bao gồm 16 trạng thái SSM và 3 lớp attention đầy đủ, trong khi phần còn lại sử dụng attention cửa sổ trượt để cân bằng hiệu quả với độ phân giải bộ nhớ. Nó cũng có tính năng FlexAttention từ PyTorch 2.5, thêm tính linh hoạt cho việc huấn luyện và suy luận của mô hình.

Một tính năng quan trọng của Hymba là khả năng chia sẻ bộ nhớ cache KV giữa nhiều lớp và giữa các đầu trong cùng một lớp, làm giảm đáng kể việc sử dụng bộ nhớ. Sự kết hợp của attention cửa sổ trượt và bộ nhớ cache KV được chia sẻ giúp giảm thiểu độ phức tạp tính toán, làm cho Hymba hiệu quả hơn so với các mô hình khác có kích thước tương tự.

4. Hiệu quả, hiệu năng và tính linh hoạt

Hymba chứng minh rằng các mô hình ngôn ngữ nhỏ có thể đạt được hiệu năng cạnh tranh trong khi vẫn hiệu quả về mặt tính toán. Trong các bài kiểm tra chuẩn, mô hình Hymba-1.5B-Base đã vượt trội so với tất cả các mô hình công khai dưới 2B và vượt qua Llama-3.2-3B với độ chính xác trung bình cao hơn 1,32%, giảm kích thước bộ nhớ cache 11,67 lần và tăng tốc độ xử lý 3,49 lần. Điều này làm cho Hymba phù hợp để triển khai trên phần cứng nhỏ hơn, kém khả năng hơn.

Thiết lập attention lai và SSM của Hymba cải thiện hiệu năng trên nhiều tác vụ, bao gồm cả các bài kiểm tra chuẩn chung và các tác vụ tập trung vào khả năng ghi nhớ. Tốc độ xử lý của nó khoảng 664 token mỗi giây, cao hơn đáng kể so với các mô hình khác như SmolLM2 hoặc Llama-3.2-3B, gặp phải sự cố hết bộ nhớ trong các kịch bản thử nghiệm tương tự. Các số liệu này nhấn mạnh tính phù hợp của Hymba đối với các kịch bản triển khai thực tế, nơi cả tốc độ và hiệu quả bộ nhớ đều rất cần thiết.

5. Kết luận

Họ mô hình ngôn ngữ nhỏ Hymba của NVIDIA đại diện cho một bước tiến đáng kể trong hiệu quả và tính linh hoạt của các công nghệ NLP. Bằng cách kết hợp attention của transformer và các mô hình không gian trạng thái thông qua kiến trúc song song lai, Hymba cung cấp một con đường để triển khai các khả năng NLP hiệu quả trên các thiết bị có tài nguyên hạn chế. Yêu cầu bộ nhớ giảm, tốc độ xử lý tăng và việc sử dụng sáng tạo các meta token và chia sẻ KV giữa các lớp làm cho nó trở thành một lựa chọn đầy hứa hẹn cho các ứng dụng mô hình ngôn ngữ trong tương lai, nơi cả hiệu quả và độ chính xác đều rất quan trọng.

6. Thông tin tác giả

Asif Razzaq là CEO của Marktechpost Media Inc. Là một doanh nhân và kỹ sư có tầm nhìn, Asif cam kết khai thác tiềm năng của Trí tuệ nhân tạo vì lợi ích xã hội. Công việc gần đây nhất của ông là ra mắt nền tảng truyền thông Trí tuệ nhân tạo, Marktechpost, nổi bật với sự bao quát sâu rộng về tin tức máy học và học sâu, vừa chính xác về mặt kỹ thuật vừa dễ hiểu đối với nhiều đối tượng khán giả. Nền tảng này tự hào có hơn 2 triệu lượt xem mỗi tháng, minh chứng cho sự phổ biến của nó trong số khán giả.