NVIDIA Ra mắt Mô hình Ngôn ngữ Nhỏ với Độ chính xác Hàng đầu Ngành: Mistral-NeMo-Minitron 8B

NVIDIA Ra mắt Mô hình Ngôn ngữ Nhỏ với Độ chính xác Hàng đầu Ngành: Mistral-NeMo-Minitron 8B

NVIDIA và Mistral AI vừa công bố Mistral-NeMo-Minitron 8B, một mô hình ngôn ngữ nhỏ nhưng mạnh mẽ và chính xác cao, được tối ưu hóa cho hoạt động thời gian thực. Mô hình này được xây dựng dựa trên nền tảng NeMo 12B của NVIDIA và Mistral AI, và là một phiên bản thu nhỏ, được thiết kế đặc biệt cho các trung tâm dữ liệu được tăng tốc bởi GPU, đám mây và các máy trạm cao cấp với phần cứng NVIDIA RTX.

Khác với các mô hình AI có thể mở rộng, độ chính xác thường bị hy sinh để đảm bảo hiệu suất, Mistral-NeMo-Minitron 8B mang đến sự kết hợp hoàn hảo giữa cả hai yếu tố này.

Với kích thước đủ nhỏ để chạy thời gian thực trên các máy trạm hoặc máy tính để bàn với card đồ họa GeForce RTX 40 Series cao cấp, NVIDIA khẳng định rằng phiên bản 8B (8 tỷ tham số) hoạt động xuất sắc trong các bài kiểm tra hiệu năng cho các ứng dụng chatbot AI, trợ lý ảo, tạo nội dung và công cụ giáo dục.

Mô hình Mistral-NeMo-Minitron 8B hiện đang được cung cấp dưới dạng dịch vụ vi mô NVIDIA NIM (tải xuống thông qua Hugging Face) và đang vượt trội hơn Llama 3.1 8B và Gemma 7B trong ít nhất chín bài kiểm tra phổ biến về độ chính xác cho các mô hình ngôn ngữ AI.

Bryan Catanzaro, Phó chủ tịch nghiên cứu học sâu ứng dụng tại NVIDIA, chia sẻ: "Chúng tôi kết hợp hai phương pháp tối ưu hóa AI khác nhau - cắt tỉa để thu nhỏ 12 tỷ tham số của Mistral NeMo xuống còn 8 tỷ, và chưng cất để cải thiện độ chính xác. Nhờ đó, Mistral-NeMo-Minitron 8B đạt được độ chính xác tương đương với mô hình gốc nhưng với chi phí tính toán thấp hơn."

Cắt tỉa và chưng cất trong đào tạo AI bao gồm việc thu nhỏ mạng lưới thần kinh bằng cách loại bỏ các thành phần "góp phần ít nhất vào độ chính xác" và đào tạo lại mô hình đã cắt tỉa thông qua chưng cất.

NVIDIA cũng xác nhận rằng họ đang phát triển một phiên bản "nhỏ hơn" có tên Nemotron-Mini-4B-Instruct, được tối ưu hóa cho bộ nhớ thấp và thời gian phản hồi nhanh hơn trên các máy tính để bàn và máy tính xách tay NVIDIA GeForce RTX AI.

Để tìm hiểu thêm về Mistral-NeMo-Minitron 8B, hãy truy cập blog kỹ thuật của NVIDIA.

Sự ra mắt của mô hình này đánh dấu một bước tiến quan trọng trong việc phát triển các mô hình AI nhỏ gọn nhưng hiệu quả cao, mở ra nhiều tiềm năng cho các ứng dụng AI trong tương lai.