NVIDIA Giới Thiệu Kỹ Thuật Cắt Tỉa Và Chưng Cất Cho Các Mô Hình Ngôn Ngữ Lớn Hiệu Quả

NVIDIA Giới Thiệu Kỹ Thuật Cắt Tỉa Và Chưng Cất Cho Các Mô Hình Ngôn Ngữ Lớn Hiệu Quả

Trong nỗ lực không ngừng để tối ưu hóa hiệu suất và giảm thiểu tài nguyên cần thiết cho các mô hình ngôn ngữ lớn (LLM), NVIDIA đã giới thiệu kỹ thuật kết hợp cắt tỉa cấu trúc và chưng cất kiến thức. Phương pháp đột phá này hứa hẹn sẽ tạo ra các mô hình ngôn ngữ nhỏ gọn hơn, tiết kiệm chi phí hơn mà vẫn duy trì hiệu suất xử lý ngôn ngữ tự nhiên ấn tượng.

LLM đã và đang cách mạng hóa lĩnh vực xử lý ngôn ngữ tự nhiên nhờ khả năng hiểu và tạo văn bản giống con người. Tuy nhiên, việc triển khai LLM thường đòi hỏi nguồn lực tính toán khổng lồ, khiến chúng trở nên khó tiếp cận với nhiều doanh nghiệp và nhà phát triển. Nhận thức được thách thức này, các nhà nghiên cứu tại NVIDIA đã phát triển một giải pháp sáng tạo kết hợp hai kỹ thuật tối ưu hóa mô hình mạnh mẽ: cắt tỉa và chưng cất.

Cắt tỉa (Pruning) là quá trình loại bỏ các thành phần không cần thiết hoặc dư thừa khỏi mô hình học sâu mà không ảnh hưởng đáng kể đến hiệu suất tổng thể. Quá trình này có thể được thực hiện theo hai cách:

• Cắt tỉa theo chiều sâu (Depth Pruning): Loại bỏ toàn bộ các lớp từ mô hình.
• Cắt tỉa theo chiều rộng (Width Pruning): Loại bỏ các nơ-ron, đầu chú ý (attention head) và kênh nhúng (embedding channel).

Sau khi cắt tỉa, mô hình thường được đào tạo lại để khôi phục độ chính xác.

Chưng cất kiến thức (Knowledge Distillation) là kỹ thuật chuyển kiến thức từ một mô hình lớn, phức tạp (mô hình giáo viên) sang một mô hình nhỏ hơn, đơn giản hơn (mô hình học sinh). Mục tiêu là cho phép mô hình học sinh bắt chước hành vi của mô hình giáo viên, từ đó đạt được hiệu suất tương đương với mô hình lớn hơn nhưng với chi phí tính toán thấp hơn.

NVIDIA tập trung vào chưng cất kiến thức cổ điển, trong đó mô hình học sinh được đào tạo để bắt chước logits (xác suất đầu ra) và các trạng thái trung gian của mô hình giáo viên trên tập dữ liệu huấn luyện. Phương pháp này mang lại phản hồi phong phú hơn cho mô hình học sinh, giúp cải thiện độ chính xác và hiệu quả của quá trình huấn luyện.

Quy trình cắt tỉa và chưng cất của NVIDIA được thực hiện theo ba bước:

1. Cắt tỉa ban đầu: Bắt đầu với mô hình 15 tỷ tham số, NVIDIA phân tích tầm quan trọng của từng thành phần và cắt tỉa xuống còn 8 tỷ tham số.
2. Đào tạo lại với chưng cất kiến thức: Mô hình được cắt tỉa được đào tạo lại bằng cách sử dụng mô hình ban đầu làm giáo viên, giúp mô hình nhỏ hơn học hỏi từ kiến thức của mô hình lớn hơn.
3. Cắt tỉa và chưng cất lặp lại: Quá trình cắt tỉa và chưng cất được lặp lại trên mô hình 8 tỷ tham số để tạo ra mô hình 4 tỷ tham số cuối cùng.

Để đánh giá hiệu quả của phương pháp, NVIDIA đã áp dụng quy trình này cho mô hình Llama 3.1 8B, tạo ra mô hình Llama-3.1-Minitron 4B. Kết quả cho thấy Llama-3.1-Minitron 4B đạt hiệu suất vượt trội so với các mô hình nguồn mở có kích thước tương đương, chẳng hạn như Phi-2 2.7B và Gemma2 2.6B. Hơn nữa, mô hình mới đạt được thông lượng trung bình gấp ~2.7 lần so với mô hình 8B ban đầu, chứng minh hiệu quả vượt trội về tài nguyên.

Nghiên cứu của NVIDIA đã xác định một số phương pháp hay nhất cho việc cắt tỉa và chưng cất:

• Kích thước mô hình: Huấn luyện mô hình lớn nhất trước, sau đó cắt tỉa và chưng cất lặp lại.
• Lựa chọn phương pháp cắt tỉa: Ưu tiên cắt tỉa theo chiều rộng hơn chiều sâu cho các mô hình ≤ 15 tỷ tham số.
• Kỹ thuật đào tạo lại: Sử dụng kết hợp mất mát logit và mất mát trạng thái trung gian trong quá trình chưng cất kiến thức.

Kết luận, kỹ thuật kết hợp cắt tỉa và chưng cất kiến thức của NVIDIA là một bước tiến quan trọng trong việc triển khai LLM hiệu quả. Phương pháp này không chỉ giảm đáng kể tài nguyên cần thiết mà còn duy trì, thậm chí cải thiện, hiệu suất của mô hình.