NVIDIA DoRA: Phương pháp tinh chỉnh hiệu quả hơn cho mô hình AI

Mục lục:

• Giới thiệu DoRA

• Ưu điểm của DoRA

• Cơ chế hoạt động của DoRA

• Hiệu suất của DoRA trên các mô hình khác nhau

  • Mô hình Ngôn ngữ Lớn

  • Mô hình Ngôn ngữ Hình ảnh

  • Mô hình Ngôn ngữ Nén

  • Tạo hình ảnh từ văn bản

• Tác động và ứng dụng trong tương lai

1. Giới thiệu DoRA

DoRA (Weight-Decomposed Low-Rank Adaptation) là một phương pháp tinh chỉnh mới được phát triển bởi NVIDIA, được thiết kế để cải thiện hiệu suất của mô hình AI. DoRA hoạt động bằng cách phân tách trọng số được huấn luyện trước thành các thành phần độ lớn và hướng, sau đó tinh chỉnh cả hai thành phần này. Phương pháp này tận dụng LoRA (Low-Rank Adaptation) cho việc điều chỉnh hướng, đảm bảo hiệu quả tinh chỉnh. Sau quá trình huấn luyện, DoRA kết hợp lại các thành phần đã được tinh chỉnh vào trọng số được huấn luyện trước, tránh thêm độ trễ trong quá trình suy luận.

2. Ưu điểm của DoRA

So với LoRA, DoRA đã chứng minh hiệu quả vượt trội trong nhiều mô hình Ngôn ngữ Lớn (LLM) và mô hình Ngôn ngữ Hình ảnh (VLM). DoRA đã đạt được kết quả tốt hơn trong các nhiệm vụ lý luận, chẳng hạn như cải thiện +3.7 điểm trên Llama 7B và +4.4 điểm trên Llama 3 8B. Ngoài ra, DoRA còn cho thấy kết quả tốt hơn trong các điểm chuẩn đa lượt, hiểu hình ảnh/video-văn bản và các nhiệm vụ tinh chỉnh hướng dẫn thị giác. DoRA đã được chấp nhận là bài báo trình bày tại ICML 2024, khẳng định uy tín và tác động tiềm năng của nó trong lĩnh vực học máy.

3. Cơ chế hoạt động của DoRA

DoRA hoạt động bằng cách phân tách trọng số được huấn luyện trước thành các thành phần độ lớn và hướng, sau đó tinh chỉnh cả hai. Phương pháp này tận dụng LoRA cho việc điều chỉnh hướng, đảm bảo hiệu quả tinh chỉnh. Sau quá trình huấn luyện, DoRA kết hợp lại các thành phần đã được tinh chỉnh vào trọng số được huấn luyện trước, tránh thêm độ trễ trong quá trình suy luận.

4. Hiệu suất của DoRA trên các mô hình khác nhau

a. Mô hình Ngôn ngữ Lớn:

DoRA vượt trội so với LoRA trong các điểm chuẩn lý luận và điểm chuẩn đa lượt. Trong các thử nghiệm, DoRA đạt được điểm trung bình cao hơn trên nhiều bộ dữ liệu, cho thấy hiệu suất ổn định.

b. Mô hình Ngôn ngữ Hình ảnh:

DoRA cũng vượt trội trong các mô hình ngôn ngữ hình ảnh, vượt trội so với LoRA trong các nhiệm vụ như hiểu hình ảnh-văn bản, hiểu video-văn bản và tinh chỉnh hướng dẫn thị giác. Hiệu quả của phương pháp này thể hiện rõ trong điểm trung bình cao hơn trên nhiều điểm chuẩn.

c. Mô hình Ngôn ngữ Nén:

DoRA có thể được tích hợp vào khung QLoRA, nâng cao độ chính xác của các mô hình được huấn luyện trước với bit thấp. Hợp tác với Answer.AI trong dự án QDoRA cho thấy QDoRA vượt trội cả FT và QLoRA trên các mô hình Llama 2 và Llama 3.

d. Tạo hình ảnh từ văn bản:

Ứng dụng của DoRA được mở rộng cho cá nhân hóa tạo hình ảnh từ văn bản với DreamBooth, mang lại kết quả tốt hơn đáng kể so với LoRA trong các bộ dữ liệu khó như 3D Icon và Lego sets.

5. Tác động và ứng dụng trong tương lai

DoRA được kỳ vọng trở thành lựa chọn mặc định cho việc tinh chỉnh mô hình AI, tương thích với LoRA và các biến thể của nó. Hiệu quả và hiệu quả của DoRA biến nó trở thành công cụ có giá trị để điều chỉnh các mô hình cơ bản cho nhiều ứng dụng, bao gồm NVIDIA Metropolis, NVIDIA NeMo, NVIDIA NIM và NVIDIA TensorRT.

Để biết thêm thông tin chi tiết, vui lòng truy cập trang web kỹ thuật của NVIDIA.