Hệ thống Tăng cường Lời Nhắc (PAS): Cách tối ưu hóa hiệu suất mô hình ngôn ngữ lớn

Mục lục:

1. Khó khăn trong kỹ thuật lời nhắc:
   • Lời nhắc nhạy cảm với cách thức diễn đạt
   • Kỹ thuật lời nhắc khác nhau cho kết quả khác nhau
2. Hệ thống Tăng cường Lời Nhắc (PAS):
   • Giải pháp plug-and-play để tự động chọn kỹ thuật lời nhắc tối ưu
   • Cấu trúc của PAS:
     • Bộ dữ liệu bổ sung lời nhắc
     • Mô hình tăng cường lời nhắc dựa trên LLM
3. Quá trình tạo bộ dữ liệu:
   • Thu thập lời nhắc chất lượng cao từ các nguồn uy tín
   • Sử dụng thuật toán phân cụm và nhúng để nhóm và loại bỏ trùng lặp
   • Sử dụng LLM để phân loại lời nhắc vào các danh mục
   • Tạo lời nhắc mới thông qua kỹ thuật học ít lần
   • Đánh giá và cải thiện chất lượng lời nhắc
4. Cách hoạt động của PAS:
   • Tự động tạo lời nhắc bổ sung để nâng cao lời nhắc gốc
   • Tương thích với các ứng dụng LLM khác nhau
5. Kết quả thử nghiệm:
   • PAS đạt hiệu quả cao hơn so với các phương pháp truyền thống
   • Cải thiện đáng kể điểm hiệu suất trên các bộ dữ liệu đánh giá
   • Sử dụng bộ dữ liệu nhỏ hơn so với các phương pháp khác
   • Tương thích với nhiều mô hình và nhiệm vụ khác nhau
6. Ứng dụng của PAS:
   • Tăng cường hiệu suất của các mô hình LLM nhỏ được tối ưu hóa cho nhiệm vụ cụ thể
   • Nâng cao hiệu quả của các mô hình LLM mạnh mẽ hơn

Kỹ thuật lời nhắc (Prompt engineering) là một tập hợp các phương pháp giúp cải thiện khả năng của các mô hình ngôn ngữ lớn (LLM). Tuy nhiên, việc lựa chọn kỹ thuật lời nhắc phù hợp cho mỗi lời nhắc cụ thể đòi hỏi kiến thức chuyên môn và có thể tốn nhiều thời gian.

Các nhà nghiên cứu tại Đại học Bắc Kinh và Baichuan đã giới thiệu Hệ thống Tăng cường Lời Nhắc (PAS), một kỹ thuật giúp cải thiện hiệu suất của LLM bằng cách tự động lựa chọn kỹ thuật lời nhắc tốt nhất cho mỗi đầu vào. PAS hoạt động như một giải pháp plug-and-play và tương thích với nhiều LLM khác nhau, giúp người dùng dễ dàng tận dụng kỹ thuật lời nhắc.

Một trong những thách thức chính trong kỹ thuật lời nhắc là sự nhạy cảm của LLM đối với cách thức diễn đạt của lời nhắc. Một thay đổi nhỏ trong cách diễn đạt lời nhắc có thể thay đổi đáng kể đầu ra của LLM, ngay cả khi ý định của người dùng vẫn giữ nguyên.

PAS được cấu tạo từ hai phần chính: bộ dữ liệu bổ sung lời nhắc và mô hình tăng cường lời nhắc dựa trên LLM. Bộ dữ liệu chứa các cặp lời nhắc gốc và phiên bản được cải thiện, được tạo ra và tinh chỉnh tự động thông qua một quy trình nhiều bước. Mô hình tăng cường lời nhắc sau đó được huấn luyện trên bộ dữ liệu này để học cách nâng cao các lời nhắc mới.

Để tạo bộ dữ liệu, các nhà nghiên cứu đã thu thập lời nhắc chất lượng cao từ hai nguồn được quản lý cẩn thận: bộ dữ liệu LMSYS-1M và bộ dữ liệu WildChat. Họ sử dụng mô hình nhúng và thuật toán phân cụm để nhóm các ví dụ và loại bỏ bản sao và lời nhắc quá giống nhau. Tiếp theo, họ sử dụng LLM để chọn lời nhắc chất lượng cao nhất và phân loại chúng thành 14 danh mục (ví dụ: trả lời câu hỏi và mã hóa).

Sau đó, các nhà nghiên cứu sử dụng kỹ thuật học ít lần để tự động tạo lời nhắc mới cho mỗi danh mục, sử dụng một tập hợp nhỏ các ví dụ làm hướng dẫn. Họ sử dụng một lời nhắc học ít lần khác để đánh giá chất lượng của các lời nhắc được tạo ra. Các ví dụ kém chất lượng sau đó được gửi lại bước tạo để cải thiện.

Bộ dữ liệu bổ sung lời nhắc, bao gồm khoảng 9.000 cặp chất lượng cao, có thể được sử dụng để tinh chỉnh một LLM nhỏ hơn, phục vụ như là cơ sở của mô hình PAS. Khi người dùng cung cấp một lời nhắc gốc cho PAS, mô hình tự động tạo ra một lời nhắc bổ sung để nâng cao lời nhắc gốc mà không thay đổi nó, hướng dẫn LLM mục tiêu tạo ra đầu ra chính xác và phù hợp hơn. Một trong những ưu điểm chính của PAS là khả năng kết nối với bất kỳ ứng dụng LLM nào, cho dù nó sử dụng API đóng hoặc mô hình mã nguồn mở chạy trên máy chủ của bạn.

Các nhà nghiên cứu đã đánh giá PAS trên ba bộ dữ liệu chuẩn: Arena-hard, Alpaca-Eval 2.0 và Alpaca-Eval 2.0 (LC). Đây là các bộ dữ liệu chuẩn thử nghiệm khả năng của LLM trong một loạt các nhiệm vụ, từ hiểu ngôn ngữ đến các vấn đề suy luận phức tạp.

Họ đã huấn luyện các phiên bản 7 tỷ tham số của Qwen-2 và LLaMA-2 trên bộ dữ liệu bổ sung lời nhắc và sử dụng chúng làm mô hình PAS để nâng cao các lời nhắc được cung cấp cho các mô hình lớn hơn như GPT-4, Qwen2-72B và Llama-3-70B.

Trên cả ba bộ dữ liệu chuẩn, các mô hình được hướng dẫn bởi PAS đều có hiệu suất vượt trội so với các mô hình cơ sở không tăng cường lời nhắc. Trung bình, PAS cải thiện điểm hiệu suất thêm 8 điểm. Đặc biệt, khi áp dụng cho GPT-4-0613, PAS dẫn đến cải thiện trung bình 11,46 điểm.

Các đánh giá cũng cho thấy PAS đạt được hiệu suất với bộ dữ liệu nhỏ hơn đáng kể so với các phương pháp hiện đại khác. Trong khi các phương pháp trước đây yêu cầu tối đa 170.000 ví dụ để huấn luyện, PAS đạt được kết quả tương tự hoặc tốt hơn với chỉ 9.000 ví dụ.

Điều quan trọng là PAS vừa là LLM-agnostic vừa là task-agnostic, có nghĩa là nó có thể được áp dụng cho các mô hình và nhiệm vụ khác nhau mà không yêu cầu tùy chỉnh cụ thể cho nhiệm vụ.

PAS có thể là một công cụ rất hữu ích cho các đường ống LLM, nơi bạn có các mô hình nhỏ được tối ưu hóa cho một nhiệm vụ cụ thể. Mô hình PAS có thể giúp bạn khai thác tối đa các mô hình mạnh mẽ hơn của bạn.