Groq giới thiệu Llama-3-Groq-Tool-Use: Mô hình mã nguồn mở đạt hiệu suất cao trên bảng xếp hạng BFCL

Mục lục:

• Giới thiệu Llama-3-Groq-Tool-Use
• Hiệu suất vượt trội
• Phương pháp huấn luyện
• Ứng dụng thực tế
• Kết luận

1. Giới thiệu Llama-3-Groq-Tool-Use

Groq vừa công bố hai mô hình mã nguồn mở đột phá cho việc sử dụng công cụ: Llama-3-Groq-70B-Tool-Use và Llama-3-Groq-8B-Tool-Use. Được phát triển hợp tác với Glaive, những mô hình này được thiết kế để nâng cao khả năng sử dụng công cụ và gọi hàm trong AI.

2. Hiệu suất vượt trội

Mô hình Llama-3-Groq-70B-Tool-Use đạt hiệu suất cao nhất trên bảng xếp hạng Berkeley Function Calling Leaderboard (BFCL), vượt qua tất cả các mô hình mã nguồn mở và độc quyền khác. Với độ chính xác tổng thể ấn tượng là 90,76%, mô hình này đã thiết lập một tiêu chuẩn mới trong lĩnh vực này. Tương tự, mô hình Llama-3-Groq-8B-Tool-Use cũng thể hiện hiệu suất đáng chú ý với độ chính xác tổng thể là 89,06%, giành vị trí thứ ba trên BFCL.

3. Phương pháp huấn luyện

Sự phát triển của những mô hình này bao gồm một phương pháp huấn luyện tỉ mỉ kết hợp tinh chỉnh đầy đủ và tối ưu hóa ưu tiên trực tiếp (DPO). Điều đáng chú ý là không có dữ liệu người dùng nào được sử dụng trong quá trình huấn luyện. Thay vào đó, các mô hình được huấn luyện bằng dữ liệu được tạo ra một cách có đạo đức. Cách tiếp cận này đảm bảo rằng các mô hình có hiệu suất cao và phù hợp với các tiêu chuẩn đạo đức trong phát triển AI.

Quá trình huấn luyện cũng bao gồm phân tích nhiễm bẩn kỹ lưỡng bằng phương pháp LMSYS. Điều này dẫn đến tỷ lệ nhiễm bẩn thấp chỉ 5,6% đối với dữ liệu SFT và 1,3% đối với dữ liệu DPO, cho thấy sự phù hợp tối thiểu trên điểm chuẩn đánh giá.

4. Ứng dụng thực tế

Ngoài khả năng sử dụng công cụ chuyên biệt, các mô hình Llama-3 Groq Tool Use được khuyến nghị sử dụng trong một cách tiếp cận lai ghép với các mô hình ngôn ngữ đa năng. Chiến lược này bao gồm việc triển khai một hệ thống định tuyến phân tích các truy vấn của người dùng đến để xác định mô hình phù hợp nhất cho mỗi yêu cầu.

Đối với các truy vấn liên quan đến việc gọi hàm, tương tác API hoặc thao tác dữ liệu có cấu trúc, các mô hình Llama-3 Groq Tool Use được sử dụng. Đối với kiến thức chung, các cuộc trò chuyện mở rộng hoặc các nhiệm vụ không liên quan trực tiếp đến việc sử dụng công cụ, một mô hình ngôn ngữ đa năng như Llama-3 70B chưa được sửa đổi được khuyến nghị. Cách tiếp cận này đảm bảo rằng mỗi truy vấn được xử lý bởi mô hình phù hợp nhất, tối đa hóa hiệu suất và khả năng tổng thể của hệ thống AI.

5. Kết luận

Groq đã giới thiệu các mô hình Llama-3-Groq-Tool-Use với hiệu suất hàng đầu và giấy phép cho phép. Những mô hình này có tiềm năng tác động đáng kể đến nghiên cứu và phát triển AI. Cam kết của Groq đối với phát triển AI có đạo đức và cách tiếp cận hợp tác với cộng đồng nhấn mạnh vai trò lãnh đạo của công ty trong lĩnh vực này.