FlexEval: Công cụ AI mã nguồn mở đánh giá hiệu suất chatbot và phân tích hội thoại

FlexEval: Công cụ AI mã nguồn mở đánh giá hiệu suất chatbot và phân tích hội thoại

Mục lục

1. Giới thiệu
2. Thách thức trong việc đánh giá chatbot giáo dục
3. FlexEval: Giải pháp cho bài toán đánh giá
4. Cấu trúc và tính năng của FlexEval
5. Đánh giá hiệu quả của FlexEval
6. Kết luận

1. Giới thiệu

Mô hình ngôn ngữ lớn (LLM) đang cách mạng hóa lĩnh vực giáo dục với vai trò là chatbot hỗ trợ học tập. Các chatbot này cung cấp hướng dẫn cá nhân hóa, giải đáp tức thì các câu hỏi của học sinh, hỗ trợ học ngôn ngữ và đơn giản hóa các chủ đề phức tạp. Tuy nhiên, việc đánh giá hiệu quả của chatbot giáo dục dựa trên LLM là một thách thức do tính chất cởi mở và mang tính hội thoại của chúng.

2. Thách thức trong việc đánh giá chatbot giáo dục

Khác với các mô hình truyền thống có câu trả lời đúng được xác định trước, chatbot giáo dục được đánh giá dựa trên khả năng tương tác với học sinh, sử dụng ngôn ngữ hỗ trợ và tránh nội dung độc hại. Việc đánh giá tập trung vào mức độ phù hợp của chatbot với các mục tiêu giáo dục cụ thể, chẳng hạn như hướng dẫn giải quyết vấn đề mà không đưa ra câu trả lời trực tiếp. Do đó, cần có các công cụ tự động linh hoạt để đánh giá và cải thiện chatbot một cách hiệu quả, đảm bảo chúng đáp ứng các mục tiêu giáo dục đã đề ra.

3. FlexEval: Giải pháp cho bài toán đánh giá

Để giải quyết những thách thức trên, FlexEval, một công cụ mã nguồn mở được thiết kế để đơn giản hóa và tùy chỉnh việc đánh giá các hệ thống dựa trên LLM đã ra đời. FlexEval cho phép người dùng chạy lại các cuộc hội thoại dẫn đến hành vi không mong muốn, áp dụng các chỉ số tùy chỉnh và đánh giá các tương tác mới và lịch sử.

4. Cấu trúc và tính năng của FlexEval

FlexEval được thiết kế để giảm bớt sự phức tạp của thử nghiệm tự động bằng cách cho phép các nhà phát triển tăng khả năng hiển thị vào hoạt động của hệ thống trước và sau khi phát hành sản phẩm. Nó cung cấp các tệp có thể chỉnh sửa trong một thư mục duy nhất:

• evals.yaml: Đặc tả bộ thử nghiệm
• function_metrics.py: Các chỉ số Python tùy chỉnh
• rubric_metrics.yaml: Các tiêu chí chấm điểm được phân loại theo máy
• completion_functions.py: Xác định các hàm hoàn thành

FlexEval hỗ trợ đánh giá các cuộc hội thoại mới và lịch sử và lưu trữ kết quả cục bộ trong cơ sở dữ liệu SQLite. Nó tích hợp với nhiều LLM khác nhau và định cấu hình nhu cầu của người dùng, tạo điều kiện thuận lợi cho việc đánh giá hệ thống mà không ảnh hưởng đến dữ liệu giáo dục nhạy cảm.

5. Đánh giá hiệu quả của FlexEval

Để kiểm tra hiệu quả của FlexEval, hai đánh giá ví dụ đã được thực hiện:

• Kiểm tra tính an toàn của mô hình: Sử dụng bộ dữ liệu Đối thoại Thù địch với Bot (BAD) để xác định xem các mô hình tiền phát hành có đồng ý hoặc tạo ra các câu nói gây hại hay không.
• Đánh giá các cuộc hội thoại lịch sử: Sử dụng bộ dữ liệu NCTE về các cuộc hội thoại giữa học sinh và gia sư toán học, FlexEval phân loại các câu nói của gia sư là tập trung hoặc không tập trung vào nhiệm vụ bằng cách sử dụng các tiêu chí chấm điểm được LLM phân loại.

6. Kết luận

FlexEval giải quyết các thách thức trong việc đánh giá các hệ thống dựa trên LLM bằng cách đơn giản hóa quy trình và tăng khả năng hiển thị vào hoạt động của mô hình. Nó cung cấp một giải pháp linh hoạt, có thể tùy chỉnh, bảo vệ dữ liệu nhạy cảm và tích hợp dễ dàng với các công cụ khác. Khi các sản phẩm chạy bằng LLM tiếp tục phát triển trong môi trường giáo dục, FlexEval rất quan trọng để đảm bảo các hệ thống này phục vụ mục đích đã định một cách đáng tin cậy. Các phát triển trong tương lai nhằm mục đích tiếp tục đơn giản hóa việc sử dụng và mở rộng ứng dụng của công cụ.

`