AI vẫn chưa thể giải quyết các bài toán toán học phức tạp

Trí tuệ nhân tạo vẫn chưa thể giải quyết các bài toán toán học phức tạp

Mục lục:

1. Giới thiệu
2. Thử thách mới cho AI: Bộ bài toán FrontierMath
3. Kết quả thử nghiệm và ý nghĩa
4. Kết luận

1. Giới thiệu:

Công nghệ trí tuệ nhân tạo (AI) đã đạt được những tiến bộ đáng kể trong nhiều lĩnh vực, bao gồm cả khả năng giải quyết các bài toán toán học. Tuy nhiên, khả năng suy luận của AI hiện nay vẫn còn hạn chế, đặc biệt là khi đối mặt với những bài toán đòi hỏi sự hiểu biết sâu sắc và khả năng tư duy trừu tượng ở mức độ cao. Bài báo này phân tích kết quả của một nghiên cứu mới, trong đó các nhà toán học đã thiết kế một bộ bài toán toán học phức tạp để thử thách khả năng suy luận của các hệ thống AI tiên tiến nhất hiện nay.

2. Thử thách mới cho AI: Bộ bài toán FrontierMath:

Các nhà nghiên cứu tại Viện Epoch AI, hợp tác với các giáo sư toán học hàng đầu (bao gồm cả những người từng đoạt giải Fields Medal), đã phát triển một bộ bài toán toán học mới có tên là FrontierMath. Những bài toán này nằm ở cấp độ nghiên cứu, đòi hỏi trình độ toán học ở mức tiến sĩ và mất nhiều giờ, thậm chí nhiều ngày để giải quyết. Khác với các bài kiểm tra AI trước đây thường tập trung vào toán học ở cấp trung học và đại học, FrontierMath nhắm đến việc đánh giá khả năng suy luận và tư duy toán học ở mức độ chuyên sâu hơn. Các bài toán đa dạng, bao gồm nhiều lĩnh vực con của toán học, từ lý thuyết số đến hình học đại số. Bộ bài toán này được công khai trên trang web của Epoch AI để cộng đồng có thể tiếp cận và nghiên cứu. Việc thiết kế bài toán độc đáo nhằm tránh tình trạng AI đã được "huấn luyện" sẵn các câu trả lời, dẫn đến kết quả đánh giá không chính xác.

3. Kết quả thử nghiệm và ý nghĩa:

Sáu mô hình AI tiên tiến nhất hiện nay, bao gồm Gemini 1.5 Pro của Google, Claude 3.5 Sonnet của Anthropic, và một số mô hình của OpenAI và xAI, đã được dùng để thử nghiệm FrontierMath. Kết quả cho thấy khả năng giải quyết các bài toán của các mô hình này vô cùng thấp, chỉ đạt được độ chính xác dưới 2%. Thậm chí, mô hình Grok-2 Beta của xAI không thể giải được bất kỳ bài toán nào.

Mặc dù kết quả có vẻ khá tiêu cực, nhưng nhóm nghiên cứu nhấn mạnh rằng việc đánh giá độ chính xác dựa trên tỷ lệ phần trăm thành công là chưa đủ. Vì tỷ lệ thành công thấp nên một câu trả lời đúng cũng có thể ảnh hưởng lớn đến điểm số chung. Nghiên cứu chỉ ra rằng, một số mô hình có thể đạt được câu trả lời đúng bằng cách "đoán mò" dựa trên các mô phỏng đơn giản, chứ không phải dựa trên sự hiểu biết sâu sắc về toán học. Do đó, FrontierMath cho thấy rằng các mô hình AI hiện tại vẫn chưa đạt đến khả năng suy luận toán học ở mức độ nghiên cứu.

4. Kết luận:

Nghiên cứu về FrontierMath cho thấy rằng mặc dù AI đã tiến bộ đáng kể trong việc giải quyết các bài toán toán học ở cấp độ cơ bản, nhưng khả năng suy luận toán học ở mức độ chuyên sâu vẫn là một thách thức lớn đối với các mô hình AI hiện nay. FrontierMath đóng vai trò là một chuẩn mực mới, giúp đánh giá chính xác hơn khả năng suy luận toán học của AI và thúc đẩy sự phát triển của các mô hình AI trong tương lai. Nhóm nghiên cứu hy vọng rằng việc công khai bộ bài toán này sẽ giúp cộng đồng nghiên cứu AI hiểu rõ hơn về khả năng và giới hạn của công nghệ này.