Liệu AI có thể vượt trội hơn con người? Nghiên cứu về điểm yếu của hệ thống chơi Go hàng đầu gây nghi ngờ

Mục lục:

• Sự trỗi dậy của AI siêu việt và những điểm yếu tiềm ẩn
• Tấn công đối kháng: Khai thác lỗ hổng của AI
• Thử nghiệm khả năng phòng thủ của KataGo
• Những điểm yếu của đối thủ cạnh tranh và khái niệm siêu việt
• Hậu quả tiềm ẩn cho các hệ thống AI khác
• Kết luận: Cần hiểu rõ hơn về AI

1. Sự trỗi dậy của AI siêu việt và những điểm yếu tiềm ẩn

Sự phát triển của trí tuệ nhân tạo (AI) đang ngày càng thu hút sự chú ý. Một trong những hệ thống AI thành công nhất là một bot chơi Go có khả năng đánh bại những người chơi giỏi nhất thế giới. Tuy nhiên, một nghiên cứu mới đã phát hiện ra những điểm yếu trong hệ thống này, cho thấy sự vượt trội của AI có thể rất mong manh.

Nghiên cứu này đặt ra câu hỏi về khả năng các hệ thống AI chung sẽ gặp phải những điểm yếu có thể ảnh hưởng đến sự an toàn, độ tin cậy, và thậm chí cả tuyên bố siêu việt của chúng. Bài báo này đặt dấu hỏi lớn về cách đạt được mục tiêu đầy tham vọng là xây dựng các tác nhân AI thực tế, đáng tin cậy cho mọi người, Huan Zhang, nhà khoa học máy tính tại Đại học Illinois Urbana-Champaign, chia sẻ.

Stephen Casper, nhà khoa học máy tính tại Viện Công nghệ Massachusetts ở Cambridge, bổ sung: Nghiên cứu này cung cấp bằng chứng mạnh mẽ nhất cho đến nay về việc tạo ra các mô hình tiên tiến hoạt động đúng như mong muốn là điều rất khó khăn.

2. Tấn công đối kháng: Khai thác lỗ hổng của AI

Phân tích này, được công bố trực tuyến dưới dạng bản in trước vào tháng 6 và chưa được đánh giá ngang hàng, sử dụng những gì được gọi là tấn công đối kháng - cung cấp cho các hệ thống AI đầu vào được thiết kế để khiến chúng mắc lỗi, cho mục đích nghiên cứu hoặc cho các mục đích bất chính. Ví dụ, một số lời nhắc có thể bẻ khóa chatbot, khiến chúng đưa ra thông tin có hại mà chúng được đào tạo để ngăn chặn.

3. Thử nghiệm khả năng phòng thủ của KataGo

Trong Go, hai người chơi thay phiên nhau đặt các quân cờ đen trắng lên một lưới để bao vây và bắt quân của người chơi kia. Năm 2022, các nhà nghiên cứu đã báo cáo về việc huấn luyện các bot AI đối kháng để đánh bại KataGo, hệ thống AI chơi Go nguồn mở tốt nhất, thường xuyên đánh bại con người một cách dễ dàng. Các bot của họ đã tìm ra những khai thác thường xuyên đánh bại KataGo, mặc dù các bot này không thực sự giỏi - những người chơi nghiệp dư cũng có thể đánh bại chúng. Thêm vào đó, con người có thể hiểu các thủ thuật của bot và áp dụng chúng để đánh bại KataGo.

4. Những điểm yếu của đối thủ cạnh tranh và khái niệm siêu việt

Các nhà nghiên cứu, dẫn đầu bởi Adam Gleave, Giám đốc điều hành của FAR AI, một tổ chức nghiên cứu phi lợi nhuận tại Berkeley, California và đồng tác giả của bài báo năm 2022, đã sử dụng các bot đối kháng để thử nghiệm ba cách bảo vệ AI Go chống lại những cuộc tấn công như vậy.

• Chiến lược phòng thủ đầu tiên: Cung cấp cho KataGo các ví dụ về vị trí bảng liên quan đến các cuộc tấn công và để nó tự chơi để học cách chơi chống lại những vị trí đó. Tuy nhiên, các tác giả của bài báo mới nhất đã phát hiện ra rằng một bot đối kháng có thể học cách đánh bại ngay cả phiên bản KataGo được cập nhật này, chiến thắng 91% thời gian.
• Chiến lược phòng thủ thứ hai: Huấn luyện một phiên bản của KataGo chống lại các bot đối kháng, sau đó huấn luyện những kẻ tấn công chống lại KataGo được cập nhật, và cứ tiếp tục như vậy trong chín vòng. Tuy nhiên, điều này cũng không dẫn đến một phiên bản KataGo bất khả chiến bại. Các đối thủ vẫn tìm ra những khai thác, với khai thác cuối cùng đánh bại KataGo 81% thời gian.
• Chiến lược phòng thủ thứ ba: Đào tạo một hệ thống AI chơi Go mới từ đầu. KataGo dựa trên một mô hình máy tính được gọi là mạng nơ ron tích chập (CNN). Các nhà nghiên cứu nghi ngờ rằng CNN có thể tập trung quá nhiều vào các chi tiết cục bộ và bỏ qua các mô hình toàn cầu, vì vậy họ đã xây dựng một người chơi Go sử dụng một mạng nơ ron thay thế được gọi là bộ chuyển đổi thị giác (ViT). Tuy nhiên, bot đối kháng của họ đã tìm ra một cuộc tấn công mới giúp nó giành chiến thắng 78% thời gian chống lại hệ thống ViT.

Trong tất cả các trường hợp này, các bot đối kháng - mặc dù có khả năng đánh bại KataGo và các hệ thống AI chơi Go hàng đầu khác - được đào tạo để phát hiện các điểm yếu tiềm ẩn trong các AI khác, không phải để trở thành những chiến lược gia toàn diện. Các đối thủ vẫn khá yếu - chúng tôi đã tự mình đánh bại chúng khá dễ dàng, Gleave cho biết.

Và với việc con người có thể sử dụng các chiến thuật của bot đối kháng để đánh bại các hệ thống AI Go chuyên nghiệp, liệu việc gọi những hệ thống đó là siêu việt có còn hợp lý? Đó là một câu hỏi tuyệt vời mà tôi đã phải vật lộn, Gleave nói. Chúng tôi đã bắt đầu nói 'thường xuyên siêu việt'. David Wu, một nhà khoa học máy tính ở Thành phố New York, người đầu tiên phát triển KataGo, nói rằng các AI Go mạnh mẽ là siêu việt trung bình nhưng không siêu việt trong những trường hợp tồi tệ nhất.

5. Hậu quả tiềm ẩn cho các hệ thống AI khác

Gleave cho biết kết quả này có thể có ảnh hưởng lớn đến các hệ thống AI, bao gồm các mô hình ngôn ngữ lớn nằm dưới nền tảng của các chatbot như ChatGPT. Điểm mấu chốt đối với AI là những điểm yếu này sẽ rất khó loại bỏ, Gleave nói. Nếu chúng ta không thể giải quyết vấn đề trong một lĩnh vực đơn giản như Go, thì trong thời gian ngắn, dường như không có triển vọng nào để vá các vấn đề tương tự như bẻ khóa trong ChatGPT.

6. Kết luận: Cần hiểu rõ hơn về AI

Zhang cho biết ý nghĩa của những kết quả này đối với khả năng tạo ra AI vượt trội hơn con người một cách toàn diện vẫn chưa rõ ràng. Mặc dù điều này có thể khiến chúng ta nghĩ rằng con người có thể duy trì những lợi thế nhận thức quan trọng so với AI trong một thời gian, ông nói, Tôi tin rằng điểm mấu chốt là chúng ta không hoàn toàn hiểu những hệ thống AI mà chúng ta xây dựng ngày nay.