OpenAI muốn AI hỗ trợ con người huấn luyện AI

Mục lục

1. RLHF: Con đường dẫn đến chatbots thông minh hơn
2. CriticGPT: AI hỗ trợ đánh giá mã code hiệu quả hơn
3. AI hỗ trợ AI: Bước tiến mới cho công nghệ AI
4. Sự phát triển của AI: Cần sự kiểm soát và quản lý chặt chẽ

1. RLHF: Con đường dẫn đến chatbots thông minh hơn

ChatGPT, một trong những chatbot thành công nhất hiện nay, được phát triển nhờ một đội ngũ huấn luyện viên con người. Họ cung cấp cho mô hình trí tuệ nhân tạo (AI) hướng dẫn về những phản hồi tốt và xấu, giúp chatbot hoạt động hiệu quả hơn. OpenAI cho biết việc thêm AI vào quy trình này, hỗ trợ huấn luyện viên con người, có thể làm cho chatbot thông minh và đáng tin cậy hơn.

OpenAI đã tiên phong trong việc sử dụng học tăng cường với phản hồi của con người (RLHF) trong quá trình phát triển ChatGPT. Kỹ thuật này sử dụng phản hồi từ những người kiểm tra để tinh chỉnh mô hình AI, giúp chatbot tạo ra những phản hồi mạch lạc, phù hợp hơn, ít gây phản cảm và chính xác hơn. Điểm đánh giá của những người huấn luyện được đưa vào thuật toán điều khiển hoạt động của mô hình. Kỹ thuật này đã được chứng minh là rất quan trọng, giúp chatbot đáng tin cậy, hữu ích hơn và ngăn ngừa các hành vi không phù hợp.

2. CriticGPT: AI hỗ trợ đánh giá mã code hiệu quả hơn

Tuy nhiên, RLHF cũng có một số hạn chế. Phản hồi của con người có thể không nhất quán, và ngay cả những người có kỹ năng cũng gặp khó khăn trong việc đánh giá các sản phẩm phức tạp, ví dụ như mã code phức tạp. Quy trình này cũng có thể tối ưu hóa mô hình để tạo ra sản phẩm dường như thuyết phục nhưng không thực sự chính xác.

OpenAI đã phát triển một mô hình mới bằng cách tinh chỉnh GPT-4, mô hình mạnh mẽ nhất của họ, để hỗ trợ những người huấn luyện đánh giá mã code. Mô hình mới này được đặt tên là CriticGPT có thể phát hiện lỗi mà con người bỏ qua, và nhận được đánh giá tích cực từ những người kiểm tra trong 63% trường hợp. OpenAI sẽ tiếp tục nghiên cứu cách áp dụng phương pháp này cho các lĩnh vực khác ngoài code.

3. AI hỗ trợ AI: Bước tiến mới cho công nghệ AI

Chúng tôi đang bắt đầu nghiên cứu để tích hợp kỹ thuật này vào hệ thống chatbot RLHF của mình, Nat McAleese, một nhà nghiên cứu của OpenAI tham gia dự án này, cho biết. Ông thừa nhận phương pháp này chưa hoàn hảo vì CriticGPT cũng có thể mắc lỗi, nhưng ông tin rằng kỹ thuật này có thể giúp các mô hình OpenAI cũng như các công cụ như ChatGPT chính xác hơn bằng cách giảm lỗi trong quá trình huấn luyện của con người. Ông cũng cho biết kỹ thuật này có thể đóng vai trò quan trọng trong việc giúp các mô hình AI thông minh hơn vì nó cho phép con người huấn luyện AI vượt quá khả năng của chính họ. Khi các mô hình ngày càng trở nên tốt hơn, chúng tôi dự đoán rằng mọi người sẽ cần thêm sự trợ giúp, McAleese nói.

4. Sự phát triển của AI: Cần sự kiểm soát và quản lý chặt chẽ

Kỹ thuật này là một trong số nhiều kỹ thuật đang được phát triển để cải thiện các mô hình ngôn ngữ lớn và khai thác tối đa khả năng của chúng. Nó cũng là một phần trong nỗ lực đảm bảo rằng AI hoạt động theo cách chấp nhận được ngay cả khi nó trở nên mạnh mẽ hơn.

Đầu tháng này, Anthropic, một đối thủ cạnh tranh của OpenAI được thành lập bởi các cựu nhân viên của OpenAI, đã công bố một phiên bản chatbot mạnh mẽ hơn của riêng mình, được gọi là Claude, nhờ những cải tiến trong quy trình huấn luyện của mô hình và dữ liệu được cung cấp. Anthropic và OpenAI cũng gần đây đã giới thiệu những cách thức mới để kiểm tra các mô hình AI nhằm hiểu cách chúng tạo ra sản phẩm để ngăn chặn các hành vi không mong muốn như lừa đảo.

Kỹ thuật mới có thể giúp OpenAI huấn luyện các mô hình AI ngày càng mạnh mẽ hơn, đồng thời đảm bảo sản phẩm của chúng đáng tin cậy hơn và phù hợp với các giá trị của con người, đặc biệt nếu công ty triển khai thành công kỹ thuật này trong nhiều lĩnh vực ngoài code. OpenAI đã tuyên bố đang huấn luyện mô hình AI lớn tiếp theo của mình, và công ty rõ ràng rất muốn chứng minh rằng họ nghiêm túc trong việc đảm bảo rằng mô hình này hoạt động đúng cách. Điều này tiếp nối sự tan rã của một nhóm nổi tiếng chuyên đánh giá các rủi ro lâu dài do AI gây ra. Nhóm này được đồng lãnh đạo bởi Ilya Sutskever, đồng sáng lập công ty và cựu thành viên hội đồng quản trị, người đã từng đẩy CEO Sam Altman ra khỏi công ty trước khi rút lại và giúp ông giành lại quyền kiểm soát. Kể từ đó, một số thành viên của nhóm đã chỉ trích công ty vì hành động mạo hiểm khi vội vàng phát triển và thương mại hóa các thuật toán AI mạnh mẽ.

Dylan Hadfield-Menell, giáo sư tại MIT, người nghiên cứu các cách để điều chỉnh AI, cho biết ý tưởng cho phép các mô hình AI hỗ trợ huấn luyện các mô hình mạnh mẽ hơn đã được thảo luận từ lâu. Đây là một sự phát triển tự nhiên, ông nói.

Hadfield-Menell lưu ý rằng những nhà nghiên cứu ban đầu đã phát triển các kỹ thuật được sử dụng cho RLHF đã thảo luận về những ý tưởng liên quan cách đây nhiều năm. Ông cho biết vẫn chưa rõ phạm vi áp dụng và sức mạnh của nó. Nó có thể dẫn đến những bước nhảy vọt về khả năng riêng lẻ, và nó có thể là một bước đệm hướng tới phản hồi hiệu quả hơn trong thời gian dài, ông nói.