Anthropic Tuyển dụng Cựu Giám đốc An toàn của OpenAI

Anthropic Tuyển dụng Cựu Giám đốc An toàn của OpenAI

Mục lục

1. Jan Leike Gia Nhập Anthropic
2. Mục Tiêu của Nhóm Superalignment Mới
3. So sánh với Nhóm Superalignment Cũ của OpenAI
4. Tầm Nhìn An Toàn của Anthropic
5. Quan Hệ Giữa Anthropic và OpenAI

1. Jan Leike Gia Nhập Anthropic

Jan Leike, nhà nghiên cứu hàng đầu về AI, đã gia nhập Anthropic để dẫn dắt một nhóm mới chuyên về superalignment. Trước đó, ông đã từ chức tại OpenAI và công khai chỉ trích cách tiếp cận an toàn AI của công ty.

2. Mục Tiêu của Nhóm Superalignment Mới

Theo bài viết trên X của Leike, nhóm của ông tại Anthropic sẽ tập trung vào các khía cạnh khác nhau của an toàn và bảo mật AI, bao gồm:

• Kiểm soát mở rộng: Các kỹ thuật kiểm soát hành vi của AI quy mô lớn theo cách có thể dự đoán và mong muốn.
• Tổng quát hóa yếu-mạnh: Nghiên cứu về khả năng AI giải quyết các vấn đề phức tạp hơn so với những vấn đề đã được huấn luyện.
• Nghiên cứu liên kết tự động: Phát triển các kỹ thuật để đảm bảo AI hoạt động phù hợp với mục tiêu của con người.

3. So sánh với Nhóm Superalignment Cũ của OpenAI

Nhóm Superalignment mới của Anthropic có nhiệm vụ tương tự như nhóm Superalignment trước đây của OpenAI, do chính Leike đồng dẫn dắt. Nhóm này có mục tiêu giải quyết các thách thức kỹ thuật cốt lõi trong việc kiểm soát AI siêu thông minh trong vòng 4 năm tới. Tuy nhiên, nhóm Superalignment cũ thường bị hạn chế bởi lãnh đạo của OpenAI.

4. Tầm Nhìn An Toàn của Anthropic

Anthropic thường xuyên cố gắng khẳng định vị thế an toàn hơn so với OpenAI. Dario Amodei, CEO của Anthropic, từng là Phó Chủ tịch nghiên cứu tại OpenAI và đã rời công ty sau một cuộc tranh luận về hướng phát triển, đặc biệt là việc OpenAI ngày càng tập trung vào thương mại. Amodei đã đưa một số nhân viên cũ của OpenAI đến thành lập Anthropic, bao gồm Jack Clark, cựu giám đốc chính sách của OpenAI.

5. Quan Hệ Giữa Anthropic và OpenAI

Sự kiện Leike gia nhập Anthropic cho thấy mối quan hệ cạnh tranh giữa hai công ty hàng đầu trong lĩnh vực AI. Cả hai công ty đều rất chú trọng vào việc đảm bảo an toàn AI, nhưng có những quan điểm khác biệt về cách tiếp cận.