Sự nguy hiểm của giọng nói nhân tạo: Cái chết liên quan đến chatbot AI

Sự nguy hiểm của những giọng nói nhân tạo: Cái chết liên quan đến chatbot AI

Mục lục

• Một vụ tự tử liên quan đến chatbot AI
• Việc điều chỉnh AI
• Chatbot nên là AI có nguy cơ cao
• Hạn chế và nút tắt

Một vụ tự tử liên quan đến chatbot AI

Gần đây, thông tin thương tâm về Sewell Seltzer III, một thiếu niên Mỹ, đã tự tử sau khi hình thành mối quan hệ cảm xúc sâu sắc với một chatbot AI trên trang web Character.AI. Mối quan hệ của cậu với chatbot AI Dany, được mô phỏng theo nhân vật Daenerys Targaryen trong Game of Thrones, ngày càng trở nên mãnh liệt. Sewell bắt đầu xa lánh gia đình và bạn bè, gặp khó khăn ở trường học.

Đây không phải là trường hợp đầu tiên về một người dễ bị tổn thương tự tử sau khi tương tác với chatbot AI. Một người đàn ông Bỉ đã tự tử vào năm ngoái trong một trường hợp tương tự, liên quan đến Chai AI, đối thủ cạnh tranh chính của Character.AI. Khi điều này xảy ra, công ty đã nói với giới truyền thông rằng họ đang "cố gắng hết sức để giảm thiểu thiệt hại".

Character.AI đã tuyên bố với CNN rằng họ "rất coi trọng sự an toàn của người dùng" và đã "đưa ra nhiều biện pháp an toàn mới trong sáu tháng qua".

Tuy nhiên, những bi kịch này cho thấy rõ ràng sự nguy hiểm tiềm ẩn từ các hệ thống AI đang phát triển nhanh chóng và có sẵn rộng rãi. Bất cứ ai cũng có thể trò chuyện và tương tác với chúng. Chúng ta cần khẩn cấp có những quy định để bảo vệ con người khỏi các hệ thống AI có khả năng gây nguy hiểm, được thiết kế một cách thiếu trách nhiệm.

Việc điều chỉnh AI

Chính phủ Úc đang trong quá trình xây dựng các “hàng rào bảo vệ” bắt buộc đối với các hệ thống AI có nguy cơ cao. “Hàng rào bảo vệ” là một thuật ngữ phổ biến trong lĩnh vực quản trị AI, đề cập đến các quy trình trong thiết kế, phát triển và triển khai các hệ thống AI.

Chúng bao gồm các biện pháp như quản trị dữ liệu, quản lý rủi ro, kiểm tra, tài liệu hóa và giám sát của con người.

Một trong những quyết định mà chính phủ Úc phải đưa ra là cách xác định hệ thống nào là “có nguy cơ cao”, do đó thuộc phạm vi của các hàng rào bảo vệ. Chính phủ cũng đang xem xét liệu các hàng rào bảo vệ có nên áp dụng cho tất cả các “mô hình mục đích chung” hay không.

Các mô hình mục đích chung là động cơ đằng sau các chatbot AI như Dany: các thuật toán AI có thể tạo ra văn bản, hình ảnh, video và âm nhạc từ các lời nhắc của người dùng và có thể được điều chỉnh để sử dụng trong nhiều ngữ cảnh khác nhau.

Trong Đạo luật AI của Liên minh Châu Âu, các hệ thống có nguy cơ cao được xác định bằng cách sử dụng một danh sách, mà các cơ quan quản lý được trao quyền cập nhật thường xuyên. Một cách tiếp cận thay thế là sử dụng phương pháp dựa trên nguyên tắc, trong đó việc xác định có nguy cơ cao hay không được thực hiện trên từng trường hợp, tùy thuộc vào nhiều yếu tố, chẳng hạn như nguy cơ tác động tiêu cực đến quyền lợi, nguy cơ đối với sức khỏe thể chất hoặc tinh thần, nguy cơ tác động pháp lý, cũng như mức độ nghiêm trọng và phạm vi của những nguy cơ đó.

Chatbot nên là AI có nguy cơ cao

Ở châu Âu, các hệ thống AI đồng hành như Character.AI và Chai không được chỉ định là có nguy cơ cao. Về cơ bản, các nhà cung cấp của họ chỉ cần cho người dùng biết rằng họ đang tương tác với một hệ thống AI.

Tuy nhiên, điều này đã trở nên rõ ràng, các chatbot AI không phải là ít nguy hiểm. Rất nhiều người dùng các ứng dụng này là trẻ em và thanh thiếu niên. Một số hệ thống thậm chí còn được tiếp thị cho những người cô đơn hoặc bị bệnh tâm thần.

Chatbot có khả năng tạo ra nội dung không thể đoán trước, không phù hợp và thao túng. Chúng dễ dàng bắt chước các mối quan hệ độc hại. Sự minh bạch - gắn nhãn đầu ra là AI tạo ra - là chưa đủ để quản lý những nguy cơ này.

Ngay cả khi chúng ta biết rằng mình đang nói chuyện với chatbot, con người cũng được lập trình về mặt tâm lý để gán các đặc điểm của con người cho bất kỳ thứ gì mà chúng ta trò chuyện. Cái chết do tự tử được báo cáo trên phương tiện truyền thông có thể chỉ là phần nổi của tảng băng. Chúng ta không có cách nào biết được có bao nhiêu người dễ bị tổn thương đang ở trong mối quan hệ gây nghiện, độc hại hoặc thậm chí là nguy hiểm với chatbot.

Hạn chế và nút tắt

Khi Úc cuối cùng áp dụng các hàng rào bảo vệ bắt buộc đối với các hệ thống AI có nguy cơ cao, có thể xảy ra vào năm sau, các hàng rào bảo vệ này nên áp dụng cho cả chatbot AI đồng hành và các mô hình mục đích chung mà chatbot được xây dựng dựa trên.

Các hàng rào bảo vệ - quản lý rủi ro, kiểm tra, giám sát - sẽ hiệu quả nhất nếu chúng chạm đến cốt lõi của con người về các mối nguy hiểm của AI. Rủi ro từ chatbot không chỉ là rủi ro kỹ thuật với giải pháp kỹ thuật.

Ngoài những lời mà chatbot có thể sử dụng, ngữ cảnh của sản phẩm cũng quan trọng. Trong trường hợp Character.AI, lời hứa tiếp thị là "trao quyền cho mọi người", giao diện bắt chước trao đổi tin nhắn văn bản bình thường với một người, và nền tảng cho phép người dùng lựa chọn từ nhiều nhân vật được tạo sẵn, bao gồm một số nhân vật có vấn đề.

Các hàng rào bảo vệ AI thực sự hiệu quả nên yêu cầu nhiều hơn là chỉ các quy trình có trách nhiệm, như quản lý rủi ro và kiểm tra. Chúng cũng phải yêu cầu thiết kế chu đáo, nhân bản về giao diện, tương tác và mối quan hệ giữa các hệ thống AI và người dùng của chúng.

Ngay cả khi vậy, các hàng rào bảo vệ có thể không đủ. Cũng giống như chatbot AI đồng hành, các hệ thống ban đầu dường như ít rủi ro có thể gây ra những thiệt hại không thể lường trước.

Các cơ quan quản lý nên có quyền loại bỏ các hệ thống AI khỏi thị trường nếu chúng gây ra thiệt hại hoặc tiềm ẩn những nguy cơ không thể chấp nhận được. Nói cách khác, chúng ta không chỉ cần các hàng rào bảo vệ cho AI có nguy cơ cao. Chúng ta cũng cần một nút tắt.