Các Mẫu Ngôn Ngữ Lớn (LLM) Không Phù Hợp Cho Việc Ra Quyết Định Y Tế
Mục lục:
- Nghiên Cứu Của Atropos
- Kết Quả Nghiên Cứu
- ChatRWD: Mô Hình Của Atropos
- Giới Hạn Của LLM
- Nhu Cầu Về Dữ Liệu Và Hợp Tác
1. Nghiên Cứu Của Atropos
Công ty AI chăm sóc sức khỏe Atropos đã công bố một nghiên cứu cho thấy các LLM đa năng như ChatGPT, Claude và Gemini không phù hợp để sử dụng trong việc ra quyết định lâm sàng. Atropos đã tiến hành nghiên cứu đánh giá 5 mô hình ngôn ngữ lớn, bao gồm các LLM đa năng, một mô hình được xây dựng dành riêng cho chăm sóc sức khỏe và mô hình riêng của họ, ChatRWD beta.
2. Kết Quả Nghiên Cứu
Nghiên cứu được công bố trên diễn đàn truy cập mở Arxiv đã chỉ ra rằng các LLM đa năng như ChatGPT chỉ cung cấp thông tin liên quan cho các câu hỏi của chuyên gia y tế 2% -10% số lần. Các mô hình ngôn ngữ được xây dựng riêng cho chăm sóc sức khỏe hoạt động tốt hơn, cung cấp thông tin liên quan 24% số lần. ChatRWD của Atropos hoạt động hiệu quả nhất, cung cấp dữ liệu liên quan 58% số lần.
3. ChatRWD: Mô Hình Của Atropos
ChatRWD của Atropos truy vấn dữ liệu và tạo ra câu trả lời dựa trên 160 triệu hồ sơ bệnh nhân ẩn danh có sẵn. Trong khi các LLM khác chỉ có thể trả lời các câu hỏi mới 0-9% số lần, ChatRWD có thể trả lời 65% số lần.
4. Giới Hạn Của LLM
Saraub Gombar, giám đốc y tế của Atropos, giải thích rằng các LLM này có thể trực tiếp trả lời các câu hỏi, nhưng một số thông tin được đưa ra là sai lệch. Các LLM sử dụng toàn bộ internet làm dữ liệu đào tạo, bao gồm cả Wikipedia và mạng xã hội, điều này có thể dẫn đến thông tin không đáng tin cậy.
5. Nhu Cầu Về Dữ Liệu Và Hợp Tác
Gombar cho rằng để có khả năng trả lời 100% các câu hỏi y tế, cần có nhiều dữ liệu hơn, chẳng hạn như thông tin di truyền và dữ liệu về các yếu tố xã hội ảnh hưởng đến sức khỏe. Hiện tại, dữ liệu này đang bị chia cắt và không được kết hợp vào hồ sơ y tế của bệnh nhân.
Để thu thập dữ liệu này, cần phải thay đổi khả năng tương tác giữa các hệ thống và khuyến khích chia sẻ dữ liệu.
`
0 comments Blogger 0 Facebook
Đăng nhận xét