Khám Phá Tiềm Năng của AI trong Đánh Giá Tâm Lý: Từ Llama Đến Ngôn Ngữ

Mục Lục

1. Tóm Tắt
2. Vấn Đề Hiện Tại và Giải Pháp Tiềm Năng
3. Phương Pháp Nghiên Cứu: Từ Chuyên Gia Đến Chatbot
4. Kết Quả Đáng Chú Ý: Độ Tin Cậy và Tính Chính Xác
5. Thảo Luận: Giảm Gánh Nặng cho Nghiên Cứu và Thực Hành
6. Hạn Chế và Hướng Nghiên Cứu Tương Lai
7. Lời Kết

---

1. Tóm Tắt

Bài viết này khám phá cách trí tuệ nhân tạo (AI), đặc biệt là các chatbot được hỗ trợ bởi mô hình ngôn ngữ lớn, có thể được sử dụng để đánh giá các bài tường thuật (narrative) giống như các chuyên gia tâm lý. Nghiên cứu tập trung vào việc sử dụng quy trình "prompt-engineering" tinh chỉnh bởi chuyên gia để cải thiện khả năng của AI trong việc đánh giá theo thang đo "Social Cognition and Object Relations scales - Global Rating Method (SCORS-G)". Kết quả cho thấy AI có tiềm năng giảm đáng kể thời gian và nguồn lực cần thiết cho các nhà nghiên cứu và nhà lâm sàng trong việc đánh giá tâm lý thông qua tường thuật.

2. Vấn Đề Hiện Tại và Giải Pháp Tiềm Năng

Trong lĩnh vực tâm lý học, đánh giá tường thuật đóng vai trò quan trọng trong việc hiểu về tính cách và các vấn đề tâm lý. Tuy nhiên, các phương pháp đánh giá truyền thống thường tốn nhiều thời gian và nguồn lực, đòi hỏi sự can thiệp của các chuyên gia. AI, với khả năng xử lý ngôn ngữ tự nhiên (NLP) và học máy, có thể mang lại giải pháp hiệu quả, giúp tự động hóa quy trình đánh giá này. Điều quan trọng là cần kiểm chứng liệu các mô hình AI hiện tại có đủ khả năng thực hiện các nhiệm vụ phức tạp như đánh giá tường thuật một cách chính xác hay không.

3. Phương Pháp Nghiên Cứu: Từ Chuyên Gia Đến Chatbot

Nghiên cứu này sử dụng một quy trình "prompt-engineering" độc đáo, trong đó các chuyên gia tâm lý đóng vai trò trung tâm. Họ bắt đầu bằng việc nghiên cứu kỹ lưỡng các tài liệu đào tạo về thang đo SCORS-G. Sau đó, họ sử dụng mô hình ngôn ngữ lớn Llama-2-70b để tạo ra các "prompt" (dạng câu lệnh đầu vào) ban đầu. Tiếp theo, các chuyên gia tiếp tục tinh chỉnh các prompt này thông qua một quy trình có hệ thống, dựa trên kết quả đầu ra của Llama-2-70b.

Các prompt tinh chỉnh này sau đó được sử dụng để kiểm thử trên hai chatbot khác nhau là ChatGPT-4 và CLAUDE-2-100k, những chatbot này không tham gia vào quá trình tinh chỉnh prompt. Mục đích là để xem liệu các prompt được tinh chỉnh bởi chuyên gia có thể giúp chatbot đánh giá tường thuật một cách đáng tin cậy và chính xác hay không.

4. Kết Quả Đáng Chú Ý: Độ Tin Cậy và Tính Chính Xác

Kết quả nghiên cứu cho thấy, khi sử dụng các prompt được tinh chỉnh bởi chuyên gia, các chatbot có khả năng đánh giá tường thuật ở cấp độ tổng quan một cách đáng tin cậy. Tuy nhiên, độ chính xác có sự khác biệt giữa các thang đo phụ. Điều thú vị là việc lấy trung bình điểm đánh giá từ hai chatbot đã cải thiện đáng kể độ tin cậy cho cả điểm tổng và các điểm thang đo phụ.

Nghiên cứu cũng chỉ ra rằng, các prompt được tinh chỉnh bởi chuyên gia vượt trội hơn so với các prompt cơ bản về cả độ tin cậy giữa những người đánh giá (interrater reliability) và độ tương đồng tuyệt đối với điểm số "chuẩn vàng". Đặc biệt, chỉ có các prompt tinh chỉnh bởi chuyên gia mới đạt được ước tính độ tin cậy giữa những người đánh giá ở mức chấp nhận được.

5. Thảo Luận: Giảm Gánh Nặng cho Nghiên Cứu và Thực Hành

Những phát hiện này cho thấy rằng AI có thể đóng vai trò quan trọng trong việc giảm bớt gánh nặng về thời gian và nguồn lực cho các nhà nghiên cứu và nhà lâm sàng khi sử dụng các hệ thống đánh giá tường thuật như SCORS-G. Bằng cách tự động hóa một phần của quy trình đánh giá, AI có thể giúp các chuyên gia tập trung hơn vào các khía cạnh phức tạp khác của công việc.

6. Hạn Chế và Hướng Nghiên Cứu Tương Lai

Mặc dù có những kết quả đầy hứa hẹn, nghiên cứu cũng thừa nhận một số hạn chế. Ví dụ, độ chính xác của chatbot có thể khác nhau giữa các thang đo phụ, điều này cần được tiếp tục nghiên cứu. Các nghiên cứu trong tương lai có thể tập trung vào việc cải thiện các prompt cho các thang đo phụ cụ thể và khám phá các phương pháp khác để kết hợp đánh giá từ nhiều chatbot. Ngoài ra, cũng cần tiếp tục đánh giá hiệu quả của các phương pháp này trên nhiều loại đối tượng và trong các bối cảnh lâm sàng khác nhau.

7. Lời Kết

Nghiên cứu này đã chứng minh tiềm năng to lớn của AI trong việc hỗ trợ các chuyên gia tâm lý trong đánh giá tường thuật. Thông qua việc sử dụng phương pháp "prompt-engineering" tinh chỉnh bởi chuyên gia, AI có thể thực hiện các nhiệm vụ đánh giá phức tạp một cách đáng tin cậy và chính xác. Điều này mở ra cánh cửa cho việc phát triển các công cụ hỗ trợ mạnh mẽ, giúp giảm bớt gánh nặng cho các nhà nghiên cứu và nhà lâm sàng, đồng thời nâng cao chất lượng và hiệu quả của công tác đánh giá tâm lý.