Mô hình AI "Reflection 70B": Giải pháp tiềm năng cho vấn đề ảo giác của LLM?

Mô hình AI "Reflection 70B": Giải pháp tiềm năng cho vấn đề ảo giác của LLM?

Mới đây, một mô hình chatbot AI mới đã xuất hiện trong không gian vốn đã đông đúc, nhưng mô hình này có vẻ như sở hữu khả năng mà hầu hết các mô hình khác chưa có: học hỏi từ sai lầm của chính mình.

Vào ngày 5 tháng 9, Giám đốc điều hành của HyperWrite AI, Matt Shumer, đã thông báo về sự phát triển của "Reflection 70B" trên nền tảng X, khẳng định đây là "mô hình mã nguồn mở hàng đầu thế giới". Ông cho biết thêm rằng AI mới này được huấn luyện bằng kỹ thuật "Reflection-Tuning", một phương pháp được phát triển để giúp các LLM tự sửa chữa những sai sót của chúng.

Reflection Llama-3.1 70B được cho là có thể "đối đầu" với cả những mô hình mã nguồn đóng hàng đầu như Claude 3.5 Sonnet của Anthropic và GPT-4o của OpenAI trong một số thử nghiệm chuẩn. Llama 3.1 là mô hình AI mã nguồn mở của Meta, ra mắt vào tháng 7 năm nay.

Theo Shumer, các mô hình AI hiện tại thường gặp phải hiện tượng "ảo giác" (hallucination), nhưng Reflection-Tuning cho phép chúng nhận biết những sai lầm và tự sửa chữa trước khi đưa ra câu trả lời.

"Các LLM hiện tại có xu hướng 'ảo giác' và không thể nhận ra khi chúng mắc phải lỗi này."

Hiện tượng "ảo giác" trong AI là tình trạng chatbot AI tạo ra các mẫu hoặc đối tượng không tồn tại hoặc không thể cảm nhận được đối với người quan sát, dẫn đến đầu ra không chính xác.

Reflection-Tuning là một kỹ thuật được sử dụng để cải thiện các mô hình AI bằng cách cho chúng phân tích và học hỏi từ chính đầu ra của mình.

Cụ thể, các phản hồi của AI có thể được đưa trở lại vào hệ thống, nơi nó được yêu cầu đánh giá lại những phản hồi đó, xác định điểm mạnh, điểm yếu và các lĩnh vực cần cải thiện. Quá trình này được lặp lại nhiều lần, cho phép AI không ngừng nâng cao khả năng của mình. Mục tiêu là giúp AI có ý thức hơn về đầu ra của nó và giỏi hơn trong việc phê bình và cải thiện hiệu suất của chính mình.

Shumer cũng cho biết "với các lời nhắc phù hợp, nó là một 'con quái vật' thực sự cho nhiều trường hợp sử dụng", đồng thời cung cấp đường dẫn demo cho mô hình mới.

Trước đó, OpenAI, được Microsoft hậu thuẫn, đã công bố một bài nghiên cứu vào năm 2023 với những ý tưởng về cách ngăn chặn ảo giác của AI.

Một trong những ý tưởng đó là "giám sát quy trình" (process supervision), trong đó các mô hình AI được đào tạo để tự thưởng cho chính mình cho mỗi bước lập luận chính xác khi chúng đi đến một câu trả lời, thay vì chỉ thưởng cho kết luận cuối cùng chính xác.

"Phát hiện và giảm thiểu các lỗi logic hoặc ảo giác của mô hình là một bước quan trọng để xây dựng trí tuệ nhân tạo tổng quát (AGI) phù hợp", Karl Cobbe, một nhà nghiên cứu tại OpenAI, cho biết với CNBC vào thời điểm đó.

Tóm lại, Reflection 70B là một mô hình AI tiềm năng với khả năng tự học hỏi và sửa chữa sai lầm, góp phần giải quyết vấn đề "ảo giác" đang gây trở ngại cho sự phát triển của các LLM. Kỹ thuật Reflection-Tuning được áp dụng trong mô hình này có thể là một bước tiến quan trọng hướng tới việc xây dựng các hệ thống AI đáng tin cậy và hiệu quả hơn.