HippoRAG: Cải thiện khả năng truy xuất thông tin của LLM bằng cách học hỏi từ não bộ

HippoRAG: Cải thiện khả năng truy xuất thông tin của LLM bằng cách học hỏi từ não bộ

Mục lục

• Giới thiệu
• Thách thức trong việc tích hợp kiến thức trong LLM
• HippoRAG: Lấy cảm hứng từ não bộ
• HippoRAG hoạt động như thế nào?
  • Giai đoạn lập chỉ mục ngoại tuyến
  • Giai đoạn truy xuất trực tuyến
• Hiệu quả của HippoRAG
• Kết luận
• Hướng phát triển trong tương lai

Giới thiệu

Lấy cảm hứng từ lý thuyết lập chỉ mục vùng hippocampus của bộ nhớ dài hạn ở người, HippoRAG là một khung truy xuất thông tin mới được các nhà nghiên cứu từ Đại học bang Ohio và Đại học Stanford giới thiệu.

Thách thức trong việc tích hợp kiến thức trong LLM

Mặc dù đã có những tiến bộ đáng kể trong lĩnh vực tạo ra nội dung tăng cường bằng truy xuất (RAG), nhưng việc tích hợp kiến thức hiệu quả vẫn là một thách thức lớn đối với các mô hình ngôn ngữ lớn (LLM). LLM vẫn gặp khó khăn trong việc tích hợp kiến thức sau quá trình đào tạo trước, do các phương pháp hiện tại gặp phải vấn đề trong việc tích hợp kiến thức từ nhiều nguồn khác nhau. Điều này dẫn đến việc LLM không thể xử lý thông tin từ nhiều tài liệu và thực hiện suy luận phức tạp.

HippoRAG: Lấy cảm hứng từ não bộ

HippoRAG dựa trên cơ chế tương tác giữa vỏ não và vùng hippocampus trong não người, cho phép bộ nhớ dựa trên ngữ cảnh, cập nhật liên tục. Vỏ não xử lý và lưu trữ các biểu diễn bộ nhớ thực tế, trong khi vùng hippocampus giữ một tập hợp các chỉ mục liên kết chỉ đến các đơn vị bộ nhớ trong vỏ não và lưu trữ các liên kết giữa chúng. Hai thành phần này hoạt động cùng nhau để thực hiện phân tách mẫu (đảm bảo các biểu diễn của các trải nghiệm riêng biệt là duy nhất) và hoàn thành mẫu (cho phép truy xuất bộ nhớ hoàn chỉnh từ các kích thích một phần).

HippoRAG hoạt động như thế nào?

HippoRAG mô phỏng mô hình bộ nhớ này bằng cách sử dụng LLM để biến đổi một tập hợp tài liệu thành một đồ thị kiến thức đóng vai trò là một chỉ mục vùng hippocampus nhân tạo. Hệ thống hoạt động qua hai giai đoạn: lập chỉ mục ngoại tuyến và truy xuất trực tuyến.

Giai đoạn lập chỉ mục ngoại tuyến

Giai đoạn này tương tự như mã hóa bộ nhớ trong não, sử dụng LLM được điều chỉnh bằng hướng dẫn để trích xuất các đặc trưng quan trọng từ các đoạn văn dưới dạng bộ ba đồ thị kiến thức. Điều này cho phép phân tách mẫu chi tiết hơn so với các nhúng mật độ được sử dụng trong các đường ống RAG cổ điển.

Giai đoạn truy xuất trực tuyến

Giai đoạn này phản ánh quá trình truy xuất bộ nhớ trong não. LLM trích xuất các thực thể được đặt tên nổi bật từ truy vấn của người dùng, sau đó liên kết chúng với các nút trong đồ thị kiến thức dựa trên sự tương đồng được xác định bởi các bộ mã hóa truy xuất. HippoRAG sau đó sử dụng thuật toán Personalized PageRank, một biến thể của thuật toán PageRank sử dụng một tập hợp các nút nguồn do người dùng xác định để phân phối xác suất trên đồ thị. Điều này cho phép HippoRAG giới hạn đầu ra của nó vào tập hợp các nút truy vấn ứng viên được chọn trong bước trước. Sau đó, kết quả được áp dụng cho các đoạn văn đã được lập chỉ mục để chọn chúng để truy xuất.

Hiệu quả của HippoRAG

Các nhà nghiên cứu đã đánh giá khả năng truy xuất của HippoRAG trên hai tiêu chuẩn đánh giá câu hỏi trả lời đa bước khó khăn là MuSiQue và 2WikiMultiHopQA, cũng như tập dữ liệu HotpotQA. Họ đã so sánh nó với một số phương pháp truy xuất mạnh mẽ và các đường cơ sở tăng cường LLM gần đây.

Kết quả cho thấy HippoRAG vượt trội hơn tất cả các phương pháp khác, bao gồm cả các đường cơ sở tăng cường LLM, trong truy xuất một bước. Khi kết hợp với phương pháp truy xuất đa bước IRCoT, HippoRAG mang lại lợi ích bổ sung lên đến 20% trên cùng một tập dữ liệu.

Một lợi thế chính của HippoRAG là khả năng thực hiện truy xuất đa bước trong một bước duy nhất. Quá trình truy xuất trực tuyến của nó cũng rẻ hơn 10 đến 30 lần và nhanh hơn 6 đến 13 lần so với các phương pháp truy xuất lặp hiện tại như IRCoT, đồng thời đạt hiệu suất tương đương.

Kết luận

HippoRAG chứng minh tiềm năng của các phương pháp lấy cảm hứng từ thần kinh sinh học trong việc thúc đẩy tích hợp kiến thức trong LLM, cho phép chúng thực hiện suy luận phức tạp hơn trên thông tin không cấu trúc.

Hướng phát triển trong tương lai

Các nhà nghiên cứu thừa nhận một số hạn chế có thể được khắc phục để cải thiện HippoRAG hơn nữa, chẳng hạn như tinh chỉnh các thành phần của nó và xác thực thêm khả năng mở rộng của nó đối với các đồ thị kiến thức lớn hơn. Tuy nhiên, kết quả hiện tại đã chứng minh tiềm năng của các phương pháp lấy cảm hứng từ thần kinh sinh học trong việc thúc đẩy tích hợp kiến thức trong LLM.

Sự kết hợp của đồ thị kiến thức và LLM là một công cụ mạnh mẽ có thể mở ra nhiều ứng dụng. GNN-RAG, một phương pháp gần đây kết hợp mạng thần kinh đồ thị (GNN) và đồ thị kiến thức với LLM, đã chứng minh khả năng giải quyết nhiều vấn đề suy luận phức tạp mà RAG cổ điển không thể giải quyết được. Việc thêm GNN vào HippoRAG có thể là một hướng nghiên cứu thú vị trong tương lai.