Mô hình ngôn ngữ mở OLMo 2 của Ai2: Đối thủ cạnh tranh với loạt mô hình Llama của Meta

Mục lục:

1. Giới thiệu về Ai2 và OLMo 2
2. Khả năng và đặc điểm của OLMo 2
3. Quá trình huấn luyện và dữ liệu sử dụng
4. Giấy phép và triển vọng tương lai

1. Giới thiệu về Ai2 và OLMo 2

Ai2, một nhóm nghiên cứu trí tuệ nhân tạo phi lợi nhuận được thành lập bởi Paul Allen, đồng sáng lập Microsoft, vừa phát hành OLMo 2, dòng mô hình ngôn ngữ mã nguồn mở mới nhất của họ. Đây là bước tiếp nối thành công của dòng OLMo đầu tiên ra mắt hồi đầu năm 2024. OLMo 2 được thiết kế để cạnh tranh trực tiếp với các mô hình ngôn ngữ hàng đầu hiện nay, đặc biệt là loạt mô hình Llama của Meta.

2. Khả năng và đặc điểm của OLMo 2

OLMo 2 bao gồm hai phiên bản: OLMo 7B với 7 tỷ tham số và OLMo 13B với 13 tỷ tham số. Tham số trong các mô hình AI là các thành phần giúp mô hình thực hiện các nhiệm vụ như trả lời câu hỏi, tóm tắt văn bản và viết mã. Ai2 khẳng định OLMo 2 có khả năng cạnh tranh với các mô hình mở khác, chẳng hạn như loạt Llama của Meta, thậm chí còn vượt trội hơn Llama 3.1 8B trong một số lĩnh vực.

3. Quá trình huấn luyện và dữ liệu sử dụng

Các mô hình OLMo 2 được huấn luyện bằng 5 nghìn tỷ mã thông báo, bao gồm dữ liệu từ các trang web chất lượng cao, bài báo học thuật, diễn đàn thảo luận và cả các bài toán toán học do con người và máy tính tạo ra. Ai2 công khai chia sẻ tất cả dữ liệu, mã huấn luyện và điểm kiểm tra để đảm bảo tính minh bạch và khả năng tái tạo.

4. Giấy phép và triển vọng tương lai

OLMo 2 được phát hành dưới giấy phép Apache 2.0, cho phép sử dụng thương mại. Ai2 nhấn mạnh việc mở hoàn toàn các mô hình có thể thúc đẩy sự đổi mới và tiếp cận công bằng. Tuy nhiên, cũng có những lo ngại về việc sử dụng sai mục đích, như đã xảy ra với các mô hình mở khác được sử dụng ngoài ý muốn.

Mặc dù có những rủi ro, Ai2 tin rằng lợi ích của các mô hình mở vượt trội hơn những tác hại tiềm tàng. Toàn bộ mô hình OLMo 2 và tài nguyên liên quan hiện có sẵn để tải xuống trên trang web của Ai2. Bước đi này củng cố vị thế của Ai2 như một người dẫn đầu trong lĩnh vực AI mã nguồn mở.