AI21 Ra Mắt Jamba 1.5: Gia Đình Các Mô Hình Mở với Bối Cảnh Dài và Độ Trễ Thấp

AI21 Ra Mắt Jamba 1.5: Gia Đình Các Mô Hình Mở với Bối Cảnh Dài và Độ Trễ Thấp

AI21 vừa ra mắt gia đình mô hình Jamba 1.5, thiết lập tiêu chuẩn mới cho các mô hình AI với bối cảnh dài. Phiên bản này giới thiệu hai mô hình mở mạnh mẽ: Jamba 1.5 Mini và Jamba 1.5 Large, được thiết kế để cung cấp tốc độ, hiệu quả và hiệu suất vượt trội cho các ứng dụng AI doanh nghiệp.

Lõi của các mô hình này là kiến trúc kết hợp SSM-Transformer, kết hợp các lớp Transformer và Mamba với phương pháp Mixture-of-Experts. Thiết kế sáng tạo này cho phép các mô hình Jamba xử lý khối lượng thông tin khổng lồ với tốc độ và độ chính xác vượt trội. Mô hình Jamba nhanh hơn đối thủ cạnh tranh trong cùng phân khúc kích thước lên đến 2,5 lần, khiến chúng trở thành lựa chọn lý tưởng cho các nhiệm vụ yêu cầu xử lý dữ liệu mở rộng như phân tích tài chính, tóm tắt tài liệu và ứng dụng dịch vụ khách hàng.

Điểm nổi bật của gia đình Jamba 1.5 là cửa sổ ngữ cảnh mã thông báo dài ấn tượng 256K (khoảng 800 trang văn bản), hiện là cửa sổ lớn nhất trong số các mô hình mở hiện nay. Ngữ cảnh rộng lớn này cho phép các mô hình xử lý các nhiệm vụ phức tạp như phân tích tài liệu và suy luận nhiều bước với hiệu quả chưa từng có. Bằng cách loại bỏ nhu cầu phân đoạn dữ liệu liên tục, các mô hình Jamba 1.5 giảm thiểu cả thời gian và chi phí, đồng thời tăng cường hiệu suất cho các luồng công việc Tạo nội dung hỗ trợ lấy thông tin.

Jamba 1.5 Mini là mô hình mở mạnh nhất trong phân khúc kích thước của nó với điểm số 46,1 trên điểm chuẩn Arena Hard, vượt qua các mô hình lớn hơn như Mixtral 8x22B và Command-R+. Jamba 1.5 Large, với điểm số 65,4, vượt qua cả Llama 3.1 70B và 405B.

Cả hai mô hình đều thể hiện tốc độ vượt trội, với Jamba 1.5 Large vượt trội hơn các đối thủ cạnh tranh như Llama 3.1 70B và Mistral Large 2 trong các thử nghiệm độ trễ tổng thể ở 10K ngữ cảnh. Đối với cửa sổ ngữ cảnh lớn, nó đã chứng minh nhanh hơn gấp đôi so với các mô hình cạnh tranh.

Các mô hình Jamba 1.5 được thiết kế dành cho các nhà phát triển, hỗ trợ các tính năng như gọi hàm, chế độ JSON và đối tượng tài liệu có cấu trúc. Điều này khiến chúng đặc biệt phù hợp để xây dựng các hệ thống AI đại diện và các luồng công việc Tạo nội dung hỗ trợ lấy thông tin.

Kiến trúc kết hợp nằm ở nền tảng của các mô hình này sử dụng kết hợp các lớp Mamba và Transformer để quản lý ngữ cảnh dài hiệu quả hơn. Phương pháp này, kết hợp với kỹ thuật lượng tử hóa ExpertsInt8 độc quyền của AI21, cho phép các mô hình Jamba duy trì hiệu suất cao mà không hy sinh bộ nhớ hoặc tốc độ - khiến chúng tiết kiệm tài nguyên ngay cả với triển khai quy mô lớn.

Các mô hình Jamba 1.5 có sẵn trên nhiều nền tảng, bao gồm AI21 Studio, Google Cloud Vertex AI, Microsoft Azure và NVIDIA NIM, với kế hoạch phân phối rộng rãi trên Amazon Bedrock, Databricks và các nhà cung cấp chính khác. Các mô hình cũng có sẵn để triển khai riêng tư tại chỗ. Khả năng tiếp cận này sẽ cho phép các nhà phát triển nhanh chóng tích hợp các mô hình này vào hệ thống của họ một cách dễ dàng, sử dụng các công cụ quen thuộc như LangChain và Hugging Face.