Meta giới thiệu phân phối Llama Stack để xây dựng ứng dụng LLM

Meta giới thiệu phân phối Llama Stack để xây dựng ứng dụng LLM

Meta vừa công bố việc phát hành các phân phối Llama Stack chính thức đầu tiên, nhằm đơn giản hóa quá trình phát triển ứng dụng trí tuệ nhân tạo (AI) thế hệ mới cho các nhà phát triển. Thông báo này được đưa ra vào ngày 25 tháng 9 năm 2024, đánh dấu một bước tiến quan trọng trong việc mở rộng khả năng tiếp cận và sử dụng các mô hình ngôn ngữ lớn (LLM) của Meta.

Llama Stack được thiết kế như một bộ công cụ và API mạnh mẽ, giúp các nhà phát triển dễ dàng xây dựng và triển khai các ứng dụng AI thế hệ mới một cách hiệu quả. Thay vì phải tự mình xử lý nhiều khía cạnh phức tạp của quá trình phát triển, từ huấn luyện và tinh chỉnh mô hình đến đánh giá sản phẩm và xây dựng các tác nhân AI, Llama Stack cung cấp một giải pháp toàn diện, tích hợp các thành phần khác nhau hoạt động liền mạch với nhau. Các thông số kỹ thuật của API Llama Stack được công khai trên GitHub tại https://github.com/meta-llama/llama-stack.

Điểm mạnh của Llama Stack nằm ở khả năng hỗ trợ đa môi trường, bao gồm cả hệ thống cục bộ (on-prem), đám mây, hệ thống đơn node và thiết bị di động. Meta cũng đang tích cực phát triển các provider cho các API Llama Stack, đảm bảo sự nhất quán và khả năng tương tác giữa các thành phần trên nhiều nền tảng khác nhau. Llama Stack bao gồm các API sau:

• Inference: API suy luận, cho phép chạy mô hình và nhận kết quả.
• Safety: API đảm bảo an toàn, giúp kiểm soát và giảm thiểu rủi ro liên quan đến nội dung được tạo ra bởi mô hình.
• Memory: API quản lý bộ nhớ, cho phép mô hình lưu trữ và truy xuất thông tin cần thiết.
• Agentic System: API hỗ trợ xây dựng các tác nhân AI, cho phép tạo ra các ứng dụng AI tự động hóa nhiệm vụ.
• Evaluation: API đánh giá, giúp đo lường hiệu suất và chất lượng của mô hình và ứng dụng.
• Post Training: API xử lý sau huấn luyện, hỗ trợ các công việc như tinh chỉnh mô hình sau khi huấn luyện ban đầu.
• Synthetic Data Generation: API tạo dữ liệu tổng hợp, hỗ trợ việc thu thập dữ liệu huấn luyện.
• Reward Scoring: API đánh giá phần thưởng, giúp tối ưu hóa quá trình huấn luyện dựa trên phản hồi.

Mỗi API đều được xây dựng dựa trên các điểm cuối REST, giúp việc tích hợp vào các ứng dụng hiện có trở nên dễ dàng hơn. Việc ra mắt các phân phối Llama Stack diễn ra cùng với việc phát hành Llama 3.2, bao gồm các mô hình LLM tầm nhìn nhỏ và trung bình (11B và 90B) cũng như các mô hình văn bản nhẹ (1B và 3B) phù hợp với các thiết bị di động và edge. Sự kết hợp này hứa hẹn sẽ mang đến cho các nhà phát triển một hệ sinh thái hoàn chỉnh và mạnh mẽ để xây dựng các ứng dụng AI thế hệ tiếp theo. Llama Stack không chỉ đơn thuần là một tập hợp các API, mà còn là một nền tảng toàn diện, hỗ trợ toàn bộ vòng đời phát triển ứng dụng AI, từ khái niệm đến triển khai và vận hành.