Lambda ra mắt Inference API: Hạ giá thành trí tuệ nhân tạo

Mục lục

• Giới thiệu
• Tính năng chính của Lambda Inference API
• Giá cả và khả năng mở rộng
• Lời kết

Giới thiệu

Ngày 13 tháng 12 năm 2024, công ty trí tuệ nhân tạo Lambda đã chính thức công bố Inference API của mình. Theo Lambda, API này cho phép truy cập vào các mô hình ngôn ngữ lớn (LLM) thông qua một nền tảng AI không máy chủ với chi phí "một phần nhỏ của một xu". Đây là một bước tiến đáng kể trong việc giảm thiểu chi phí và tăng khả năng tiếp cận với công nghệ AI tiên tiến.

Tính năng chính của Lambda Inference API

Lambda Inference API cung cấp khả năng suy luận AI với chi phí thấp và khả năng mở rộng cao. Một số tính năng nổi bật bao gồm:

• Hỗ trợ nhiều mô hình: API này tương thích với nhiều mô hình, bao gồm cả mô hình Llama 3.3 70B Instruct (FP8) mới phát hành của Meta.
• Hai loại mô hình: "Core" (mô hình cốt lõi) được chọn lọc để đảm bảo sự ổn định và hỗ trợ lâu dài, và "Sandbox" (mô hình thử nghiệm) cung cấp quyền truy cập vào những đổi mới mới nhất với các bản cập nhật thường xuyên hơn.
• Tích hợp dễ dàng: API tích hợp với các điểm cuối theo kiểu OpenAI, giúp đơn giản hóa quá trình triển khai.
• Khả năng mở rộng: Lambda Inference API có khả năng xử lý khối lượng công việc ở mọi quy mô.

Giá cả và khả năng mở rộng

Lambda nhấn mạnh rằng việc triển khai AI quy mô lớn không hề dễ dàng, đòi hỏi nguồn lực tính toán khổng lồ, chuyên môn về MLOps và ngân sách lớn để duy trì hoạt động. Lambda Inference API giải quyết những thách thức này bằng cách:

• Giá cả cạnh tranh: Với giá chỉ 0,20 đô la cho một triệu token đầu vào và đầu ra đối với mô hình Llama 3.3 70B Instruct (FP8), Lambda tuyên bố giá cả của mình thấp hơn một nửa so với hầu hết các đối thủ cạnh tranh. Mô hình Meta’s Llama 3.1 405B có giá $0.90 cho một triệu token.
• Thanh toán theo token: Không có giới hạn tốc độ và khả năng mở rộng động giúp người dùng có thể mở rộng quy mô mà không cần lo lắng về các tắc nghẽn về cơ sở hạ tầng.

Lời kết

Sự ra mắt của Lambda Inference API đánh dấu một bước tiến quan trọng trong việc làm cho công nghệ AI tiên tiến trở nên dễ tiếp cận và tiết kiệm chi phí hơn. Với khả năng hỗ trợ nhiều mô hình, khả năng mở rộng và giá cả cạnh tranh, Lambda Inference API hứa hẹn sẽ thu hút sự chú ý của nhiều nhà phát triển và doanh nghiệp.