Dịch vụ đám mây AI thách thức vị thế thống trị của Nvidia trên thị trường chip

Dịch vụ đám mây AI thách thức vị thế thống trị của Nvidia trên thị trường chip

Thị trường chip AI đang chứng kiến sự xuất hiện của những đối thủ mới đầy tiềm năng, với SambaNova Systems là một ví dụ điển hình. Công ty này vừa ra mắt SambaNova Cloud, một dịch vụ API dựa trên chip AI SN40L, nhằm mục đích tăng tốc các tác vụ suy luận cho các nhà phát triển.

SambaNova Cloud hỗ trợ các mô hình Llama 3.1 của Meta, bao gồm cả biến thể lớn nhất với 405 tỷ tham số. Sự ra đời của dịch vụ này phản ánh sự gia tăng tầm quan trọng của suy luận trong lĩnh vực AI thế hệ mới. SambaNova cho biết họ nhận thấy nhu cầu ngày càng tăng đối với các giải pháp thay thế cho Nvidia, đặc biệt là từ các doanh nghiệp đang tìm kiếm tốc độ suy luận nhanh hơn.

Suy luận, hay việc chạy các mô hình AI sau khi chúng được huấn luyện, đang trở thành một cơ hội mới cho các công ty như SambaNova. Gần đây, một số nhà sản xuất chip AI nhỏ hơn, bao gồm SambaNova, đã tung ra các sản phẩm tập trung vào thị trường suy luận, hứa hẹn những lợi thế vượt trội so với GPU từ Nvidia, AMD và các hãng khác.

Các đối thủ khác cũng đang tham gia cuộc đua này. Vào tháng 7, Groq đã cung cấp các mô hình Llama 3.1 trên GroqCloud Dev Console, phục vụ hơn 300.000 nhà phát triển. Groq sử dụng đơn vị xử lý ngôn ngữ (LPU) thay vì GPU cho các tác vụ suy luận. Tháng 8, Cerebras Systems giới thiệu Cerebras Inference, mang đến tốc độ cao hơn cho các mô hình Llama và tuyên bố đạt hiệu suất và hiệu quả chi phí tốt hơn so với GPU của Nvidia. Cả Groq và Cerebras đều sử dụng SRAM để tăng cường hiệu suất suy luận.

Chip SN40L của SambaNova được trang bị hệ thống bộ nhớ ba cấp kết hợp SRAM, HBM và DDR5, cho phép xử lý hiệu quả cả các khối lượng công việc huấn luyện và suy luận. McGonnell, một nhân vật quan trọng trong SambaNova, cho rằng kiến trúc của công ty họ hiệu quả hơn các đối thủ dựa quá nhiều vào SRAM.

SambaNova Cloud có thể chạy mô hình Llama 405 tỷ tham số với tốc độ hơn 100 token mỗi giây, vượt trội so với Groq và Cerebras về tốc độ và hiệu quả. Thị trường chip AI toàn cầu dự kiến sẽ tăng trưởng đáng kể, tạo ra cơ hội cho những người chơi mới khi nhu cầu đối với H100 của Nvidia dẫn đến tình trạng khan hiếm nguồn cung. Các nhà cung cấp dịch vụ đám mây lớn và các nhà sản xuất chip truyền thống cũng đang mở rộng các dịch vụ AI của họ để đáp ứng nhu cầu thị trường.

Tóm lại, SambaNova Cloud đại diện cho một bước tiến quan trọng trong việc thách thức vị thế thống trị của Nvidia trên thị trường chip AI. Với hiệu năng vượt trội và sự hỗ trợ cho các mô hình ngôn ngữ lớn, dịch vụ này hứa hẹn sẽ thu hút được sự quan tâm của đông đảo nhà phát triển và doanh nghiệp trong tương lai.