Cerebras Vượt Mặt Groq, Giành Ngôi Vua Tốc Độ Xử Lý AI

Cerebras Vượt Mặt Groq, Giành Ngôi Vua Tốc Độ Xử Lý AI

Cerebras vừa công bố nền tảng Wafer-Scale Engine (WSE) của mình, đánh bại Groq để trở thành hệ thống xử lý suy luận AI nhanh nhất thế giới. Với WSE, Cerebras đạt tốc độ xử lý lên tới 1.800 token mỗi giây khi chạy mô hình Llama 3.1 8B và 450 token mỗi giây với mô hình Llama 3.1 70B lớn hơn. Trong khi đó, Groq chỉ đạt 750 T/s và 250 T/s cho cùng hai mô hình tương ứng.

Sự vượt trội của Cerebras đến từ bộ vi xử lý wafer-scale được thiết kế riêng, tích hợp gần 900.000 lõi tối ưu hóa AI và bộ nhớ SRAM lên tới 44GB trên chip. Điều này cho phép mô hình AI được lưu trữ trực tiếp trên chipset, tạo ra băng thông chưa từng có. Ngoài ra, Cerebras sử dụng trọng số đầy đủ 16-bit của Meta, đảm bảo độ chính xác tối ưu cho mô hình.

Kết quả thử nghiệm độc lập của Artificial Analysis cho thấy Cerebras WSE thực sự mang lại tốc độ xử lý suy luận AI vượt trội. Cerebras Inference hiện đang được cung cấp miễn phí cho các nhà phát triển, cho phép họ trải nghiệm sức mạnh của nền tảng này.

Kết luận:

Cerebras đã chính thức gia nhập cuộc đua xử lý AI với một cú bứt phá ngoạn mục. WSE của Cerebras là một bước tiến đáng kể trong lĩnh vực này, mang lại hiệu suất chưa từng có và mở ra nhiều khả năng mới cho việc ứng dụng AI.