Cuộc đua phần cứng suy luận AI: AMD so găng NVIDIA với Llama 3.1

Cuộc đua phần cứng suy luận AI: AMD so găng NVIDIA với Llama 3.1

1. Suy luận AI - Mỏ vàng mới của ngành công nghệ
2. Llama 3.1: Sức mạnh đến từ sự tối ưu
3. AMD MI300X: Vượt trội về dung lượng bộ nhớ
4. So sánh hiệu năng: Cuộc chiến cân não
5. Lựa chọn tối ưu: Cân nhắc yếu tố giá thành
6. Kết luận: Tương lai nào cho phần cứng suy luận AI?

1. Suy luận AI - Mỏ vàng mới của ngành công nghệ

Trong khi việc huấn luyện mô hình AI tốn kém nhưng có thể chấp nhận được, thì việc suy luận AI với các mô hình máy biến áp phức tạp ngày càng tăng lại cần phải được tối ưu hóa về chi phí. Nếu huấn luyện là giai đoạn nghiên cứu và phát triển, thì suy luận chính là con đường tạo ra lợi nhuận.

Gần đây, phần cứng suy luận và chi phí của nó được chú trọng hơn, đặc biệt khi các mô hình máy biến áp đòi hỏi các nút xử lý mạnh mẽ để đảm bảo thời gian phản hồi thấp, lý tưởng nhất là khoảng 200 mili giây.

2. Llama 3.1: Sức mạnh đến từ sự tối ưu

Artificial Analysis, một tổ chức phân tích hiệu suất và giá cả mô hình AI độc lập, đã đưa ra nhận định rằng bộ tăng tốc GPU Antares Instinct MI300X của AMD có thể vượt trội hơn NVIDIA trong việc chạy suy luận cho mô hình Llama 3.1 405B mới nhất từ Meta Platforms.

Sự kết hợp giữa PyTorch và Llama, cả hai đều là mã nguồn mở và đến từ Meta Platforms, được dự đoán sẽ rất phổ biến nhờ tính cạnh tranh với các framework AI mở và các mô hình AI đóng của các nhà cung cấp dịch vụ đám mây khác. AMD đã nhận ra tiềm năng này và tối ưu hóa GPU Antares cho bộ đôi này.

3. AMD MI300X: Vượt trội về dung lượng bộ nhớ

Câu hỏi đặt ra là cần bao nhiêu GPU để chứa các trọng số của Llama 3.1 cho biến thể 405 tỷ tham số, bao gồm cả trọng số và dung lượng bộ nhớ dự phòng?

Theo Artificial Analysis, cần 810 GB để tải các trọng số mô hình Llama 3.1 405B và thêm 243 GB để đảm bảo 30% dung lượng trống cho xử lý FP16. Tổng cộng, cần 1.053 GB dung lượng.

Với GPU Hopper H100 phổ biến của NVIDIA và bộ nhớ HBM 80 GB, cần hai card HGX tám chiều để chứa các trọng số và dung lượng dự phòng của Llama 3.1 405B. Trong khi đó, một hệ thống sử dụng bo mạch GPU AMD MI300X tám chiều có thể dễ dàng đáp ứng yêu cầu này. Trên thực tế, chỉ cần 5,5 GPU MI300X là đủ.

4. So sánh hiệu năng: Cuộc chiến cân não

Ngoài dung lượng bộ nhớ, băng thông bộ nhớ cũng là yếu tố quan trọng đối với hiệu năng AI. Hệ thống sử dụng MI300X được kỳ vọng sẽ ngang bằng với hệ thống sử dụng bộ tăng tốc GPU NVIDIA B200 về chi phí cho mỗi đơn vị băng thông bộ nhớ.

Tuy nhiên, xét về thông số kỹ thuật điểm nổi thô, NVIDIA B100 và B200 lại vượt trội hơn hẳn MI300X. B100 có hiệu suất FP16 cao gấp đôi MI300X, trong khi B200 còn ấn tượng hơn.

5. Lựa chọn tối ưu: Cân nhắc yếu tố giá thành

Mặc dù NVIDIA có lợi thế về hiệu năng, AMD lại ghi điểm với mức giá cạnh tranh hơn. Khi xem xét chi phí cho mỗi đơn vị dung lượng bộ nhớ HBM ở cấp độ hệ thống, AMD MI300X cho thấy lợi thế đáng kể.

6. Kết luận: Tương lai nào cho phần cứng suy luận AI?

Cuộc đua giữa AMD và NVIDIA trong lĩnh vực phần cứng suy luận AI hứa hẹn sẽ còn tiếp tục gay cấn trong thời gian tới. Việc lựa chọn giải pháp tối ưu phụ thuộc vào nhu cầu cụ thể của từng doanh nghiệp, cân nhắc giữa hiệu năng, dung lượng bộ nhớ và chi phí.

`