Nous Research hé lộ công cụ tối ưu hóa huấn luyện AI mạnh mẽ DisTrO: Cách mạng hóa huấn luyện AI trên quy mô lớn

Nous Research hé lộ công cụ tối ưu hóa huấn luyện AI mạnh mẽ DisTrO: Cách mạng hóa huấn luyện AI trên quy mô lớn

Nous Research, một nhóm nghiên cứu nhỏ chuyên về mô hình AI "cá nhân hóa, không hạn chế", đã gây ấn tượng với cộng đồng AI khi phát hành biến thể mã nguồn mở Llama 3.1, Hermes 3, hồi đầu tháng. Nay, họ lại tiếp tục gây chú ý với một đột phá đáng kể khác: DisTrO (Distributed Training Over-the-Internet), một công cụ tối ưu hóa mới, giúp giảm lượng thông tin phải truyền tải giữa các GPU trong mỗi bước huấn luyện mô hình AI.

DisTrO: Tận dụng sức mạnh tính toán của thế giới mở

DisTrO mang ý nghĩa to lớn đối với cộng đồng AI. Nhờ công nghệ này, việc huấn luyện mô hình AI mạnh mẽ không còn giới hạn trong các công ty lớn nữa, mà có thể được thực hiện trên toàn thế giới thông qua kết nối internet phổ thông. Cá nhân, tổ chức có thể hợp tác huấn luyện mô hình AI, mở ra nhiều khả năng mới trong nghiên cứu và ứng dụng.

Kết quả thử nghiệm của DisTrO đã được công bố trong một bài báo kỹ thuật của Nous Research, cho thấy hiệu quả vượt trội. DisTrO mang lại hiệu quả cao hơn 857 lần so với thuật toán huấn luyện phổ biến All-Reduce, đồng thời giảm đáng kể lượng thông tin truyền tải trong mỗi bước huấn luyện (86,8 MB so với 74,4 GB), với mức giảm hiệu suất nhỏ.

Thách thức của huấn luyện AI: Yêu cầu phần cứng khắt khe

Huấn luyện AI, đặc biệt là các mô hình lớn, đòi hỏi phần cứng mạnh mẽ, tốn kém. Việc sử dụng GPU, đặc biệt là GPU của NVIDIA, là điều không thể thiếu trong quy trình này. Các công ty như Tesla, Meta, OpenAI, Microsoft, Google và Anthropic đã đầu tư mạnh vào việc xây dựng các siêu cụm GPU để đáp ứng nhu cầu huấn luyện AI ngày càng cao.

Việc huấn luyện AI thường yêu cầu các cụm GPU được thiết kế, bố trí một cách chính xác trong môi trường được kiểm soát để tối ưu hóa hiệu suất và giảm thiểu độ trễ. Điều này dẫn đến tình trạng chỉ các công ty lớn mới có đủ khả năng tài chính để đầu tư vào huấn luyện AI.

DisTrO: Cách mạng hóa huấn luyện AI bằng cách phân tán

DisTrO mang đến giải pháp cho vấn đề này. Thay vì yêu cầu các GPU được kết nối với nhau bằng các đường truyền băng thông cao, DisTrO giảm đáng kể lượng thông tin cần truyền tải giữa các GPU trong mỗi bước huấn luyện. Điều này cho phép việc huấn luyện AI được thực hiện trên các mạng lưới phân tán, thậm chí với các kết nối internet phổ thông.

DisTrO đã được thử nghiệm với mô hình ngôn ngữ lớn Meta Llama 2 (1,2 tỷ tham số) và đạt hiệu suất tương đương với các phương pháp truyền thống nhưng với lượng thông tin truyền tải thấp hơn đáng kể. Nhóm nghiên cứu dự đoán DisTrO có thể được ứng dụng để huấn luyện các mô hình khuếch tán lớn (LDM) như Stable Diffusion và Midjourney.

DisTrO: Mở ra cánh cửa mới cho tương lai của AI

Với DisTrO, Nous Research đang thúc đẩy một hệ sinh thái nghiên cứu AI bao gồm và linh hoạt hơn. Công nghệ này có tiềm năng to lớn trong việc thúc đẩy sự phát triển của AI, giúp giải quyết nhiều vấn đề nan giải trong xã hội.

DisTrO đã được các chuyên gia AI đánh giá cao và nhận được sự quan tâm lớn từ cộng đồng. Đây là một bước tiến quan trọng trong lĩnh vực AI, mở ra nhiều khả năng mới cho tương lai của công nghệ này.

Kết luận

DisTrO là một công cụ tối ưu hóa huấn luyện AI đột phá, có khả năng cách mạng hóa cách chúng ta huấn luyện AI. Nó cho phép huấn luyện AI trên quy mô lớn hơn, dễ dàng hơn và với chi phí thấp hơn. DisTrO hứa hẹn sẽ mở ra một kỷ nguyên mới cho lĩnh vực AI, giúp đưa công nghệ này đến gần hơn với mọi người và mở ra nhiều ứng dụng tiềm năng.