OpenAI: Xây Dựng Cơ Sở Hạ Tầng AI Khó Khăn Như Thế Nào?

<h2 id="section-0">OpenAI: Xây Dựng Cơ Sở Hạ Tầng AI Khó Khăn Như Thế Nào?</h2> <p>Tại hội nghị Hot Chips 2024, OpenAI đã trình bày một bài thuyết trình kéo dài một tiếng đồng hồ về việc xây dựng cơ sở hạ tầng AI có khả năng mở rộng. Điều này rất hợp lý bởi vì OpenAI sử dụng một lượng lớn tài nguyên tính toán và dự kiến sẽ sử dụng nhiều hơn nữa trong những năm tới.</p> <p>Bài thuyết trình đã đề cập đến những thách thức và giải pháp khi xây dựng một hệ thống AI có khả năng xử lý dữ liệu khổng lồ và thực hiện các phép tính phức tạp. </p> <p><strong>Thách thức chính:</strong></p> <ul> <li><strong>Cần nhiều tài nguyên tính toán:</strong> Mỗi lần OpenAI tăng gấp đôi tài nguyên tính toán, họ nhận được kết quả tốt hơn. Dù vậy, việc tăng cường tài nguyên tính toán lại dẫn đến các vấn đề về chi phí và năng lượng.</li> <li><strong>Sự cố và lỗi:</strong> Khi các cụm máy tính được sử dụng để huấn luyện AI trở nên lớn hơn, sự cố phần cứng và phần mềm cũng trở nên phổ biến hơn.</li> <li><strong>Hiệu suất:</strong> Mặc dù hiệu suất là một yếu tố quan trọng, nhưng nó không phải là yếu tố duy nhất. OpenAI nhấn mạnh tầm quan trọng của các yếu tố khác như độ tin cậy, hiệu quả năng lượng và khả năng mở rộng.</li> </ul> <p><strong>Giải pháp được OpenAI đề xuất:</strong></p> <ul> <li><strong>Thiết kế cho khả năng triển khai hàng loạt:</strong> Điều này bao gồm việc thiết kế các hệ thống có khả năng tự sửa chữa (RAS), giảm thiểu thiệt hại do lỗi và tối ưu hóa hiệu quả năng lượng.</li> <li><strong>Thử nghiệm và xác thực:</strong> Kiểm tra và xác thực hệ thống AI ở quy mô lớn là điều cần thiết để đảm bảo tính chính xác và độ tin cậy.</li> </ul> <p>OpenAI cũng chia sẻ những bài học kinh nghiệm của họ trong quá trình xây dựng cơ sở hạ tầng AI, bao gồm:</p> <ul> <li><strong>Hiểu rõ các yêu cầu về tài nguyên tính toán:</strong> Nắm vững lượng tài nguyên cần thiết cho mỗi giai đoạn phát triển AI.</li> <li><strong>Xây dựng các hệ thống có khả năng mở rộng:</strong> Thiết kế hệ thống để có thể dễ dàng mở rộng và nâng cấp trong tương lai.</li> <li><strong>Tập trung vào hiệu quả năng lượng:</strong> Tìm cách giảm tiêu thụ năng lượng để hạ chi phí hoạt động.</li> <li><strong>Chuẩn bị cho sự cố:</strong> Đảm bảo có các biện pháp phòng ngừa và giải pháp khôi phục khi sự cố xảy ra.</li> </ul> <p>Cuối cùng, bài thuyết trình khẳng định rằng AI cần nhiều đầu tư hơn nữa để có thể phát triển và ứng dụng rộng rãi. Việc thiết kế và xây dựng cơ sở hạ tầng AI là một thách thức lớn nhưng cũng là cơ hội to lớn để thúc đẩy sự phát triển của ngành công nghiệp này. </p> <p><strong>Kết luận:</strong></p> <p>Bài thuyết trình của OpenAI đã mang đến cái nhìn sâu sắc về những thách thức và cơ hội khi xây dựng cơ sở hạ tầng AI. OpenAI đã chia sẻ những kinh nghiệm quý báu và những bài học kinh nghiệm của họ, giúp các nhà phát triển AI có cái nhìn tổng quan hơn về lĩnh vực này.</p><br><img alt="Blog post image" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg">

OpenAI: Xây Dựng Cơ Sở Hạ Tầng AI Khó Khăn Như Thế Nào?

OpenAI: Xây Dựng Cơ Sở Hạ Tầng AI Khó Khăn Như Thế Nào? Tại hội nghị Hot Chips 2024, OpenAI đã trình bày một bài thuyết trình kéo dài một t...

Read more »

OpenAI: Rời bỏ an toàn AI hay chạy theo lợi nhuận?

<h2 id="section-0">OpenAI: Rời bỏ an toàn AI hay chạy theo lợi nhuận?</h2> <p><strong>Sự ra đi của gần một nửa đội ngũ nghiên cứu an toàn trí tuệ nhân tạo (AGI) tại OpenAI trong những tháng gần đây đang đặt ra câu hỏi về ưu tiên của công ty này.</strong></p> <p>Theo Daniel Kokotajlo, một cựu nhà nghiên cứu quản trị tại OpenAI, gần một nửa số nhân viên từng tập trung vào việc đánh giá các rủi ro lâu dài của trí tuệ nhân tạo siêu việt đã rời khỏi công ty. </p> <p>OpenAI, nhà phát triển trợ lý AI ChatGPT, được coi là một trong những công ty tiên phong trong lĩnh vực phát triển AI. Theo điều lệ thành lập, sứ mệnh của OpenAI là phát triển trí tuệ nhân tạo chung (AGI) theo cách “có lợi cho toàn nhân loại”. AGI được OpenAI định nghĩa là các hệ thống tự động có thể thực hiện các công việc có giá trị kinh tế cao nhất, tương tự như những gì con người đang làm hiện nay.</p> <p>Tuy nhiên, do những rủi ro tiềm ẩn đáng kể từ AGI, bao gồm cả khả năng thoát khỏi sự kiểm soát của con người và gây ra mối đe dọa hiện hữu cho toàn nhân loại, OpenAI đã tuyển dụng một số lượng lớn nhà nghiên cứu tập trung vào "an toàn AGI" - những kỹ thuật để đảm bảo rằng AGI trong tương lai không gây ra nguy hiểm nghiêm trọng hoặc thậm chí là nguy cơ tồn tại. </p> <p>Kokotajlo cho biết đội ngũ các nhà nghiên cứu này đã bị suy giảm nghiêm trọng do những người đã nghỉ việc gần đây. Trong số những người rời đi có Jan Hendrik Kirchner, Collin Burns, Jeffrey Wu, Jonathan Uesato, Steven Bills, Yuri Burda, Todor Markov và đồng sáng lập John Schulman. Sự ra đi của họ diễn ra sau khi các nhà khoa học trưởng Ilya Sutskever và Jan Leike, người đồng lãnh đạo nhóm "siêu sắp xếp" của OpenAI, tuyên bố từ chức vào tháng 5. </p> <p>Trong một bài đăng trên mạng xã hội X (Twitter), Leike nói rằng an toàn ngày càng "bị lu mờ bởi những sản phẩm bóng bẩy" tại OpenAI. Nhóm "siêu sắp xếp" có nhiệm vụ nghiên cứu các cách kiểm soát "trí tuệ siêu nhân tạo" - một công nghệ mang tính suy đoán cao hơn cả AGI, bao gồm các hệ thống tự động có khả năng vượt trội so với trí tuệ tổng hợp của tất cả con người.</p> <p>Kokotajlo chia sẻ với Fortune rằng sự ra đi của các nhà nghiên cứu về an toàn AGI diễn ra một cách chậm rãi nhưng đều đặn trong năm 2024. Từ khoảng 30 nhân viên từng làm việc trong lĩnh vực này, hiện chỉ còn khoảng 16 người.</p> <p>"Không phải là một hành động phối hợp. Tôi nghĩ đơn giản là mọi người dần dần bỏ cuộc," Kokotajlo nói. Điều này diễn ra trong bối cảnh OpenAI tiếp tục chuyển trọng tâm sang sản phẩm và thương mại, ít chú trọng đến nghiên cứu nhằm tìm ra cách đảm bảo sự phát triển an toàn của AGI. </p> <p>Sự ra đi của các nhà nghiên cứu an toàn AGI đáng chú ý vì nó có thể phản ánh mức độ cẩn trọng của OpenAI đối với các rủi ro tiềm ẩn của công nghệ mà công ty đang phát triển, và liệu động lực lợi nhuận có đang khiến OpenAI thực hiện các hành động có thể gây nguy hiểm hay không. </p> <p>Kokotajlo trước đây từng gọi cuộc đua phát triển AGI của các công ty công nghệ lớn là "bất cẩn". </p> <p>Một phát ngôn viên của OpenAI cho biết công ty "tự hào về thành tích cung cấp các hệ thống AI có khả năng và an toàn nhất và tin tưởng vào cách tiếp cận khoa học của chúng tôi trong việc giải quyết rủi ro." Phát ngôn viên cũng cho biết công ty đồng ý rằng "cuộc tranh luận nghiêm ngặt" liên quan đến các rủi ro AI là "cực kỳ quan trọng" và sẽ "tiếp tục tham gia với chính phủ, xã hội dân sự và các cộng đồng khác trên toàn thế giới."</p> <p>Mặc dù các nhà nghiên cứu an toàn AGI chủ yếu quan tâm đến việc kiểm soát các hệ thống AGI trong tương lai, một số cách hiệu quả nhất để kiểm soát tốt hơn các mô hình ngôn ngữ lớn, nền tảng của phần mềm AI hiện có, nhằm đảm bảo chúng không sử dụng ngôn ngữ phân biệt chủng tộc hoặc độc hại, viết phần mềm độc hại, hoặc cung cấp cho người dùng hướng dẫn tạo vũ khí sinh học, đã đến từ các nhà nghiên cứu làm việc trong lĩnh vực an toàn AGI.</p> <p>Kokotajlo không thể nói đến lý do đằng sau tất cả các trường hợp từ chức, nhưng ông nghi ngờ rằng chúng phù hợp với quan điểm của ông về việc OpenAI "khá gần" với việc phát triển AGI, nhưng chưa sẵn sàng để "xử lý tất cả những gì nó mang lại." Điều đó đã dẫn đến điều mà ông gọi là "hiệu ứng lạnh lẽo" trong công ty đối với những người cố gắng công bố nghiên cứu về rủi ro của AGI và "sự gia tăng ảnh hưởng của các bộ phận truyền thông và vận động hành lang của OpenAI" đối với những gì phù hợp để công bố. </p> <p>OpenAI chưa phản hồi yêu cầu bình luận.</p> <p>Kokotajlo cho biết những lo ngại của ông về văn hóa đang thay đổi tại OpenAI đã bắt đầu trước những diễn biến trong phòng họp vào tháng 11 năm 2023, khi CEO Sam Altman bị sa thải và sau đó được tái bổ nhiệm nhanh chóng. Trong thời gian đó, ba thành viên hội đồng quản trị của OpenAI tập trung vào an toàn AGI đã bị loại bỏ. "Điều đó đã đóng dấu. Không có gì có thể quay lại sau điều đó," ông nói, và thêm rằng, mặc dù ông không được tiếp cận với những gì diễn ra sau hậu trường, nhưng cảm giác của ông là Altman và chủ tịch Greg Brockman (người gần đây đã nghỉ phép dài hạn) đã "củng cố quyền lực" kể từ đó. </p> <p>"Những người chủ yếu tập trung vào việc suy nghĩ về an toàn AGI và sự chuẩn bị đang bị gạt ra rìa ngày càng nhiều," ông nói.</p> <p>Tuy nhiên, nhiều nhà lãnh đạo nghiên cứu AI, bao gồm đồng sáng lập Google Brain Andrew Ng, giáo sư Đại học Stanford Fei-Fei Li và nhà khoa học trưởng Meta Yann LeCun, coi trọng tâm của cộng đồng an toàn AI về mối đe dọa của AI đối với nhân loại là bị cường điệu. Họ cho rằng AGI vẫn còn cách chúng ta nhiều thập kỷ nữa và AI có thể giúp giải quyết những rủi ro hiện hữu đối với nhân loại, bao gồm biến đổi khí hậu và đại dịch trong tương lai. Ngoài ra, họ cho rằng việc tập trung quá mức vào rủi ro AGI, thường bởi các nhà nghiên cứu và tổ chức được tài trợ bởi các tổ chức có liên quan đến phong trào vị tha hiệu quả gây tranh cãi, tập trung mạnh mẽ vào "rủi ro hiện hữu" của AI đối với nhân loại, sẽ dẫn đến các luật kìm hãm sự đổi mới và trừng phạt các nhà phát triển mô hình, thay vì tập trung vào các ứng dụng của mô hình AI.</p> <p>Những nhà phê bình này nói rằng một ví dụ về một luật như vậy là SB 1047 của California, được hỗ trợ bởi các nhóm có liên kết với vị tha hiệu quả và đã "gây ra cuộc tranh luận dữ dội" trước cuộc bỏ phiếu lập pháp cuối cùng dự kiến diễn ra trong tuần này. Dự luật nhằm đặt ra các rào chắn cho việc phát triển và sử dụng các mô hình AI mạnh mẽ nhất.</p> <p>Kokotajlo cho biết ông thất vọng, nhưng không ngạc nhiên khi OpenAI phản đối SB 1047. Cùng với cựu đồng nghiệp William Saunders, ông đã "viết một bức thư" tuần trước gửi cho nhà tài trợ của dự luật, Thượng nghị sĩ bang Scott Wiener, nói rằng những lời phàn nàn của OpenAI về dự luật "không có vẻ gì là thiện chí".</p> <p>"Trong một số khía cạnh, đây là sự phản bội kế hoạch mà chúng tôi đã có từ năm 2022," Kokotajlo nói với Fortune, chỉ ra điều mà ông gọi là nỗ lực của OpenAI và toàn ngành công nghiệp AI trong việc đánh giá các rủi ro lâu dài của AGI và đạt được cam kết tự nguyện về cách phản ứng với các ngưỡng nguy hiểm bị vượt qua, và sử dụng những kết quả đó như "nguồn cảm hứng và khuôn mẫu cho luật pháp và quy định".</p> <p>Dù vậy, Kokotajlo vẫn không hối tiếc về việc gia nhập OpenAI. "Tôi nghĩ mình đã học được rất nhiều điều hữu ích ở đó. Tôi cảm thấy mình có thể đã tạo ra sự khác biệt tích cực," ông nói, mặc dù ông hối tiếc đã không rời đi sớm hơn. "Tôi đã bắt đầu cân nhắc điều đó trước khủng hoảng hội đồng quản trị và nhìn lại, tôi đáng lẽ nên làm điều đó."</p> <p>Ông có những người bạn vẫn đang làm việc về an toàn AGI tại OpenAI và cho biết, mặc dù nhóm "siêu sắp xếp" của OpenAI đã bị "giải tán" sau khi Leike rời đi, một số người còn lại đã chuyển sang các nhóm khác nơi họ được phép làm việc trên các dự án tương tự. Và chắc chắn vẫn có những người khác trong công ty tập trung vào sự an toàn của các mô hình AI hiện tại của OpenAI. Sau khi giải tán nhóm Superalignment, vào tháng 5, OpenAI đã "tuyên bố" thành lập một ủy ban an ninh và an toàn mới "có trách nhiệm đưa ra khuyến nghị về các quyết định an ninh và an toàn quan trọng cho tất cả các dự án của OpenAI." Tháng này, OpenAI đã bổ nhiệm giáo sư Đại học Carnegie Mellon Zico Kolter, người có công trình nghiên cứu tập trung vào bảo mật AI, vào hội đồng quản trị của mình.</p> <p>Nhưng đối với những người còn lại trong công ty, Kokotajlo cảnh báo về tư duy nhóm giữa cuộc đua của các công ty AI lớn nhất để phát triển AGI đầu tiên. "Tôi nghĩ một phần của những gì đang xảy ra…là, một cách tự nhiên, những gì được coi là quan điểm hợp lý trong công ty được định hình bởi những gì đa số nghĩ, và cũng bởi những động lực mà mọi người đang phải chịu," ông nói. "Vì vậy, không có gì đáng ngạc nhiên khi các công ty kết luận rằng điều tốt cho nhân loại là họ giành chiến thắng trong cuộc đua đến AGI - đó là kết luận được khuyến khích."</p> <p><em>Cập nhật ngày 27 tháng 8: Câu chuyện này đã được cập nhật để bao gồm các tuyên bố từ một phát ngôn viên của OpenAI.</em></p><br><img alt="Blog post image" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg">

OpenAI: Rời bỏ an toàn AI hay chạy theo lợi nhuận?

OpenAI: Rời bỏ an toàn AI hay chạy theo lợi nhuận? Sự ra đi của gần một nửa đội ngũ nghiên cứu an toàn trí tuệ nhân tạo (AGI) tại OpenAI tr...

Read more »

OpenAI Chuẩn Bị Ra Mắt Mô Hình AI Mới "Strawberry" Vào Mùa Thu

<h2 id="section-0">OpenAI Chuẩn Bị Ra Mắt Mô Hình AI Mới "Strawberry" Vào Mùa Thu</h2> <p>OpenAI, công ty đứng sau mô hình ngôn ngữ lớn ChatGPT, được cho là đang chuẩn bị ra mắt sản phẩm trí tuệ nhân tạo (AI) mới vào mùa thu năm nay. Được gọi là "Strawberry", mô hình AI này được kỳ vọng sẽ vượt trội hơn các mô hình hiện tại, có khả năng giải quyết các vấn đề và nhiệm vụ phức tạp mà AI trước đây không thể xử lý.</p> <p>Theo một bài báo được đăng tải trên Seeking Alpha, Strawberry sẽ có khả năng:</p> <ul> <li><strong>Giải quyết các bài toán toán học mà nó chưa từng gặp phải:</strong> Điều này có nghĩa là mô hình có thể suy luận logic và ứng dụng kiến thức từ các vấn đề trước để giải quyết những vấn đề mới.</li> <li><strong>Thực hiện các nhiệm vụ cấp cao như phát triển chiến lược thị trường và giải quyết các câu đố logic phức tạp:</strong> Strawberry sẽ thể hiện khả năng tư duy chiến lược và phân tích dữ liệu để đưa ra các giải pháp hiệu quả.</li> <li><strong>Thực hiện "nghiên cứu sâu":</strong> Mô hình có thể tìm hiểu và xử lý thông tin phức tạp từ nhiều nguồn để đưa ra kết luận chính xác và toàn diện.</li> </ul> <p>Tin tức về Strawberry lần đầu tiên xuất hiện vào tháng 7 khi OpenAI được cho là đang phát triển một mô hình AI nhằm cải thiện khả năng suy luận logic của AI. Tuy nhiên, chi tiết cụ thể về Strawberry và thời gian ra mắt vẫn còn chưa rõ ràng.</p> <p>Ghazenfer Mansoor, người sáng lập và Giám đốc điều hành của Technology Rivers, chia sẻ rằng việc OpenAI theo đuổi AI có khả năng suy luận như con người không chỉ là một kỳ tích công nghệ mà còn là một câu chuyện về việc phá vỡ giới hạn và mở ra những khả năng mới cho mọi ngành nghề. Ông cũng cho biết AI có thể cách mạng hóa các ngành công nghiệp như quản lý chuỗi cung ứng, dự báo thị trường và cá nhân hóa trải nghiệm khách hàng trên quy mô lớn.</p> <p>Bên cạnh Strawberry, OpenAI đã ra mắt một loạt sản phẩm mới trong thời gian gần đây:</p> <ul> <li><strong>Tính năng giọng nói nâng cao cho ChatGPT:</strong> Ra mắt vào tháng 7, tính năng này sử dụng mô hình GPT-4o để tạo ra phản hồi âm thanh chân thực, cho phép người dùng tương tác với ChatGPT bằng giọng nói một cách tự nhiên và liền mạch.</li> <li><strong>Công cụ SearchGPT:</strong> Ra mắt vào cuối tháng 7, SearchGPT hiện đang được thử nghiệm bởi một nhóm nhỏ người dùng. Mô hình AI này hứa hẹn sẽ cung cấp kết quả tìm kiếm chính xác và cô đọng hơn so với các công cụ tìm kiếm truyền thống, đồng thời cung cấp câu trả lời tóm tắt kèm theo các liên kết nguồn.</li> <li><strong>Phiên bản nhỏ hơn, giá cả phải chăng hơn của ChatGPT:</strong> GPT-4o mini, ra mắt vào giữa tháng 7, là phiên bản kế nhiệm của GPT-3.5 Turbo. Phiên bản này được thiết kế với kích thước nhỏ hơn nhưng vẫn cung cấp hiệu suất cao trong các lĩnh vực như trí tuệ ngôn ngữ và suy luận đa phương thức.</li> </ul> <p>Sự xuất hiện của Strawberry hứa hẹn sẽ là một bước tiến quan trọng trong lĩnh vực AI, mở ra những khả năng mới cho công nghệ này và tác động lớn đến nhiều ngành nghề trong tương lai.</p><br><img alt="Blog post image" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg">

OpenAI Chuẩn Bị Ra Mắt Mô Hình AI Mới "Strawberry" Vào Mùa Thu

OpenAI Chuẩn Bị Ra Mắt Mô Hình AI Mới "Strawberry" Vào Mùa Thu OpenAI, công ty đứng sau mô hình ngôn ngữ lớn ChatGPT, được cho là...

Read more »

Nous Research hé lộ công cụ tối ưu hóa huấn luyện AI mạnh mẽ DisTrO: Cách mạng hóa huấn luyện AI trên quy mô lớn

<h2 id="section-0">Nous Research hé lộ công cụ tối ưu hóa huấn luyện AI mạnh mẽ DisTrO: Cách mạng hóa huấn luyện AI trên quy mô lớn</h2> <p><strong>Nous Research</strong>, một nhóm nghiên cứu nhỏ chuyên về mô hình AI "cá nhân hóa, không hạn chế", đã gây ấn tượng với cộng đồng AI khi phát hành biến thể mã nguồn mở Llama 3.1, <strong>Hermes 3</strong>, hồi đầu tháng. Nay, họ lại tiếp tục gây chú ý với một đột phá đáng kể khác: <strong>DisTrO</strong> (Distributed Training Over-the-Internet), một công cụ tối ưu hóa mới, giúp giảm lượng thông tin phải truyền tải giữa các GPU trong mỗi bước huấn luyện mô hình AI.</p> <h3 id="section-1">DisTrO: Tận dụng sức mạnh tính toán của thế giới mở</h3> <p>DisTrO mang ý nghĩa to lớn đối với cộng đồng AI. Nhờ công nghệ này, việc huấn luyện mô hình AI mạnh mẽ không còn giới hạn trong các công ty lớn nữa, mà có thể được thực hiện trên toàn thế giới thông qua kết nối internet phổ thông. Cá nhân, tổ chức có thể hợp tác huấn luyện mô hình AI, mở ra nhiều khả năng mới trong nghiên cứu và ứng dụng.</p> <p>Kết quả thử nghiệm của DisTrO đã được công bố trong một bài báo kỹ thuật của Nous Research, cho thấy hiệu quả vượt trội. DisTrO mang lại hiệu quả cao hơn 857 lần so với thuật toán huấn luyện phổ biến All-Reduce, đồng thời giảm đáng kể lượng thông tin truyền tải trong mỗi bước huấn luyện (86,8 MB so với 74,4 GB), với mức giảm hiệu suất nhỏ.</p> <h3 id="section-2">Thách thức của huấn luyện AI: Yêu cầu phần cứng khắt khe</h3> <p>Huấn luyện AI, đặc biệt là các mô hình lớn, đòi hỏi phần cứng mạnh mẽ, tốn kém. Việc sử dụng GPU, đặc biệt là GPU của NVIDIA, là điều không thể thiếu trong quy trình này. Các công ty như Tesla, Meta, OpenAI, Microsoft, Google và Anthropic đã đầu tư mạnh vào việc xây dựng các siêu cụm GPU để đáp ứng nhu cầu huấn luyện AI ngày càng cao.</p> <p>Việc huấn luyện AI thường yêu cầu các cụm GPU được thiết kế, bố trí một cách chính xác trong môi trường được kiểm soát để tối ưu hóa hiệu suất và giảm thiểu độ trễ. Điều này dẫn đến tình trạng chỉ các công ty lớn mới có đủ khả năng tài chính để đầu tư vào huấn luyện AI.</p> <h3 id="section-3">DisTrO: Cách mạng hóa huấn luyện AI bằng cách phân tán</h3> <p>DisTrO mang đến giải pháp cho vấn đề này. Thay vì yêu cầu các GPU được kết nối với nhau bằng các đường truyền băng thông cao, DisTrO giảm đáng kể lượng thông tin cần truyền tải giữa các GPU trong mỗi bước huấn luyện. Điều này cho phép việc huấn luyện AI được thực hiện trên các mạng lưới phân tán, thậm chí với các kết nối internet phổ thông.</p> <p>DisTrO đã được thử nghiệm với mô hình ngôn ngữ lớn Meta Llama 2 (1,2 tỷ tham số) và đạt hiệu suất tương đương với các phương pháp truyền thống nhưng với lượng thông tin truyền tải thấp hơn đáng kể. Nhóm nghiên cứu dự đoán DisTrO có thể được ứng dụng để huấn luyện các mô hình khuếch tán lớn (LDM) như Stable Diffusion và Midjourney.</p> <h3 id="section-4">DisTrO: Mở ra cánh cửa mới cho tương lai của AI</h3> <p>Với DisTrO, Nous Research đang thúc đẩy một hệ sinh thái nghiên cứu AI bao gồm và linh hoạt hơn. Công nghệ này có tiềm năng to lớn trong việc thúc đẩy sự phát triển của AI, giúp giải quyết nhiều vấn đề nan giải trong xã hội.</p> <p>DisTrO đã được các chuyên gia AI đánh giá cao và nhận được sự quan tâm lớn từ cộng đồng. Đây là một bước tiến quan trọng trong lĩnh vực AI, mở ra nhiều khả năng mới cho tương lai của công nghệ này.</p> <h3 id="section-5">Kết luận</h3> <p>DisTrO là một công cụ tối ưu hóa huấn luyện AI đột phá, có khả năng cách mạng hóa cách chúng ta huấn luyện AI. Nó cho phép huấn luyện AI trên quy mô lớn hơn, dễ dàng hơn và với chi phí thấp hơn. DisTrO hứa hẹn sẽ mở ra một kỷ nguyên mới cho lĩnh vực AI, giúp đưa công nghệ này đến gần hơn với mọi người và mở ra nhiều ứng dụng tiềm năng.</p><br><img alt="Blog post image" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg">

Nous Research hé lộ công cụ tối ưu hóa huấn luyện AI mạnh mẽ DisTrO: Cách mạng hóa huấn luyện AI trên quy mô lớn

Nous Research hé lộ công cụ tối ưu hóa huấn luyện AI mạnh mẽ DisTrO: Cách mạng hóa huấn luyện AI trên quy mô lớn Nous Research , một nhóm n...

Read more »

SambaNova Đạt Kỷ Lục Tốc Độ Xử Lý Mô Hình Llama 3.1 405B

<h2 id="section-0">SambaNova Đạt Kỷ Lục Tốc Độ Xử Lý Mô Hình Llama 3.1 405B</h2> <p><strong>SambaNova Systems, một công ty chuyên về giải pháp phần cứng và phần mềm trí tuệ nhân tạo (AI), vừa đạt được một cột mốc mới về hiệu suất, thiết lập kỷ lục thế giới về tốc độ xử lý mô hình Llama 3.1 405B của Meta, đạt tốc độ 114 token mỗi giây.</strong> Hiệu suất này, được xác nhận bởi Artificial Analysis, vượt xa các nhà cung cấp khác hơn bốn lần, khẳng định vị thế dẫn đầu của SambaNova trong lĩnh vực tốc độ và hiệu quả AI.</p> <p>Andrew Ng, người sáng lập DeepLearning.ai, chia sẻ sự ấn tượng: "Tôi đã thử nghiệm API của SambaNova Systems để phục vụ token Llama 3.1 405B tốc độ cao. Thật tuyệt vời khi thấy mô hình hàng đầu chạy với tốc độ như vậy. Xin chúc mừng Samba Nova đã đạt kỷ lục tốc độ 114 token/giây."</p> <p>Kỷ lục này được thiết lập bằng cách sử dụng một nút đơn 16-socket, hoạt động với độ chính xác 16-bit đầy đủ trên chip RDU tùy chỉnh của SambaNova. Phát triển này giải quyết bài toán cân bằng giữa chất lượng và tốc độ trong các mô hình lớn như Llama 3.1 405B, cho phép triển khai mô hình trong nhiều ứng dụng nhạy cảm với tốc độ, chẳng hạn như hỗ trợ khách hàng và đại lý AI.</p> <p>George Cameron, đồng sáng lập Artificial Analysis, xác nhận kỷ lục, cho biết nền tảng của SambaNova giúp giảm thiểu sự đánh đổi giữa kích thước mô hình và tốc độ hoạt động, khiến nó trở nên khả thi cho các ứng dụng thời gian thực.</p> <p>Chip RDU thế hệ thứ tư của SambaNova, SN40L, đóng vai trò quan trọng trong thành tựu này, hỗ trợ xử lý thời gian thực, mở ra những trường hợp sử dụng doanh nghiệp mới. Bao gồm: xử lý tài liệu thông minh, AI trợ lý thời gian thực và AI có thể giải thích, tất cả đều hưởng lợi từ tốc độ của nền tảng.</p> <p>Công ty hiện đang cung cấp bản demo của mô hình Llama 3.1 405B trên trang web của họ và mời các nhà phát triển truy cập API để xây dựng các ứng dụng AI cấp doanh nghiệp.</p> <p><strong>SambaNova Systems là một công ty công nghệ chuyên về phần cứng và phần mềm trí tuệ nhân tạo (AI).</strong> Được thành lập vào năm 2017 tại Palo Alto, California bởi Kunle Olukotun, Rodrigo Liang và Christopher Ré, công ty cung cấp các giải pháp được thiết kế đặc biệt cho các ứng dụng học sâu và AI. </p> <p>Công nghệ của công ty được xây dựng dựa trên chip SN40L, có kiến trúc luồng dữ liệu có thể cấu hình lại. Thiết kế này tối ưu hóa việc di chuyển dữ liệu và giảm độ trễ, khiến nó trở nên hiệu quả cao cho các tác vụ AI so với các hệ thống dựa trên GPU truyền thống.</p><br><img alt="Blog post image" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg">

SambaNova Đạt Kỷ Lục Tốc Độ Xử Lý Mô Hình Llama 3.1 405B

SambaNova Đạt Kỷ Lục Tốc Độ Xử Lý Mô Hình Llama 3.1 405B SambaNova Systems, một công ty chuyên về giải pháp phần cứng và phần mềm trí tuệ n...

Read more »

Cerebras: Bước Ngoặt Mới Cho Xử Lý Tốc Độ Cao Trong Trí Tuệ Nhân Tạo

<h2 id="section-0">Cerebras: Bước Ngoặt Mới Cho Xử Lý Tốc Độ Cao Trong Trí Tuệ Nhân Tạo</h2> <p>Công ty Cerebras Systems, đơn vị tiên phong trong lĩnh vực tính toán AI hiệu suất cao, vừa giới thiệu Cerebras Inference - giải pháp xử lý suy luận AI nhanh nhất thế giới. Với tốc độ xử lý 1,800 token mỗi giây cho mô hình Llama 3.1 8B và 450 token mỗi giây cho Llama 3.1 70B, Cerebras Inference nhanh hơn gấp 20 lần so với các giải pháp dựa trên GPU của NVIDIA trong các đám mây siêu quy mô. </p> <p><strong>Giá cả cạnh tranh:</strong> Hệ thống này có giá chỉ từ 10 xu cho mỗi triệu token, rẻ hơn nhiều lần so với các giải pháp dựa trên GPU, mang đến hiệu suất giá trị cao hơn 100 lần cho các khối lượng công việc AI. </p> <p><strong>Ưu điểm vượt trội:</strong> Cerebras Inference không đánh đổi độ chính xác để tăng tốc độ. Thay vào đó, hệ thống này duy trì độ chính xác cao nhất trong suốt quá trình suy luận bằng cách hoạt động ở phạm vi 16 bit. </p> <p><strong>Sự công nhận từ các chuyên gia:</strong> </p> <p>Micah Hill-Smith, đồng sáng lập và Giám đốc điều hành của Artificial Analysis, chia sẻ: “Cerebras đã dẫn đầu trong các điểm chuẩn suy luận AI của Artificial Analysis. Hệ thống này đạt tốc độ nhanh hơn gấp nhiều lần so với các giải pháp dựa trên GPU cho các mô hình AI Llama 3.1 8B và 70B của Meta. Chúng tôi đang đo lường tốc độ trên 1,800 token đầu ra mỗi giây trên Llama 3.1 8B, và trên 446 token đầu ra mỗi giây trên Llama 3.1 70B - một kỷ lục mới trong các điểm chuẩn này.”</p> <p>“Artificial Analysis đã xác nhận rằng Llama 3.1 8B và 70B trên Cerebras Inference đạt được kết quả đánh giá chất lượng phù hợp với độ chính xác 16 bit gốc theo các phiên bản chính thức của Meta. Với tốc độ đẩy giới hạn hiệu suất và giá cả cạnh tranh, Cerebras Inference đặc biệt hấp dẫn đối với các nhà phát triển ứng dụng AI có yêu cầu về thời gian thực hoặc khối lượng lớn," ông Hill-Smith kết luận.</p> <p><strong>Bước tiến mới cho AI:</strong> Suy luận là phân khúc phát triển nhanh nhất của ngành tính toán AI, chiếm khoảng 40% tổng thị trường phần cứng AI. Sự ra đời của suy luận AI tốc độ cao, vượt quá 1,000 token mỗi giây, tương đương với việc giới thiệu internet băng thông rộng, mở ra vô số cơ hội mới và báo hiệu một kỷ nguyên mới cho các ứng dụng AI. </p> <p><strong>Sự ủng hộ từ các công ty hàng đầu:</strong></p> <ul> <li><strong>Dr. Andrew Ng, người sáng lập DeepLearning.AI, nhận định:</strong> "DeepLearning.AI có nhiều quy trình làm việc dựa trên tác nhân, đòi hỏi việc nhắc nhở liên tục LLM để có được kết quả. Cerebras đã xây dựng một khả năng suy luận nhanh đáng kinh ngạc, rất hữu ích cho những khối lượng công việc như vậy.”</li> <li><strong>Kim Branson, Phó chủ tịch cấp cao về AI/ML tại GlaxoSmithKline, một khách hàng sớm của Cerebras, cho biết:</strong> “Tốc độ và quy mô thay đổi mọi thứ.”</li> <li><strong>Russell D'sa, Giám đốc điều hành và đồng sáng lập LiveKit, chia sẻ:</strong> "LiveKit rất vui mừng được hợp tác với Cerebras để giúp các nhà phát triển xây dựng thế hệ ứng dụng AI đa phương thức tiếp theo. Kết hợp khả năng tính toán hàng đầu của Cerebras và các mô hình SoTA với mạng lưới edge toàn cầu của LiveKit, các nhà phát triển giờ đây có thể tạo ra trải nghiệm AI dựa trên giọng nói và video với độ trễ cực thấp và các đặc điểm giống con người hơn."</li> </ul> <p><strong>Cerebras Inference: Bước ngoặt cho tương lai:</strong></p> <ul> <li><strong>Denis Yarats, Giám đốc công nghệ và đồng sáng lập Perplexity, nhận xét:</strong> “Đối với các công cụ tìm kiếm truyền thống, chúng tôi biết rằng độ trễ thấp hơn thúc đẩy sự tương tác của người dùng cao hơn và kết quả tức thời đã thay đổi cách mọi người tương tác với tìm kiếm và với internet. Tại Perplexity, chúng tôi tin rằng tốc độ suy luận cực nhanh như Cerebras đang thể hiện có thể có tác động tương tự đối với tương tác của người dùng với tương lai của tìm kiếm - các công cụ tìm kiếm thông minh."</li> <li><strong>Anil Varanasi, Giám đốc điều hành của Meter, chia sẻ:</strong> “Với cơ sở hạ tầng, tốc độ là tối quan trọng. Hiệu suất của Cerebras Inference tăng cường Meter Command để tạo ra phần mềm tùy chỉnh và thực hiện hành động, tất cả với tốc độ và sự dễ dàng của việc tìm kiếm trên web. Mức độ phản hồi này giúp khách hàng của chúng tôi nhận được thông tin cần thiết, chính xác khi họ cần để giữ cho đội ngũ của họ trực tuyến và hiệu quả."</li> </ul> <p><strong>Cerebras Inference: Ba cấp độ dịch vụ</strong></p> <ul> <li><strong>Cấp độ miễn phí:</strong> Cung cấp quyền truy cập API miễn phí và giới hạn sử dụng hào phóng cho bất kỳ ai đăng nhập.</li> <li><strong>Cấp độ dành cho nhà phát triển:</strong> Được thiết kế cho triển khai linh hoạt, không máy chủ, cung cấp cho người dùng một điểm cuối API với giá chỉ một phần nhỏ so với các giải pháp thay thế trên thị trường. </li> <li><strong>Cấp độ doanh nghiệp:</strong> Cung cấp các mô hình được tinh chỉnh, thỏa thuận cấp dịch vụ tùy chỉnh và hỗ trợ chuyên dụng. </li> </ul> <p><strong>Hợp tác chiến lược để thúc đẩy phát triển AI:</strong></p> <p>Cerebras hợp tác với các công ty hàng đầu trong ngành như Docker, Nasdaq, LangChain, LlamaIndex, Weights & Biases, Weaviate, AgentOps và Log10 để thúc đẩy tương lai của AI.</p> <p><strong>Kết luận:</strong> Cerebras Inference là một bước tiến đột phá trong lĩnh vực xử lý suy luận AI, mang đến tốc độ chưa từng có với độ chính xác cao và giá cả cạnh tranh. Với những lợi ích vượt trội, hệ thống này hứa hẹn sẽ mở ra nhiều tiềm năng mới cho các ứng dụng AI, đặc biệt là những ứng dụng đòi hỏi thời gian thực và khối lượng lớn. </p><br><img alt="Blog post image" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg">

Cerebras: Bước Ngoặt Mới Cho Xử Lý Tốc Độ Cao Trong Trí Tuệ Nhân Tạo

Cerebras: Bước Ngoặt Mới Cho Xử Lý Tốc Độ Cao Trong Trí Tuệ Nhân Tạo Công ty Cerebras Systems, đơn vị tiên phong trong lĩnh vực tính toán ...

Read more »