Agent.ai.vn

Google ra mắt chatbot AI tùy chỉnh: Gems - Người bạn đồng hành đa năng

<h2 id="section-0">Google ra mắt chatbot AI tùy chỉnh: Gems - Người bạn đồng hành đa năng</h2>
The Verge đưa tin Google sắp cho phép người đăng ký Gemini tạo chatbot AI tùy chỉnh, có thể hoạt động như một huấn luyện viên thể dục, bạn đồng hành nấu ăn, biên tập viên viết lách và hơn thế nữa. Người dùng có thể cung cấp cho các chatbot này - được gọi là Gems - các tính cách và chuyên môn riêng biệt bằng cách mô tả một tập hợp các hướng dẫn đơn giản.
Google đã giới thiệu Gems lần đầu tiên trong sự kiện I/O vào tháng 5. Trong một ví dụ được Google trình bày, người dùng có thể tạo một Gem "am hiểu, thân thiện và thoải mái" có thể giúp mọi người lên kế hoạch cho những khu vườn ít hoặc không cần tưới nước. Đối với những người dùng chưa muốn tạo chatbot tùy chỉnh ngay lập tức, Google cung cấp một số Gems được tạo sẵn, bao gồm huấn luyện viên học tập, người động não ý tưởng, hướng dẫn nghề nghiệp, bạn đồng hành viết mã và biên tập viên.
Gems đang được triển khai cho người dùng Gemini Advanced, Gemini Business và Gemini Enterprise trên thiết bị di động và máy tính để bàn tại hơn 150 quốc gia và "hầu hết" các ngôn ngữ.
Việc ra mắt Gems của Google được xem là một động thái để bắt kịp OpenAI, công ty đã cho phép người dùng tạo chatbot AI tùy chỉnh của riêng họ từ nhiều tháng trước. OpenAI thậm chí còn tiến xa hơn một bước khi cho phép người dùng chia sẻ các GPT tùy chỉnh thông qua cửa hàng của mình.
Điểm nổi bật:
<ul>
<li>Google ra mắt chatbot AI tùy chỉnh có tên là Gems.</li>
<li>Người dùng có thể cá nhân hóa Gems với tính cách và chuyên môn riêng biệt.</li>
<li>Google cung cấp các Gems được tạo sẵn cho những người dùng chưa muốn tùy chỉnh.</li>
<li>Gems khả dụng trên nhiều nền tảng, quốc gia và ngôn ngữ.</li>
<li>Việc ra mắt Gems cho thấy Google đang nỗ lực cạnh tranh với OpenAI trong lĩnh vực chatbot AI.</li>
</ul>
Phân tích:
Việc Google cho phép người dùng tạo chatbot AI tùy chỉnh là một bước tiến quan trọng trong việc cá nhân hóa trải nghiệm AI. Gems có tiềm năng trở thành người bạn đồng hành đa năng, hỗ trợ người dùng trong nhiều lĩnh vực khác nhau của cuộc sống. Tuy nhiên, Google cần tiếp tục phát triển và cải thiện Gems để có thể cạnh tranh hiệu quả với các đối thủ như OpenAI, đặc biệt là về khả năng chia sẻ và cộng đồng.
Kết luận:
Gems là một tính năng đầy hứa hẹn, cho thấy tiềm năng to lớn của chatbot AI trong tương lai. Việc Google đầu tư vào công nghệ này cho thấy sự quan tâm của họ đối với việc cá nhân hóa trải nghiệm AI và mang lại lợi ích thiết thực cho người dùng. <img alt="Blog post image" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg" />

Google ra mắt chatbot AI tùy chỉnh: Gems - Người bạn đồng hành đa năng

Google ra mắt chatbot AI tùy chỉnh: Gems - Người bạn đồng hành đa năng The Verge đưa tin Google sắp cho phép người đăng ký Gemini tạo chatb...

tháng 8 29, 2024

Claude AI ra mắt tính năng mới cho phép người dùng giải thích và cải thiện đoạn mã

<h2 id="section-0">Claude AI ra mắt tính năng mới cho phép người dùng giải thích và cải thiện đoạn mã</h2>
Anthropic vừa âm thầm giới thiệu tính năng “code-in-painting” (tạm dịch: vẽ lại mã) mới cho các sản phẩm Claude AI trên nền tảng đám mây. Tính năng này, được phát hiện thông qua kỹ thuật đảo ngược cách đây vài tuần, cho phép người dùng tương tác với các đoạn mã cụ thể thông qua một cửa sổ bật lên với hai lựa chọn: “Giải thích” và “Cải thiện”.
1. Giải thích: Lựa chọn này cung cấp giải thích chi tiết về đoạn mã được chọn trực tiếp trong cửa sổ chính, mô tả chức năng và cách thức hoạt động của nó.
2. Cải thiện: Lựa chọn này cho phép người dùng nhập yêu cầu mới để chỉnh sửa chỉ đoạn mã được chọn trong sản phẩm. Sau đó, Claude AI sẽ tạo ra một phiên bản cập nhật của sản phẩm.
Tính năng này đặc biệt hữu ích cho những người sử dụng Claude AI cho mục đích lập trình. Trong tương lai, có thể có thêm các tính năng mới được giới thiệu, chẳng hạn như khả năng đồng bộ hóa các sản phẩm và dự án với thư mục cục bộ hoặc thậm chí với GitHub.
Tính năng “code-in-painting” hứa hẹn sẽ nâng cao trải nghiệm người dùng Claude AI, đặc biệt là đối với các lập trình viên. Việc giải thích và cải thiện mã trực tiếp trong môi trường làm việc sẽ giúp tiết kiệm thời gian và nâng cao hiệu quả công việc. 
Một số điểm đáng chú ý khác về Claude AI:
<ul>
<li>Claude AI là một sản phẩm của Anthropic, một công ty nghiên cứu và an toàn AI.</li>
<li>Claude AI được thiết kế để trở thành một trợ lý AI hữu ích và vô hại.</li>
<li>Claude AI có thể được sử dụng cho nhiều mục đích khác nhau, bao gồm viết, dịch thuật, tạo mã và trả lời câu hỏi.</li>
</ul>
Sự phát triển của Claude AI cho thấy tiềm năng to lớn của trí tuệ nhân tạo trong việc hỗ trợ các hoạt động lập trình. Với việc liên tục cập nhật và cải thiện, Claude AI có thể trở thành một công cụ đắc lực cho các lập trình viên trong tương lai. <img alt="Blog post image" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg" />

Claude AI ra mắt tính năng mới cho phép người dùng giải thích và cải thiện đoạn mã

Claude AI ra mắt tính năng mới cho phép người dùng giải thích và cải thiện đoạn mã Anthropic vừa âm thầm giới thiệu tính năng “code-in-pain...

tháng 8 29, 2024

Claude AI Vượt Mặt ChatGPT Với Bản Nâng Cấp Artifacts: Hướng Dẫn Sử Dụng

<h2 id="section-0">Claude AI Vượt Mặt ChatGPT Với Bản Nâng Cấp Artifacts: Hướng Dẫn Sử Dụng</h2>
Cuộc đua giữa các chatbot AI đang ngày càng trở nên nóng bỏng, và Claude AI - đối thủ nặng ký của ChatGPT đến từ Anthropic - vừa có một bước tiến lớn với bản nâng cấp mới mang tên Artifacts. Tính năng này hứa hẹn sẽ mang đến những trải nghiệm hợp tác đột phá, vượt xa những gì ChatGPT hiện đang cung cấp. 
<h3 id="section-1">Artifacts là gì?</h3>
Artifacts là một tính năng mới cho phép biến các cuộc hội thoại với Claude AI thành trải nghiệm tương tác trực quan và hiệu quả hơn. Khi Artifacts được bật, Claude sẽ mở một cửa sổ riêng biệt hiển thị dự án mà nó đang tạo ra song song với lời nhắc của bạn. Điều này giúp bạn theo dõi trực tiếp những thay đổi và chỉnh sửa mà không cần đến công cụ của bên thứ ba. 
<h3 id="section-2">Artifacts: Vũ Khí Bí Mật Của Claude</h3>
Trước đây, Claude AI có những tính năng tương tự ChatGPT, chẳng hạn như khả năng xử lý văn bản, tệp, hình ảnh hoặc kết hợp cả ba. Tuy nhiên, ngoài ưu điểm về bảo mật, Claude chưa thực sự có điểm gì nổi bật so với đối thủ đến từ OpenAI. 
Artifacts được kỳ vọng sẽ thay đổi điều này. 
<ul>
<li>Trực quan hóa ý tưởng: Video giới thiệu Artifacts đã cho thấy Claude có thể tạo ra bản nháp trang web, hay thậm chí là trò chơi kỹ thuật số như khối Rubik ảo. </li>
<li>Chỉnh sửa thời gian thực: Bạn có thể điều chỉnh lời nhắc và quan sát trực tiếp ảnh hưởng của chúng lên dự án đang được tạo ra. </li>
<li>Hợp tác và chia sẻ: Người dùng Claude AI (miễn phí và trả phí) có thể xuất bản Artifacts của họ để người khác sử dụng và biến tấu. </li>
</ul>
<h3 id="section-3">Hướng dẫn kích hoạt Artifacts</h3>
Để kích hoạt Artifacts, bạn chỉ cần vào phần Cài đặt Hồ sơ Claude.AI bằng cách nhấp vào tên viết tắt của mình ở góc dưới bên trái màn hình, sau đó chọn Cài đặt và bật (hoặc tắt) tùy chọn 'Kích hoạt Artifacts'. Lần tiếp theo bạn sử dụng Claude, nó có thể bắt đầu tạo Artifacts. Tuy nhiên, có một số giới hạn, chẳng hạn như nội dung cần phải "đáng kể và độc lập", thường là "hơn 15 dòng nội dung." Bạn có thể tìm hiểu thêm về các quy tắc Artifacts của Anthropic trên <a data-analytics-id="inline-link" href="https://support.anthropic.com/en/articles/9487310-what-are-artifacts-and-how-do-i-use-them" target="_blank" data-url="https://support.anthropic.com/en/articles/9487310-what-are-artifacts-and-how-do-i-use-them" referrerpolicy="no-referrer-when-downgrade" data-hl-processed="none">trang Câu hỏi thường gặp chính thức</a>.
<h3 id="section-4">Kết Luận</h3>
Với sự ra đời của Artifacts, Claude AI đang dần khẳng định vị thế của mình như một đối thủ thực sự của ChatGPT, chứ không chỉ là một bản sao đơn thuần. Cùng với việc tập trung vào bảo mật, Claude đang trở thành một lựa chọn hấp dẫn cho những ai đang tìm kiếm một chatbot AI mới mẻ và sáng tạo. <img alt="Blog post image" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg">

Claude AI Vượt Mặt ChatGPT Với Bản Nâng Cấp Artifacts: Hướng Dẫn Sử Dụng

Claude AI Vượt Mặt ChatGPT Với Bản Nâng Cấp Artifacts: Hướng Dẫn Sử Dụng Cuộc đua giữa các chatbot AI đang ngày càng trở nên nóng bỏng, và ...

tháng 8 29, 2024

Mô hình ngôn ngữ lớn nhỏ hơn cho hình ảnh y tế: Lựa chọn bền vững cho tương lai

<h2 id="section-0">Mô hình ngôn ngữ lớn nhỏ hơn cho hình ảnh y tế: Lựa chọn bền vững cho tương lai</h2>
Các mô hình ngôn ngữ lớn (LLM) nhỏ hơn, được "tinh chỉnh" cho các ứng dụng hình ảnh y tế, mang lại tính bền vững cao hơn so với các LLM đa năng cỡ lớn, sử dụng ít năng lượng hơn mà không làm giảm độ chính xác.
Đây là kết quả nghiên cứu của nhóm do bác sĩ Florence Doo, thuộc Trung tâm Hình ảnh Y tế Thông minh Đại học Maryland (UM2ii) ở Baltimore dẫn đầu. Nhóm đã phát hiện ra rằng một LLM nhỏ, chuyên biệt với 7 tỷ tham số chỉ sử dụng 0,13 kilowatt giờ (kWh) so với 0,59 kWh của một LLM đa năng – chênh lệch 78%. Phát hiện của họ đã được công bố trên tạp chí Radiology vào ngày 27 tháng 8.
"Các bác sĩ X quang có thể tạo ra sự khác biệt bằng cách chọn mô hình AI 'tối ưu' cho một nhiệm vụ cụ thể – hay như một người thầy đã nói, bạn không cần dùng búa tạ để đóng đinh," bác sĩ Doo chia sẻ.
Theo bác sĩ Doo và các đồng nghiệp, năng lượng được sử dụng bởi LLM cho các ứng dụng y tế, bao gồm cả hình ảnh, góp phần tạo nên lượng khí thải carbon của toàn bộ hệ thống chăm sóc sức khỏe. Kích thước của LLM được xác định bởi số lượng "tham số" mà nó có; những tham số này "giống như các nơ-ron có trọng số trong não người," bác sĩ Doo và các đồng nghiệp giải thích, lưu ý rằng "kích thước của LLM đề cập đến độ phức tạp và khả năng học hỏi của nó, nhiều tham số hơn đồng nghĩa với việc mô hình có khả năng nhận ra các mẫu phức tạp hơn trong dữ liệu, điều này có thể chuyển thành độ chính xác cao hơn cho các nhiệm vụ như chẩn đoán bệnh từ phim X quang."
Do mức tiêu thụ năng lượng của LLM chưa được đo lường trước đây, nhóm của bác sĩ Doo đã nghiên cứu sự cân bằng giữa độ chính xác và mức sử dụng năng lượng cho các loại LLM khác nhau trong ứng dụng hình ảnh y tế, đặc biệt là X quang ngực. Nghiên cứu bao gồm dữ liệu từ 5 LLM mã nguồn mở với kích thước tham số tỷ (B) khác nhau (Meta's Llama 2 7B, 13B và 70B, tất cả đều là mô hình đa năng, và LMSYS Org's Vicuna v1.5 7B và 13B, được nhóm của bác sĩ Doo mô tả là "mô hình chuyên biệt, được tinh chỉnh"). Nghiên cứu đã sử dụng thông tin từ 3.665 báo cáo X quang ngực được lấy từ bộ sưu tập X quang ngực Đại học Indiana của Thư viện Y học Quốc gia.
Các nhà nghiên cứu đã thử nghiệm các mô hình bằng cách sử dụng "cụm tính toán" cục bộ với bộ xử lý đồ họa tính toán trực quan; mỗi mô hình được hướng dẫn bằng một câu lệnh đơn nhiệm vụ để xác nhận sự hiện diện hoặc vắng mặt của 13 nhãn bệnh CheXpert. (CheXpert là một bộ dữ liệu lớn về X quang ngực và cuộc thi về giải thích X quang ngực tự động do Jeremy Irvin, nghiên cứu sinh tiến sĩ của Đại học Stanford, và các đồng nghiệp phát triển vào năm 2019.) Họ đã đo mức sử dụng năng lượng của từng LLM bằng kilowatt giờ và đánh giá độ chính xác của chúng bằng cách sử dụng 13 nhãn bệnh CheXpert cho các phát hiện chẩn đoán trên phim X quang ngực (độ chính xác tổng thể là trung bình cộng của độ chính xác riêng lẻ của từng nhãn). Các nhà nghiên cứu cũng đã tính toán tỷ lệ hiệu quả của LLM (tức là độ chính xác trên mỗi kWh; giá trị càng cao thì hiệu quả càng cao).
Kết quả nghiên cứu:

<table border="1">
 <tbody><tr>
 <th>Tiêu chí</th>
 <th>Llama 2 7B</th>
 <th>Llama 2 13B</th>
 <th>Llama 2 70B</th>
 <th>Vicuna 1.5 7B</th>
 <th>Vicuna 1.5 13B</th>
 </tr>
 <tr>
 <td>Tỷ lệ hiệu quả</td>
 <td>13.39</td>
 <td>40.9</td>
 <td>22.3</td>
 <td>737.2</td>
 <td>331.4</td>
 </tr>
 <tr>
 <td>Độ chính xác tổng thể</td>
 <td>7.9%</td>
 <td>74%</td>
 <td>92.7%</td>
 <td>93.8%</td>
 <td>93%</td>
 </tr>
 <tr>
 <td>Năng lượng GPU tiêu thụ (kWh)</td>
 <td>0.59</td>
 <td>1.81</td>
 <td>4.16</td>
 <td>0.13</td>
 <td>0.28</td>
 </tr>
</tbody></table>

Nhóm nghiên cứu nhấn mạnh rằng Vicuna 1.5 7B có tỷ lệ hiệu quả cao nhất, ở mức 737.2 so với 13.39 của Llama 2 7B, và báo cáo rằng mô hình Llama 2 70B sử dụng năng lượng nhiều hơn 7 lần so với phiên bản 7B (4.16 kWh so với 0.59 kWh) và có độ chính xác tổng thể thấp hơn so với các mô hình khác.
"Chúng tôi đã rất ngạc nhiên khi thấy các mô hình lớn hơn sử dụng nhiều năng lượng hơn như thế nào chỉ để đổi lấy một chút cải thiện về độ chính xác," bác sĩ Doo nói.
Theo bác sĩ Doo, lớn hơn không phải lúc nào cũng tốt hơn.
"Chúng ta không phải lúc nào cũng cần những mô hình AI lớn nhất, hào nhoáng nhất để đạt được kết quả tốt," bà chia sẻ. "Khi lựa chọn LLM hoặc các công cụ AI khác, chúng ta có thể xem xét tính bền vững và đưa ra những lựa chọn thông minh mang lại lợi ích cho cả bệnh nhân và hành tinh."
Kết luận:
Nghiên cứu này cho thấy rằng việc sử dụng LLM nhỏ hơn, chuyên biệt cho hình ảnh y tế có thể mang lại hiệu quả cao hơn về mặt năng lượng mà không làm giảm đáng kể độ chính xác. Đây là một yếu tố quan trọng cần xem xét khi phát triển và triển khai các ứng dụng AI trong lĩnh vực chăm sóc sức khỏe, đặc biệt là trong bối cảnh lo ngại ngày càng tăng về tác động môi trường của công nghệ. Việc lựa chọn LLM phù hợp có thể giúp giảm thiểu lượng khí thải carbon và góp phần xây dựng một hệ thống chăm sóc sức khỏe bền vững hơn. <img alt="Blog post image" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg" />

Mô hình ngôn ngữ lớn nhỏ hơn cho hình ảnh y tế: Lựa chọn bền vững cho tương lai

Mô hình ngôn ngữ lớn nhỏ hơn cho hình ảnh y tế: Lựa chọn bền vững cho tương lai Các mô hình ngôn ngữ lớn (LLM) nhỏ hơn, được "tinh chỉ...

tháng 8 29, 2024

Cerebras thách thức Nvidia trong lĩnh vực suy luận AI, nhưng đối mặt với nhiều khó khăn

<h2 id="section-0">Cerebras thách thức Nvidia trong lĩnh vực suy luận AI, nhưng đối mặt với nhiều khó khăn</h2>
Cerebras Systems, một startup phần cứng AI, vừa ra mắt công cụ suy luận AI mới với tham vọng cạnh tranh với các sản phẩm GPU của Nvidia. Tuy nhiên, hành trình chinh phục thị trường của Cerebras sẽ không dễ dàng khi Nvidia đang chiếm ưu thế tuyệt đối.
Cuộc đua hiệu năng và chi phí
Cerebras Inference, sản phẩm mới của Cerebras, có khả năng xử lý 1.800 token mỗi giây cho Llama 3.1 8B và 450 token mỗi giây cho Llama 3.1 70B. Theo Cerebras, tốc độ này vượt trội hơn so với các dịch vụ đám mây siêu quy mô dựa trên GPU của Nvidia. 
Được hỗ trợ bởi Wafer-Scale Engine, bộ xử lý độc đáo của Cerebras, Cerebras Inference được quảng cáo là có chi phí thấp hơn so với các giải pháp dựa trên GPU.
Sự chuyển dịch của thị trường AI
Arun Chandrasekaran, một nhà phân tích tại Gartner, cho rằng Cerebras Inference phản ánh sự thay đổi trong thị trường AI tổng quát. 
Giai đoạn đầu của làn sóng AI tổng quát tập trung chủ yếu vào việc huấn luyện mô hình. Hiện tại, thị trường đang chuyển hướng sang quan tâm đến hiệu năng và chi phí của quá trình suy luận. 
"Đây cũng là dấu hiệu cho thấy các trường hợp sử dụng AI đang bắt đầu tăng sinh và mở rộng vào doanh nghiệp", Chandrasekaran nói. "Đó là lý do tại sao sự đổi mới không chỉ diễn ra ở khía cạnh huấn luyện mà còn ở khía cạnh suy luận."
Khi các trường hợp sử dụng AI tổng quát phát triển trong doanh nghiệp, hiệu năng suy luận trở nên quan trọng hơn, tạo cơ hội cho các nhà cung cấp như Cerebras. Tuy nhiên, cơ hội này cũng dành cho các nhà cung cấp đám mây chuyên biệt đang nổi lên và xây dựng chip riêng, đồng thời cung cấp các mô hình mã nguồn mở trên nền tảng chip đó.
Do đó, mặc dù Cerebras có thể tạo sự khác biệt dựa trên hiệu năng và có thể vượt qua cả Nvidia, nhưng họ cũng sẽ phải cạnh tranh với những đối thủ khác như các nhà cung cấp dịch vụ siêu quy mô như Microsoft, AWS và Google, cũng như các nhà cung cấp suy luận chuyên biệt như Groq, công ty gần đây đã huy động được 640 triệu USD.
Cerebras vs. Nvidia: Cuộc chiến giữa hiệu năng và hệ sinh thái
David Nicholson, nhà phân tích của Futurum Group, nhận định rằng mặc dù Cerebras dường như đã đưa ra "một cách hiệu quả và tinh tế hơn để cung cấp hiệu năng từ góc độ phần cứng và kỹ thuật", nhưng bộ phần mềm và phần cứng của Nvidia vẫn thống trị thị trường và dễ sử dụng hơn cho doanh nghiệp.
Hệ thống Wafer-Scale của Cerebras có thể cung cấp hiệu năng cần thiết cho khối lượng công việc AI ở mức cao hơn và chi phí thấp hơn so với Nvidia.
Tuy nhiên, câu hỏi đặt ra là liệu các doanh nghiệp có sẵn sàng đầu tư để tích hợp hệ thống của họ với Cerebras hay không. 
Nhiều doanh nghiệp có thể nhận thấy rằng họ có thể đạt được hiệu năng và chi phí tốt hơn nếu làm việc với hệ thống Cerebras so với các hệ thống có sẵn của Nvidia.
"Câu hỏi thực sự là… bao nhiêu phần của thị trường sẽ hướng tới cách tốt nhất để làm điều này, so với cách được áp dụng rộng rãi nhất, dễ triển khai nhất?" Nicholson nói thêm. "Cerebras phải đối mặt với rào cản gia nhập rất lớn, trong khi Nvidia đang có thị phần áp đảo."
Do đó, các doanh nghiệp có thể sẽ lựa chọn giữa Nvidia và một nhà cung cấp như Cerebras dựa trên quy mô. Các doanh nghiệp nhỏ có khả năng sẽ nghiêng về Nvidia, trong khi các nhà cung cấp có vốn lớn muốn mở rộng quy mô quy trình làm việc AI của họ có thể sẽ nghiêng về Cerebras.
Cerebras Inference hiện có sẵn thông qua giao diện trò chuyện và API.
Tóm tắt:
<ul>
<li>Cerebras ra mắt công cụ suy luận AI mới, thách thức Nvidia.</li>
<li>Hiệu năng vượt trội, chi phí thấp hơn là lợi thế của Cerebras.</li>
<li>Thị trường AI đang chuyển dịch sang chú trọng hiệu năng suy luận.</li>
<li>Cerebras đối mặt với thách thức từ Nvidia và các đối thủ khác.</li>
<li>Quy mô doanh nghiệp sẽ ảnh hưởng đến quyết định lựa chọn giữa Cerebras và Nvidia.</li></ul> <img alt="Blog post image" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg" />

Cerebras thách thức Nvidia trong lĩnh vực suy luận AI, nhưng đối mặt với nhiều khó khăn

Cerebras thách thức Nvidia trong lĩnh vực suy luận AI, nhưng đối mặt với nhiều khó khăn Cerebras Systems, một startup phần cứng AI, vừa ra ...

tháng 8 29, 2024

NVIDIA Blackwell: Thiết lập tiêu chuẩn mới cho AI thế hệ mới trong MLPerf Inference

<h2 id="section-0">NVIDIA Blackwell: Thiết lập tiêu chuẩn mới cho AI thế hệ mới trong MLPerf Inference</h2>
Giới thiệu:
Trong bối cảnh các doanh nghiệp đang chạy đua để áp dụng AI thế hệ mới và đưa các dịch vụ mới ra thị trường, nhu cầu về cơ sở hạ tầng trung tâm dữ liệu chưa bao giờ lớn hơn thế. Việc huấn luyện các mô hình ngôn ngữ lớn (LLM) là một thách thức, nhưng việc cung cấp các dịch vụ thời gian thực dựa trên LLM lại là một thách thức khác.
NVIDIA Blackwell dẫn đầu hiệu năng:
Trong vòng đánh giá mới nhất của MLPerf Inference v4.1, các nền tảng NVIDIA đã mang đến hiệu năng hàng đầu trong tất cả các bài kiểm tra trung tâm dữ liệu. Lần đầu tiên được gửi tham gia, nền tảng NVIDIA Blackwell sắp ra mắt đã cho thấy hiệu năng gấp 4 lần so với NVIDIA H100 Tensor Core GPU trên khối lượng công việc LLM lớn nhất của MLPerf, Llama 2 70B, nhờ việc sử dụng Transformer Engine thế hệ thứ hai và FP4 Tensor Cores.
NVIDIA H200 Tensor Core GPU đã đạt được kết quả xuất sắc trên mọi điểm chuẩn trong danh mục trung tâm dữ liệu — bao gồm cả điểm chuẩn mới nhất, Mixtral 8x7B Mixture of Experts (MoE) LLM, với tổng số 46,7 tỷ tham số, với 12,9 tỷ tham số hoạt động trên mỗi token.
Các mô hình MoE ngày càng phổ biến như một cách để mang lại sự linh hoạt hơn cho việc triển khai LLM, vì chúng có khả năng trả lời nhiều loại câu hỏi và thực hiện các nhiệm vụ đa dạng hơn trong một lần triển khai duy nhất. Chúng cũng hiệu quả hơn vì chúng chỉ kích hoạt một số chuyên gia cho mỗi lần suy luận — nghĩa là chúng cung cấp kết quả nhanh hơn nhiều so với các mô hình dày đặc có kích thước tương tự.
Nhu cầu về khả năng tính toán mạnh mẽ:
Sự phát triển không ngừng của LLM đang thúc đẩy nhu cầu về khả năng tính toán nhiều hơn để xử lý các yêu cầu suy luận. Để đáp ứng các yêu cầu về độ trễ thời gian thực để phục vụ các LLM ngày nay và để làm như vậy cho càng nhiều người dùng càng tốt, khả năng tính toán đa GPU là điều bắt buộc. NVIDIA NVLink và NVSwitch cung cấp giao tiếp băng thông cao giữa các GPU dựa trên kiến trúc NVIDIA Hopper và mang lại lợi ích đáng kể cho suy luận mô hình lớn hiệu quả về chi phí, thời gian thực. Nền tảng Blackwell sẽ tiếp tục mở rộng khả năng của NVLink Switch với các miền NVLink lớn hơn với 72 GPU.
Đổi mới phần mềm không ngừng:
Các nền tảng NVIDIA trải qua quá trình phát triển phần mềm liên tục, tích lũy các cải tiến về hiệu năng và tính năng hàng tháng.
Trong vòng suy luận mới nhất, các dịch vụ của NVIDIA, bao gồm kiến trúc NVIDIA Hopper, nền tảng NVIDIA Jetson và NVIDIA Triton Inference Server, đã chứng kiến những bước nhảy vọt về hiệu năng.
GPU NVIDIA H200 mang lại hiệu năng suy luận AI thế hệ mới cao hơn tới 27% so với vòng trước, nhấn mạnh giá trị gia tăng mà khách hàng nhận được theo thời gian từ khoản đầu tư của họ vào nền tảng NVIDIA.
Triton Inference Server, một phần của nền tảng NVIDIA AI và có sẵn với phần mềm NVIDIA AI Enterprise, là một máy chủ suy luận mã nguồn mở đầy đủ tính năng giúp các tổ chức hợp nhất các máy chủ suy luận dành riêng cho khung vào một nền tảng duy nhất, thống nhất. Điều này giúp giảm tổng chi phí sở hữu để phục vụ các mô hình AI trong sản xuất và giảm thời gian triển khai mô hình từ nhiều tháng xuống còn vài phút.
Trong vòng MLPerf này, Triton Inference Server đã mang lại hiệu năng gần ngang bằng với các bài nộp bare-metal của NVIDIA, cho thấy rằng các tổ chức không còn phải lựa chọn giữa việc sử dụng máy chủ suy luận AI cấp sản xuất giàu tính năng và đạt được hiệu năng thông lượng đỉnh cao.
Hướng tới Edge:
Được triển khai ở edge, các mô hình AI thế hệ mới có thể chuyển đổi dữ liệu cảm biến, chẳng hạn như hình ảnh và video, thành thông tin chi tiết có thể hành động trong thời gian thực với nhận thức ngữ cảnh mạnh mẽ. Nền tảng NVIDIA Jetson dành cho AI edge và robot có khả năng độc đáo trong việc chạy bất kỳ loại mô hình nào cục bộ, bao gồm LLM, bộ biến đổi tầm nhìn và Stable Diffusion.
Trong vòng đánh giá MLPerf này, các mô-đun hệ thống NVIDIA Jetson AGX Orin đã đạt được hiệu năng thông lượng cải thiện hơn 6,2 lần và độ trễ cải thiện 2,4 lần so với vòng trước trên khối lượng công việc LLM GPT-J. Thay vì phát triển cho một trường hợp sử dụng cụ thể, các nhà phát triển giờ đây có thể sử dụng mô hình 6 tỷ tham số đa năng này để giao tiếp liền mạch với ngôn ngữ của con người, biến đổi AI thế hệ mới ở edge.
Kết luận:
Vòng MLPerf Inference này đã cho thấy tính linh hoạt và hiệu năng hàng đầu của các nền tảng NVIDIA — mở rộng từ trung tâm dữ liệu đến edge — trên tất cả các khối lượng công việc của điểm chuẩn, tăng cường sức mạnh cho các ứng dụng và dịch vụ dựa trên AI sáng tạo nhất.
Các hệ thống chạy bằng GPU H200 hiện có sẵn từ CoreWeave — nhà cung cấp dịch vụ đám mây đầu tiên công bố tính khả dụng chung — và các nhà sản xuất máy chủ ASUS, Dell Technologies, HPE, QTC và Supermicro. <img alt="Blog post image" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg" />

NVIDIA Blackwell: Thiết lập tiêu chuẩn mới cho AI thế hệ mới trong MLPerf Inference

NVIDIA Blackwell: Thiết lập tiêu chuẩn mới cho AI thế hệ mới trong MLPerf Inference Giới thiệu: Trong bối cảnh các doanh nghiệp đang chạy ...

tháng 8 29, 2024

Google ra mắt chatbot AI tùy chỉnh: Gems - Người bạn đồng hành đa năng

Claude AI ra mắt tính năng mới cho phép người dùng giải thích và cải thiện đoạn mã

Claude AI Vượt Mặt ChatGPT Với Bản Nâng Cấp Artifacts: Hướng Dẫn Sử Dụng

Mô hình ngôn ngữ lớn nhỏ hơn cho hình ảnh y tế: Lựa chọn bền vững cho tương lai

Cerebras thách thức Nvidia trong lĩnh vực suy luận AI, nhưng đối mặt với nhiều khó khăn

NVIDIA Blackwell: Thiết lập tiêu chuẩn mới cho AI thế hệ mới trong MLPerf Inference

Bài đăng phổ biến

Labels