Agent.ai.vn

Groq: Đối thủ cạnh tranh của Nvidia chuẩn bị tăng gấp đôi định giá với vòng tài trợ do BlackRock dẫn đầu

<h2>Groq: Đối thủ cạnh tranh của Nvidia chuẩn bị tăng gấp đôi định giá với vòng tài trợ do BlackRock dẫn đầu</h2>

<h3>Mục lục:</h3>
<ol>
  <li>Vòng tài trợ mới</li>
  <li>Tăng trưởng và tiềm năng của Groq</li>
  <li>Cuộc chiến giành thị phần trong ngành chip AI</li>
  <li>Tầm quan trọng của vòng tài trợ</li>
</ol>

<h3>1. Vòng tài trợ mới:</h3>
<p>Groq, công ty chuyên sản xuất chip cho AI và là đối thủ cạnh tranh của Nvidia, đang chuẩn bị tăng gấp đôi định giá lên 2,5 tỷ USD với một vòng tài trợ mới do BlackRock dẫn đầu. Theo Business Insider, thương vụ này vẫn chưa được hoàn tất và các điều khoản có thể thay đổi.</p>
<p>Vòng tài trợ mới này có thể giúp Groq tăng gấp đôi định giá trước đó, vốn là 300 triệu USD trong một vòng tài trợ năm 2021 do Tiger Global Management và D1 Capital Partners dẫn đầu. Cho đến nay, Groq đã huy động được tổng cộng 367 triệu USD.</p>

<h3>2. Tăng trưởng và tiềm năng của Groq:</h3>
<p>Groq, được thành lập bởi cựu giám đốc điều hành Google, Jonathan Ross, cung cấp chip được thiết kế cho suy luận (inference), xử lý AI đã được triển khai. Chip của công ty, được gọi là đơn vị xử lý ngôn ngữ, được quảng cáo là nhanh hơn 10 lần so với các chip thông thường với chi phí chỉ bằng một phần mười.</p>

<h3>3. Cuộc chiến giành thị phần trong ngành chip AI:</h3>
<p>Groq đang cạnh tranh với một số công ty chuyên về suy luận phần cứng, bao gồm SiMa.ai (hỗ trợ bởi Point72), Dmatrix (hỗ trợ bởi Microsoft) và Untether.AI (hỗ trợ bởi Intel), để thách thức Nvidia, công ty đã từng là công ty có giá trị nhất thế giới trước khi thị trường chứng khoán diễn biến bất lợi.</p>

<h3>4. Tầm quan trọng của vòng tài trợ:</h3>
<p>Ngành công nghiệp AI đang chứng kiến sự phát triển nhanh chóng và đầu tư đáng kể. Gần đây, xAI của Musk đã huy động được 6 tỷ USD, cho thấy sự cạnh tranh khốc liệt trong lĩnh vực AI. Việc Groq tăng gấp đôi định giá là minh chứng cho sự quan tâm và đầu tư ngày càng tăng vào phần cứng AI.</p>
<p>Chamath Palihapitiya, nhà đầu tư tỷ phú và cựu giám đốc điều hành Facebook, gần đây đã khuyên các nhà phát triển sử dụng các mô hình AI của Groq để nâng cao ứng dụng của họ và kéo dài quỹ đạo tài chính. Lời khẳng định này cho thấy tiềm năng tác động của Groq đối với bức tranh AI.</p>
<p>Trong khi đó, Nvidia đã trải qua những biến động về giá trị thị trường, nhấn mạnh tính chất biến động của thị trường chip AI. Mặc dù Nvidia đang thống trị, các đối thủ cạnh tranh như Groq đang đạt được những tiến bộ đáng kể.</p>

Groq: Đối thủ cạnh tranh của Nvidia chuẩn bị tăng gấp đôi định giá với vòng tài trợ do BlackRock dẫn đầu

Groq: Đối thủ cạnh tranh của Nvidia chuẩn bị tăng gấp đôi định giá với vòng tài trợ do BlackRock dẫn đầu Mục lục: Vòng tài trợ mới ...

tháng 6 28, 2024

Groq: Cỗ máy xử lý ngôn ngữ đột phá, thách thức Nvidia và AMD

<h2>Groq: Cỗ máy xử lý ngôn ngữ đột phá, thách thức Nvidia và AMD</h2>

<h3>1. Groq và LPU: Khái niệm đột phá</h3>
<p>Groq, công ty do cựu kỹ sư Google Jonathan Ross sáng lập, tự hào là đơn vị tiên phong trong việc tạo ra đơn vị xử lý ngôn ngữ (LPU) đầu tiên, hứa hẹn tốc độ xử lý nhanh nhất cho các ứng dụng AI. LPU được thiết kế để xử lý các tác vụ suy luận học sâu hiệu quả hơn CPU và GPU hiện có.</p>

<h3>2. Hiệu năng vượt trội của LPU</h3>
<p>Công nghệ Tensor Stream Processor (TSP) của Groq được ví như một dây chuyền lắp ráp, xử lý dữ liệu theo trình tự có tổ chức. Ngược lại, GPU giống như một trạm làm việc tĩnh, nơi người lao động đến và đi để thực hiện các bước xử lý. Hiệu quả của TSP đã được chứng minh rõ ràng trong bối cảnh sự phát triển của AI thế hệ mới. Do đó, Ross đã đổi tên TSP thành LPU để tăng cường nhận diện.</p>

<h3>3. Sự khác biệt giữa LPU và GPU</h3>
<p>LPU sử dụng phương pháp tối ưu hóa, loại bỏ nhu cầu về phần cứng lập lịch phức tạp, đảm bảo độ trễ và thông lượng nhất quán. LPU cũng tiết kiệm năng lượng, giảm chi phí quản lý nhiều luồng và tránh việc sử dụng kém hiệu quả của các lõi.</p>

<h3>4. Tiềm năng to lớn của LPU</h3>
<p>Thiết kế chip có thể mở rộng của Groq cho phép nhiều TSP được kết nối mà không gặp tắc nghẽn truyền thống, đơn giản hóa yêu cầu phần cứng cho các mô hình AI quy mô lớn.</p>

<p>Với những lợi thế vượt trội về hiệu năng, hiệu quả và khả năng mở rộng, LPU của Groq có khả năng tạo nên cuộc cách mạng trong lĩnh vực AI. Nó là một lời thách thức mạnh mẽ đối với Nvidia và AMD, những gã khổng lồ trong thị trường chip đồ họa.</p>

Groq: Cỗ máy xử lý ngôn ngữ đột phá, thách thức Nvidia và AMD

Groq: Cỗ máy xử lý ngôn ngữ đột phá, thách thức Nvidia và AMD Mục lục: Groq và LPU: Khái niệm đột phá Hiệu năng vượt trội của LPU ...

tháng 6 28, 2024

Chatbot AI Sonia: Hỗ trợ tâm lý cho bệnh nhân

<html lang='vi'>
<head>
  <meta charset='UTF-8'>
  <meta name='viewport' content='width=device-width, initial-scale=1.0'>
  <title>Chatbot AI Sonia: Hỗ trợ tâm lý cho bệnh nhân</title>
  <style>
    body {
      font-family: sans-serif;
    }

h1, h2 {
      text-align: center;
    }

.container {
      display: flex;
      flex-direction: column;
      align-items: center;
    }

ul {
      list-style-type: none;
      padding: 0;
      margin: 0;
    }

li {
      padding: 5px 0;
    }

a {
      text-decoration: none;
      color: blue;
    }
  </style>
</head>
<body>
  <div class='container'>
    <h1>Chatbot AI Sonia: Hỗ trợ tâm lý cho bệnh nhân</h1>

<h2>Mục lục</h2>
    <ul>
      <li><a href="#sonia-nha-tri-lieu-ai">1. Sonia - Nhà trị liệu AI</a></li>
      <li><a href="#kha-nang-va-hieu-qua-cua-sonia">2. Khả năng và hiệu quả của Sonia</a></li>
      <li><a href="#nguon-goc-va-phat-trien-cua-sonia">3. Nguồn gốc và phát triển của Sonia</a></li>
      <li><a href="#hoat-dong-va-gia-ca-cua-sonia">4. Hoạt động và giá cả của Sonia</a></li>
      <li><a href="#bao-mat-thong-tin-nguoi-dung">5. Bảo mật thông tin người dùng</a></li>
      <li><a href="#phan-hoi-cua-nguoi-dung-va-tuong-lai-cua-sonia">6. Phản hồi của người dùng và tương lai của Sonia</a></li>
    </ul>

<h2 id='sonia-nha-tri-lieu-ai'>1. Sonia - Nhà trị liệu AI</h2>
    <p>Sonia là một chatbot AI tạo sinh được phát triển để hỗ trợ điều trị tâm lý cho bệnh nhân. Mục tiêu của Sonia không phải là thay thế các bác sĩ tâm lý, mà là một công cụ hữu ích để hỗ trợ bệnh nhân trong khi bác sĩ không có mặt.</p>

<h2 id='kha-nang-va-hieu-qua-cua-sonia'>2. Khả năng và hiệu quả của Sonia</h2>
    <p>Theo thống kê, 80% người dùng chatbot AI tạo sinh (bao gồm ChatGPT) cho việc tìm kiếm lời khuyên về sức khỏe tâm lý phản hồi tích cực. Họ thậm chí còn coi chatbot AI như liệu pháp thay thế. Các nhà nghiên cứu chứng minh chatbot AI có hiệu quả trong việc giảm bớt triệu chứng trầm cảm và lo lắng.</p>

<h2 id='nguon-goc-va-phat-trien-cua-sonia'>3. Nguồn gốc và phát triển của Sonia</h2>
    <p>Ý tưởng về một nhà trị liệu AI đến từ 3 nhà nghiên cứu Dustin Klebe, Lucas Wolf và Kris Aeberli, gặp gỡ nhau khi còn là sinh viên ngành khoa học máy tính tại trường đại học ETH Zürich (Thụy Sĩ). Họ cùng nhau chuyển đến Mỹ và tốt nghiệp MIT, sau đó thành lập công ty công nghệ Sonia.</p>

<h2 id='hoat-dong-va-gia-ca-cua-sonia'>4. Hoạt động và giá cả của Sonia</h2>
    <p>Sonia hoạt động theo mô hình chatbot AI tạo sinh, có thể đưa ra những liệu trình điều trị phù hợp và chuyên sâu sau khi trao đổi với bệnh nhân. Ứng dụng hiện có trên App Store và hỗ trợ tiếng Anh. Người dùng phải trả phí sử dụng là 20 USD/tháng hoặc 200 USD/năm.</p>

<h2 id='bao-mat-thong-tin-nguoi-dung'>5. Bảo mật thông tin người dùng</h2>
    <p>Sonia cam kết bảo mật tuyệt đối dữ liệu người dùng, chỉ lưu những thông tin cơ bản như tên, tuổi, tình trạng sức khỏe để phục vụ cho quá trình tư vấn và đề xuất liệu trình.</p>

<h2 id='phan-hoi-cua-nguoi-dung-va-tuong-lai-cua-sonia'>6. Phản hồi của người dùng và tương lai của Sonia</h2>
    <p>Sonia hiện có khoảng 8.000 người dùng và đã kêu gọi được vốn đầu tư lên tới 3,35 triệu USD. Ứng dụng nhận được nhiều phản hồi tích cực, nhiều người dùng cho biết họ cảm thấy thoải mái hơn khi nói chuyện với Sonia so với bác sĩ tâm lý. </p>
    <p>Sonia đang là một bước tiến đầy hứa hẹn trong lĩnh vực điều trị tâm lý. Với những cải tiến và phát triển trong tương lai, Sonia có thể trở thành một công cụ hỗ trợ hiệu quả cho bệnh nhân và mang đến nhiều lợi ích cho ngành y tế.</p>

Chatbot AI Sonia: Hỗ trợ tâm lý cho bệnh nhân

Chatbot AI Sonia: Hỗ trợ tâm lý cho bệnh nhân Chatbot AI Sonia: Hỗ trợ tâm lý cho bệnh nhân Mục lục ...

tháng 6 28, 2024

Israel: Siêu máy tính AI, cuộc đua công nghệ toàn cầu

<h2>Israel: Siêu máy tính AI, cuộc đua công nghệ toàn cầu</h2>

<h3>Mục lục:</h3>
<ol>
  <li><strong>Động lực phát triển siêu máy tính AI</strong></li>
  <li><strong>Chương trình AI quốc gia: Đầu tư và mục tiêu</strong></li>
  <li><strong>Vị thế của Israel trong cuộc đua AI</strong></li>
  <li><strong>Vai trò của siêu máy tính trong phát triển AI</strong></li>
</ol>

<h3>1. Động lực phát triển siêu máy tính AI</h3>

<p>Israel dự kiến triển khai đấu thầu chế tạo siêu máy tính đầu tiên của quốc gia vào tháng tới. Mục tiêu là để đảm bảo vị thế dẫn đầu của Israel trong lĩnh vực trí tuệ nhân tạo (AI) trên toàn cầu.</p>

<p>Theo Giám đốc điều hành của Cơ quan Đổi mới Israel, ông Dror Bin, AI là một công nghệ phát triển nhanh chóng và có thể trở thành kẻ thù nếu không có hành động quyết liệt.</p>

<h3>2. Chương trình AI quốc gia: Đầu tư và mục tiêu</h3>

<p>Chính phủ Israel sẽ chi ra 250 triệu USD cho chương trình AI quốc gia, bao gồm cho chính phủ, ngành công nghiệp và hoạt động nghiên cứu, giáo dục. 60% trong số đó sẽ được thực hiện vào năm 2024 và hoàn thành vào năm 2027, có khả năng với nguồn tài trợ cao hơn.</p>

<h3>3. Vị thế của Israel trong cuộc đua AI</h3>

<p>Công nghệ chiếm 20% sản lượng kinh tế của Israel, và quốc gia này được coi là một trong những trung tâm công nghệ lớn nhất thế giới. Trong số 9.000 công ty khởi nghiệp của Israel, hơn 2.200 công ty sử dụng AI. Israel đứng thứ ba thế giới về số lượng công ty AI tạo sinh với 73 công ty.</p>

<h3>4. Vai trò của siêu máy tính trong phát triển AI</h3>

<p>Siêu máy tính là một công cụ quan trọng để đào tạo các mô hình trí tuệ nhân tạo lớn. Ông Bin nhấn mạnh: Mục tiêu của chúng tôi là đảm bảo rằng Israel duy trì được vị trí dẫn đầu, thứ hạng và vị trí của mình trong cuộc đua AI trên thế giới.</p>

<p>Việc phát triển siêu máy tính AI là một bước tiến quan trọng của Israel trong cuộc đua công nghệ toàn cầu. Với nguồn lực và vị thế hiện tại, Israel đặt mục tiêu trở thành một trong những quốc gia dẫn đầu trong lĩnh vực AI trong tương lai.</p>

Israel: Siêu máy tính AI, cuộc đua công nghệ toàn cầu

Israel: Siêu máy tính AI, cuộc đua công nghệ toàn cầu Mục lục: Động lực phát triển siêu máy tính AI Chương trình AI quốc gia: Đầu ...

tháng 6 28, 2024

Triển khai Mô hình Ngôn ngữ lớn DBRX trên Oracle Cloud Infrastructure với NVIDIA NIM và Delta Sharing

<h2>Triển khai Mô hình Ngôn ngữ lớn DBRX trên Oracle Cloud Infrastructure với NVIDIA NIM và Delta Sharing</h2>
<h3>Mục lục:</h3>
<ol>
  <li><strong>Kiến trúc tổng thể</strong></li>
  <li><strong>Quá trình thu thập dữ liệu</strong></li>
  <li><strong>Oracle AI Stack</strong></li>
  <li><strong>NVIDIA Inference Microservices</strong></li>
  <li><strong>Oracle Cloud Infrastructure</strong></li>
  <li><strong>DBRX: Mô hình ngôn ngữ lớn tiên tiến</strong></li>
  <li><strong>Delta Sharing: Chia sẻ dữ liệu an toàn</strong></li>
  <li><strong>Quá trình triển khai trên OCI</strong></li>
  <li><strong>Lợi ích chính</strong></li>
  <li><strong>Kết luận</strong></li>
</ol>

<h3>1. Kiến trúc tổng thể</h3>
<p>Bài viết này giới thiệu về việc triển khai mô hình ngôn ngữ lớn (LLM) DBRX trên Oracle Cloud Infrastructure (OCI) sử dụng NVIDIA Inference Microservices (NIM) và Delta Sharing. Kiến trúc được thiết kế để xử lý dữ liệu quy mô lớn từ nhiều nguồn khác nhau, sau đó được sử dụng trong luồng công việc tạo nội dung kết hợp truy xuất thông tin (RAG) - retrieval-augmented generation (RAG). DBRX LLM được triển khai sử dụng dịch vụ NVIDIA NIM trên NVIDIA L40S trên OCI. Kiến trúc đã được xác minh trên NVIDIA H100 chạy trên OCI.</p>

<h3>2. Quá trình thu thập dữ liệu</h3>
<p>Luồng công việc này bao gồm các giai đoạn xử lý dữ liệu, tạo vector nhúng, truy vấn và suy luận trong phạm vi các dịch vụ OCI.</p>
<ul>
  <li><strong>Nguồn dữ liệu:</strong> Thu thập dữ liệu từ nhiều nguồn khác nhau, bao gồm internet, OCI FastConnect, OCI-Azure Interconnect và IPSec VPN. OCI backbone được sử dụng cho việc kết nối mạng VCN trong và giữa các vùng.</li>
  <li><strong>Xử lý dữ liệu:</strong> Dữ liệu được xử lý bởi các instance Compute dày đặc, tạo ra các vector nhúng cho từng đoạn văn bản.</li>
  <li><strong>Cơ sở dữ liệu vector Oracle:</strong> Các vector nhúng và đoạn văn bản được đưa vào cơ sở dữ liệu vector chuyên dụng Oracle 23ai. Các truy vấn được tạo dựa trên các vector nhúng này.</li>
  <li><strong>Mô hình nhúng:</strong> Mô hình nhúng tạo ra các vector nhúng cho đoạn văn bản và truy vấn, hỗ trợ hiệu quả cho việc truy vấn và lấy thông tin.</li>
  <li><strong>Cụm suy luận:</strong> Cụm tính toán hỗ trợ GPU NVIDIA được sử dụng cho việc suy luận mạng thần kinh và phục vụ mô hình (NIMS). Mô-đun này sử dụng DBRX LLM mã nguồn mở của Databricks và thực hiện các chức năng:
    <ul>
      <li>Trả về các đoạn văn bản dựa trên truy vấn</li>
      <li>Tạo ngữ cảnh từ các đoạn văn bản</li>
      <li>Cung cấp ngữ cảnh từ các đoạn văn bản cho mô hình suy luận</li>
    </ul>
  </li>
  <li><strong>Trả về kết quả suy luận:</strong> Giai đoạn cuối cùng là đưa ra kết quả suy luận, hoàn thành luồng công việc.</li>
</ul>

<h3>3. Oracle AI Stack</h3>
<p>Oracle AI Stack được thiết kế để tích hợp liền mạch với các ứng dụng khác nhau, từ các ứng dụng Fusion và NetSuite đến các ứng dụng của bên thứ ba và các giải pháp ngành. Nó sử dụng các khả năng AI tạo sinh và AI cổ điển được nhúng trong toàn bộ cơ sở hạ tầng AI.</p>
<p>Oracle cung cấp các dịch vụ sau đây cho việc sử dụng AI:</p>
<ul>
  <li>Các ứng dụng Fusion</li>
  <li>Fusion Analytics</li>
  <li>NetSuite</li>
  <li>Các ứng dụng ngành</li>
  <li>Các ứng dụng của bên thứ ba: Các ứng dụng này tích hợp các khả năng AI tạo sinh và AI cổ điển được nhúng, cho thấy phạm vi rộng lớn của các giải pháp phần mềm sử dụng công nghệ AI.</li>
</ul>
<p>Các dịch vụ AI sau đây có khả năng GenAI:</p>
<ul>
  <li><strong>AI tạo sinh:</strong> Các khả năng AI tạo sinh mới được giới thiệu</li>
  <li><strong>GenAI Agents:</strong> Các tác nhân mới được giới thiệu tận dụng GenAI.</li>
  <li><strong>Trợ lý kỹ thuật số:</strong> Trợ lý ảo do AI điều khiển</li>
  <li><strong>Âm thanh:</strong> Các dịch vụ AI tập trung vào nhận dạng và xử lý giọng nói</li>
  <li><strong>Ngôn ngữ:</strong> Các dịch vụ AI cho xử lý ngôn ngữ tự nhiên</li>
  <li><strong>Hình ảnh:</strong> Các dịch vụ AI cho phân tích hình ảnh và video</li>
  <li><strong>Hiểu tài liệu:</strong> AI cho xử lý và hiểu tài liệu</li>
</ul>
<p>Các dịch vụ sau đây cung cấp các tính năng học máy (ML) và GenAI cho các nền tảng dữ liệu:</p>
<ul>
  <li><strong>Tìm kiếm vector cơ sở dữ liệu Oracle:</strong> Các khả năng tìm kiếm vector mới được giới thiệu trong cơ sở dữ liệu Oracle</li>
  <li><strong>Cơ sở dữ liệu tự động lựa chọn AI:</strong> Các khả năng AI mới được giới thiệu trong cơ sở dữ liệu tự động của Oracle</li>
  <li><strong>MySQL HeatWave Store và GenAI:</strong> Tích hợp các khả năng GenAI với MySQL HeatWave Store</li>
  <li><strong>Khoa học dữ liệu:</strong> Các nền tảng và công cụ cho các luồng công việc khoa học dữ liệu</li>
  <li><strong>ML trong cơ sở dữ liệu Oracle:</strong> Các khả năng học máy được nhúng trong cơ sở dữ liệu Oracle</li>
  <li><strong>MySQL HeatWave AutoML:</strong> Học máy tự động trong MySQL HeatWave</li>
  <li><strong>Ghi nhãn dữ liệu:</strong> Các công cụ và dịch vụ để ghi nhãn dữ liệu cho học máy</li>
</ul>
<p>Các dịch vụ sau đây cung cấp cơ sở hạ tầng AI:</p>
<ul>
  <li><strong>Tính toán GPU:</strong> Các lựa chọn khác nhau, bao gồm bare metal, máy ảo (VM) và cụm Kubernetes</li>
  <li><strong>Lưu trữ:</strong> Bao gồm lưu trữ khối, đối tượng, tệp và hệ thống tệp tính toán hiệu năng cao (HPC)</li>
  <li><strong>Siêu cụm:</strong> Kết nối mạng cụm hỗ trợ tối đa 64K GPU sử dụng giao thức RoCEv2 (RDMA của mạng cụm)</li>
</ul>

<h3>4. NVIDIA Inference Microservices</h3>
<p>NVIDIA NIM là một dịch vụ container hóa, mô-đun được tối ưu hóa để triển khai và mở rộng quy mô các tải trọng suy luận AI. Nó bao gồm các lợi ích sau:</p>
<ul>
  <li><strong>Khả năng mở rộng quy mô:</strong> Dễ dàng mở rộng quy mô các dịch vụ để xử lý các tải trọng thay đổi</li>
  <li><strong>Linh hoạt:</strong> Triển khai và cập nhật các dịch vụ độc lập</li>
  <li><strong>Hiệu quả:</strong> Tối ưu hóa việc sử dụng tài nguyên và giảm độ trễ</li>
</ul>
<p>NIM nâng cao năng suất của nhà phát triển và hiệu quả cơ sở hạ tầng, cho phép các doanh nghiệp tối đa hóa khoản đầu tư của họ. Ví dụ, việc chạy Meta Llama 3-8B trong NIM tạo ra nhiều hơn gấp ba lần số token AI tạo sinh trên cơ sở hạ tầng được tăng tốc so với không sử dụng NIM.</p>

<h3>5. Oracle Cloud Infrastructure</h3>
<p>OCI là đám mây thế hệ thứ 2 cung cấp phương pháp tiếp cận khác biệt với sự đổi mới cao, tính linh hoạt và tổng chi phí sở hữu (TCO) thấp nhất so với các nhà cung cấp đám mây và siêu quy mô khác. Nó hỗ trợ đổi mới AI và ML mạnh mẽ thông qua chiến lược AI đầy đủ, bao gồm cơ sở hạ tầng, nền tảng và phần mềm dưới dạng dịch vụ (IaaS, PaaS và SaaS).</p>
<p>OCI bao gồm các điểm nổi bật chính sau:</p>
<ul>
  <li>Bare metal NVIDIA GPU đào tạo và suy luận IaaS</li>
  <li>Băng thông cao (RoCEv2): 3200 Gbps mỗi nút</li>
  <li>Lưu trữ NVMe: 61,4 TB mỗi nút, dẫn đến hiệu suất vượt trội</li>
  <li>Kích thước cụm: 1–8.000 nút</li>
  <li>Số lượng GPU trong một cụm: 8–64.000 GPU NVIDIA</li>
</ul>

<h3>6. DBRX: Mô hình ngôn ngữ lớn tiên tiến</h3>
<p>DBRX là một LLM dựa trên bộ biến đổi, chỉ giải mã với kiến trúc hỗn hợp chuyên gia (MoE) chi tiết, có 132 tỷ tham số với 36 tỷ tham số hoạt động trên bất kỳ đầu vào nào. Nó vượt trội so với các mô hình MoE mở khác như Mixtral và Grok-1 do số lượng chuyên gia nhỏ hơn và chất lượng mô hình được cải thiện.</p>
<p>DBRX sử dụng các kỹ thuật tiên tiến, chẳng hạn như mã hóa vị trí xoay (RoPE), đơn vị tuyến tính có cửa (GLU) và chú ý truy vấn nhóm (GQA). Nó được đào tạo trước trên 12 nghìn tỷ token dữ liệu văn bản và mã, sử dụng bộ phân tách GPT-4 để tối ưu hóa hiệu suất.</p>

<h3>7. Delta Sharing: Chia sẻ dữ liệu an toàn</h3>
<p>Delta Sharing là một giao thức mở để chia sẻ dữ liệu an toàn và liền mạch giữa các tổ chức và nền tảng, hoạt động với Delta Lake để đảm bảo độ tin cậy và hiệu suất. Nó ưu tiên các khái niệm cốt lõi sau:</p>
<ul>
  <li><strong>Nhà cung cấp:</strong> Các thực thể chia sẻ dữ liệu</li>
  <li><strong>Chia sẻ:</strong> Các nhóm hợp lý các bảng từ bảng Delta Lake</li>
  <li><strong>Người nhận:</strong> Cá nhân truy cập dữ liệu được chia sẻ</li>
</ul>
<p>Các lợi thế chính của Delta Sharing bao gồm chia sẻ dữ liệu trực tiếp, không sao chép dữ liệu, độc lập nền tảng và quản trị an toàn.</p>

<h3>8. Quá trình triển khai trên OCI</h3>
<p>Việc triển khai DBRX LLM trên OCI bao gồm các bước sau:</p>
<ul>
  <li>Thiết lập ban đầu</li>
  <li>Cung cấp các instance Compute hiệu suất cao</li>
  <li>Cấu hình các giải pháp lưu trữ có khả năng mở rộng</li>
  <li>Thiết lập mạng an toàn</li>
  <li>Tích hợp với NVIDIA NIM</li>
  <li>Container hóa bằng cách sử dụng Docker và Kubernetes</li>
  <li>Triển khai và mở rộng quy mô các microservice cho các tác vụ suy luận khác nhau</li>
  <li>Chi tiết kỹ thuật</li>
  <li>Khả năng mở rộng quy mô thông qua tự động mở rộng quy mô và cân bằng tải</li>
  <li>Tối ưu hóa hiệu quả và hiệu suất</li>
</ul>

<h3>9. Lợi ích chính</h3>
<p>Việc triển khai DBRX LLM trên OCI với NVIDIA NIM mang lại những lợi ích sau:</p>
<ul>
  <li><strong>Khả năng mở rộng quy mô:</strong> Khả năng mở rộng quy mô liền mạch để xử lý các tải trọng thay đổi</li>
  <li><strong>Hiệu quả:</strong> Các dịch vụ suy luận thời gian thực hiệu suất cao</li>
  <li><strong>Bảo mật:</strong> Nền tảng mạnh mẽ với các tính năng bảo mật toàn diện</li>
</ul>
<p>Nhóm Giải pháp AI Kỹ thuật đám mây Bắc Mỹ của OCI đã tự động hóa toàn bộ việc triển khai bằng cách sử dụng API và terraform.</p>

<h3>10. Kết luận</h3>
<p>Bài thuyết trình này nhấn mạnh sự đồng điệu giữa OCI và các khả năng AI của NVIDIA, làm nổi bật cách kết hợp mạnh mẽ này tạo điều kiện thuận lợi cho việc xử lý hiệu quả dữ liệu quy mô lớn và các tải trọng AI tiên tiến. Quá trình triển khai trên OCI đảm bảo khả năng mở rộng quy mô, hiệu quả và bảo mật, làm cho nó trở thành lựa chọn lý tưởng cho các doanh nghiệp muốn sử dụng các giải pháp AI tiên tiến.</p>
<p>Để biết thêm thông tin và thử nghiệm NVIDIA NIM trên Oracle Cloud Infrastructure, hãy truy cập <a href="https://ai.nvidia.com/"> NVIDIA AI</a> và <a href="https://www.oracle.com/cloud"> Oracle Cloud Infrastructure</a>.</p>
<img alt="Logo" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg">

Triển khai Mô hình Ngôn ngữ lớn DBRX trên Oracle Cloud Infrastructure với NVIDIA NIM và Delta Sharing

Triển khai Mô hình Ngôn ngữ lớn DBRX trên Oracle Cloud Infrastructure với NVIDIA NIM và Delta Sharing Mục lục: Kiến trúc tổng thể Q...

tháng 6 26, 2024

Etched: Kẻ thách thức NVIDIA trong cuộc đua AI

<h2>Etched: Kẻ thách thức NVIDIA trong cuộc đua AI</h2>

<h3>Mục lục</h3>
<ol>
  <li>Etched – Lời thách thức mới đối với NVIDIA</li>
  <li>Sohu ASIC – Bước tiến đột phá trong AI</li>
  <li>Hiệu năng vượt trội: 10x nhanh hơn Blackwell, 20x nhanh hơn Hopper</li>
  <li>Khả năng xử lý đa dạng mô hình AI</li>
  <li>Hiệu quả tối ưu hóa: Tỷ lệ sử dụng FLOPS ấn tượng</li>
  <li>Tương lai đầy hứa hẹn: Đầu tư mạnh mẽ và hợp tác chiến lược</li>
</ol>

<h3>1. Etched – Lời thách thức mới đối với NVIDIA</h3>
<p>Etched, một startup AI đầy tham vọng, đang gây xôn xao thị trường với Sohu ASIC - một thiết bị được cho là có khả năng vượt trội so với dòng GPU Blackwell B200 của NVIDIA, vốn được coi là thế hệ GPU AI tiếp theo của gã khổng lồ chip đồ họa.</p>

<h3>2. Sohu ASIC – Bước tiến đột phá trong AI</h3>
<p>Etched đã tận dụng Transformer Engine, một kiến trúc mạng nơ ron thần kinh được ứng dụng trong các mô hình AI như ChatGPT của OpenAI và Llama LLM của Meta, để phát triển Sohu ASIC. Mục tiêu của họ là cung cấp cho khách hàng một giải pháp xử lý AI hiệu quả hơn, nhanh hơn so với các giải pháp hiện có.</p>

<h3>3. Hiệu năng vượt trội: 10x nhanh hơn Blackwell, 20x nhanh hơn Hopper</h3>
<p>Etched tuyên bố Sohu ASIC có tốc độ xử lý nhanh hơn gấp 10 lần so với Blackwell và gấp 20 lần so với Hopper, các dòng GPU AI của NVIDIA. Họ cũng đưa ra bằng chứng về hiệu năng vượt trội của Sohu: một ASIC Sohu có thể xử lý hơn 500.000 token Llama 70B mỗi giây, tương đương với 160 đơn vị NVIDIA H100.</p>

<h3>4. Khả năng xử lý đa dạng mô hình AI</h3>
<p>Sohu ASIC được thiết kế để hỗ trợ đa dạng các mô hình AI hiện đại, bao gồm cả Llama của Meta và Anthropic của Google. Etched cũng cam kết sẽ tiếp tục phát triển và tích hợp các mô hình AI mới, đảm bảo tính tương thích và khả năng mở rộng của Sohu.</p>

<h3>5. Hiệu quả tối ưu hóa: Tỷ lệ sử dụng FLOPS ấn tượng</h3>
<p>Sohu ASIC đạt được tỷ lệ sử dụng FLOPS ấn tượng 90%, gấp đôi so với các giải pháp khác trên thị trường. Thành tựu này là kết quả của việc Etched tập trung vào tối ưu hóa các transistor chuyên biệt cho xử lý Transformer, trong khi các công ty như NVIDIA ưu tiên khả năng lập trình.</p>

<h3>6. Tương lai đầy hứa hẹn: Đầu tư mạnh mẽ và hợp tác chiến lược</h3>
<p>Etched tự tin khẳng định vị thế tiên phong trong cuộc đua ASIC, với sự hậu thuẫn của TSMC - đối tác sản xuất chip 4nm cho Sohu, và nguồn vốn đầu tư lên tới 120 triệu USD. Những thành tựu này cho thấy tiềm năng to lớn của Etched trong việc cách mạng hóa ngành công nghiệp AI.</p>

<p>Với Sohu ASIC, Etched đặt mục tiêu đưa xử lý AI thời gian thực lên một tầm cao mới, biến nó thành một công cụ phổ biến thay vì là rào cản. Liệu Etched có thể thực sự thách thức vị thế thống trị của NVIDIA trong lĩnh vực AI hay không? Thời gian sẽ trả lời.</p>

Etched: Kẻ thách thức NVIDIA trong cuộc đua AI

Etched: Kẻ thách thức NVIDIA trong cuộc đua AI Mục lục Etched – Lời thách thức mới đối với NVIDIA Sohu ASIC – Bước tiến đột phá tr...

tháng 6 26, 2024

Groq: Đối thủ cạnh tranh của Nvidia chuẩn bị tăng gấp đôi định giá với vòng tài trợ do BlackRock dẫn đầu

Groq: Cỗ máy xử lý ngôn ngữ đột phá, thách thức Nvidia và AMD

Chatbot AI Sonia: Hỗ trợ tâm lý cho bệnh nhân

Israel: Siêu máy tính AI, cuộc đua công nghệ toàn cầu

Triển khai Mô hình Ngôn ngữ lớn DBRX trên Oracle Cloud Infrastructure với NVIDIA NIM và Delta Sharing

Etched: Kẻ thách thức NVIDIA trong cuộc đua AI

Bài đăng phổ biến

Labels