Agent.ai.vn

Perplexity - Ứng dụng tìm kiếm AI chia sẻ doanh thu quảng cáo với các nhà xuất bản

<h2>Perplexity - Ứng dụng tìm kiếm AI chia sẻ doanh thu quảng cáo với các nhà xuất bản</h2>

<h3>Mục lục</h3>
<ul>
  <li>Giới thiệu chương trình hợp tác</li>
  <li>Lợi ích cho nhà xuất bản</li>
  <li>Tầm nhìn của Perplexity</li>
  <li>Mô hình quảng cáo mới</li>
  <li>Đối tác và tiềm năng phát triển</li>
  <li>Đối thủ cạnh tranh</li>
  <li>Kết luận</li>
</ul>

<p>Ứng dụng tìm kiếm AI Perplexity đã xác nhận sẽ chia sẻ doanh thu quảng cáo với các nhà xuất bản tin tức khi bài viết của họ xuất hiện trong kết quả tìm kiếm của người dùng.</p>

<h3>Chương trình hợp tác mới</h3>

<p>Tuần trước, Perplexity đã ra mắt Chương trình dành cho nhà xuất bản, nhằm đảm bảo các nhà xuất bản tin tức nhận được hỗ trợ tài chính và ghi nhận xứng đáng khi nội dung của họ xuất hiện trong kết quả tìm kiếm của ứng dụng.</p>

<h3>Lợi ích thiết thực cho nhà xuất bản</h3>

<p>Theo chương trình này, các doanh nghiệp có thể trả phí để nội dung của họ được hiển thị trong các vị trí quảng cáo mới xung quanh tính năng theo dõi liên quan trên ứng dụng. Bất cứ khi nào quảng cáo tạo ra doanh thu từ tương tác có liên quan đến nội dung của nhà xuất bản, nhà xuất bản sẽ nhận được một phần chia sẻ.</p>

<p>Ngoài ra, nhà xuất bản cũng sẽ có quyền truy cập vào phân tích hiệu suất nội dung trên Perplexity thông qua sự hợp tác với ScalePost.ai, một nền tảng cung cấp phân tích AI cho các nhà xuất bản. </p>

<p>Đặc biệt, các nhà xuất bản tham gia chương trình sẽ được quyền truy cập miễn phí vào API của Perplexity. Điều này cho phép họ xây dựng công cụ trả lời tìm kiếm tùy chỉnh cho trang web của riêng mình. Nhân viên của họ cũng sẽ được sử dụng miễn phí phiên bản Perplexity Pro trong một năm.</p>

<h3>Tầm nhìn của Perplexity</h3>

<p>Giám đốc điều hành Aravind Srinivas của Perplexity cho biết công ty đã xây dựng chương trình này dựa trên mục tiêu tạo ra một hệ thống có khả năng mở rộng và bền vững, nơi tất cả các bên đều có lợi. </p>

<p>Chúng tôi đánh giá cao những nhà xuất bản đã tham gia chương trình và cung cấp cho chúng tôi những phản hồi quý báu về cách thức hoạt động, ông Srinivas chia sẻ. Chúng tôi luôn tin rằng chúng ta có thể xây dựng một hệ thống mà Internet là người chiến thắng cuối cùng, và đây chỉ là bước khởi đầu.</p>

<h3>Mô hình quảng cáo mới</h3>

<p>Việc ra mắt Chương trình dành cho nhà xuất bản cũng đánh dấu lần đầu tiên ứng dụng tìm kiếm AI Perplexity tích hợp quảng cáo. Trước đây, Perplexity dựa vào hình thức đăng ký trả phí cho phiên bản cao cấp Perplexity Pro (20 đô la/tháng) để mang đến cho người dùng trải nghiệm tìm kiếm AI nâng cao.</p>

<p>Bản cập nhật sắp tới sẽ hiển thị quảng cáo trong phần tìm kiếm liên quan. Ví dụ, nếu người dùng tìm kiếm nhà hàng trong thành phố, một chuỗi nhà hàng có thể trả tiền để quảng cáo của họ xuất hiện trong phần tìm kiếm liên quan. Việc nhấp vào quảng cáo sẽ tạo doanh thu cho cả ứng dụng và các nhà xuất bản có nội dung được hiển thị trong kết quả tìm kiếm. </p>

<h3>Đối tác và tiềm năng phát triển</h3>

<p>Time, Fortune, Entrepreneur và WordPress nằm trong số những nhà xuất bản đầu tiên được hưởng lợi từ chương trình này.</p>

<p>Perplexity cũng đang xem xét hợp tác với các nhà xuất bản để cung cấp gói đăng ký kết hợp, cho phép người dùng trả một mức phí cố định để sử dụng cả Perplexity Pro và đăng ký các nhà xuất bản tham gia.</p>

<p>Mark Howard, giám đốc vận hành của Time, cho biết: Chúng tôi tự hào tham gia Chương trình dành cho nhà xuất bản của Perplexity với tư cách là đối tác ra mắt để tiếp tục mở rộng khả năng tiếp cận thông tin đáng tin cậy và thu hút khán giả theo những cách thức mới.</p>

<h3>Đối thủ cạnh tranh tiềm ẩn</h3>

<p>Mặc dù vậy, Perplexity có thể sẽ phải đối mặt với một đối thủ cạnh tranh mới, OpenAI, khi công ty này vừa công bố đang thử nghiệm SearchGPT, một tính năng tìm kiếm mới cho ChatGPT, cho phép người dùng tìm kiếm trên web bằng ngôn ngữ tự nhiên, dạng đối thoại.</p>

<p>Với mô hình kinh doanh mới, Perplexity kỳ vọng sẽ tạo ra một hệ sinh thái đôi bên cùng có lợi, mang đến cho người dùng trải nghiệm tìm kiếm AI chất lượng cao, đồng thời hỗ trợ các nhà xuất bản phát triển bền vững trong thời đại kỹ thuật số. Liệu Perplexity có thành công trong việc hiện thực hóa mục tiêu này hay không? Hãy cùng chờ xem!</p>

Perplexity - Ứng dụng tìm kiếm AI chia sẻ doanh thu quảng cáo với các nhà xuất bản

Perplexity - Ứng dụng tìm kiếm AI chia sẻ doanh thu quảng cáo với các nhà xuất bản Mục lục Giới thiệu chương trình hợp tác Lợi ích...

tháng 8 07, 2024

Mạng RoCE cho huấn luyện AI phân tán quy mô lớn tại Meta

<h2>Mạng RoCE cho huấn luyện AI phân tán quy mô lớn tại Meta</h2>

<nav>
  <h3>Mục lục</h3>
  <ol>
    <li><a href='#giới-thiệu'>Giới thiệu</a></li>
    <li><a href='#kiến-trúc-mạng'>Kiến trúc mạng</a>
      <ul>
        <li><a href='#sự-phân-tách'>Sự phân tách</a></li>
        <li><a href='#khu-vực-ai'>Khu vực AI</a></li>
      </ul>
    </li>
    <li><a href='#định-tuyến'>Định tuyến</a>
      <ul>
        <li><a href='#ecmp-và-ghim-đường-dẫn'>ECMP và ghim đường dẫn</a></li>
        <li><a href='#cân-bằng-hàng-đợi'>Cân bằng hàng đợi (Queue pair scaling)</a></li>
      </ul>
    </li>
    <li><a href='#kiểm-soát-tắc-nghẽn'>Kiểm soát tắc nghẽn</a>
      <ul>
        <li><a href='#dcqcn'>DCQCN</a></li>
        <li><a href='#nhập-lưu-lượng-hướng-người-nhận'>Nhập lưu lượng hướng người nhận</a></li>
      </ul>
    </li>
    <li><a href='#hướng-phát-triển'>Hướng phát triển</a></li>
    <li><a href='#kết-luận'>Kết luận</a></li>
  </ol>
</nav>

<h3 id='giới-thiệu'>Giới thiệu</h3>

<p>Trong những năm qua, Meta đã xây dựng một trong những mạng lưới AI lớn nhất thế giới để hỗ trợ khối lượng công việc huấn luyện AI phân tán quy mô lớn. Bài báo này sẽ thảo luận chi tiết về cách chúng tôi thiết kế, triển khai và vận hành mạng lưới này, tập trung vào việc sử dụng RDMA over Converged Ethernet version 2 (RoCEv2) làm phương thức truyền thông liên nút cho phần lớn năng lực AI của chúng tôi.</p>

<p>Sự phổ biến ngày càng tăng của AI đã tạo ra một kỷ nguyên mới về nhu cầu truyền thông. Huấn luyện phân tán, đặc biệt, tạo ra sức ép đáng kể nhất lên cơ sở hạ tầng mạng của trung tâm dữ liệu. Ví dụ, một tác vụ AI tạo sinh (GenAI) điển hình có thể cần phối hợp chặt chẽ hàng chục nghìn GPU trong vài tuần. Việc xây dựng một cơ sở hạ tầng mạng đáng tin cậy, hiệu suất cao, có khả năng đáp ứng nhu cầu ngày càng tăng này, đòi hỏi phải đánh giá lại thiết kế mạng trung tâm dữ liệu.</p>

<p>Khi Meta giới thiệu phương pháp huấn luyện dựa trên GPU phân tán, chúng tôi đã quyết định xây dựng các mạng trung tâm dữ liệu chuyên biệt được thiết kế riêng cho các cụm GPU này. Chúng tôi đã chọn RoCEv2 làm phương thức truyền thông liên nút cho phần lớn năng lực AI của mình.</p>

<p>Chúng tôi đã mở rộng thành công mạng RoCE của mình, phát triển từ nguyên mẫu sang triển khai nhiều cụm, mỗi cụm chứa hàng nghìn GPU. Các cụm RoCE này hỗ trợ một loạt các công việc huấn luyện GPU phân tán trong sản xuất, bao gồm xếp hạng, đề xuất nội dung, hiểu nội dung, xử lý ngôn ngữ tự nhiên và huấn luyện mô hình GenAI, cùng với các khối lượng công việc khác.</p>

<p>Cụm huấn luyện dựa trên hai mạng độc lập: mạng frontend (FE) cho các tác vụ như nhập dữ liệu, lập điểm kiểm tra và ghi nhật ký và mạng backend (BE) để huấn luyện, như được mô tả bên dưới.</p>

<p>Một rack huấn luyện được kết nối với cả FE và BE của mạng trung tâm dữ liệu. FE có hệ thống phân cấp các tầng mạng – bộ chuyển mạch rack (RSW), bộ chuyển mạch fabric (FSW), v.v. – chứa kho lưu trữ, cung cấp cho GPU dữ liệu đầu vào cần thiết cho khối lượng công việc huấn luyện. Chúng tôi đảm bảo rằng có đủ băng thông ingress trên bộ chuyển mạch rack để không cản trở khối lượng công việc huấn luyện.</p>

<p>BE là một kết cấu chuyên biệt kết nối tất cả các NIC RDMA trong một kiến trúc không chặn, cung cấp băng thông cao, độ trễ thấp và truyền tải không mất dữ liệu giữa hai GPU bất kỳ trong cụm, bất kể vị trí thực của chúng. Kết cấu phụ trợ này sử dụng giao thức RoCEv2, đóng gói dịch vụ RDMA trong các gói UDP để truyền tải qua mạng.</p>

<p>Các mạng BE của chúng tôi đã trải qua một số thay đổi. Ban đầu, các cụm GPU của chúng tôi sử dụng cấu trúc liên kết hình sao đơn giản với một vài rack AI được kết nối với bộ chuyển mạch Ethernet trung tâm chạy giao thức RoCEv1 không định tuyến được. Thiết lập này có những hạn chế rõ ràng về quy mô GPU và khả năng dự phòng chuyển đổi. Do đó, chúng tôi đã nhanh chóng chuyển sang kiến trúc dựa trên kết cấu để mở rộng khả năng mở rộng và tính khả dụng cao hơn.</p>

<p>Chúng tôi đã thiết kế cấu trúc liên kết Clos hai tầng cho các rack AI, được gọi là Khu vực AI. Bộ chuyển mạch huấn luyện rack (RTSW), đóng vai trò là bộ chuyển mạch lá, cung cấp khả năng kết nối mở rộng cho GPU trong rack bằng cáp DAC dựa trên đồng. Tầng spine, bao gồm các bộ chuyển mạch huấn luyện cụm mô-đun (CTSW), cung cấp khả năng kết nối mở rộng giữa tất cả các rack trong cụm. CTSW có bộ đệm sâu được chia tĩnh trên các cổng trong khung. Các RTSW kết nối với CTSW thông qua cáp quang đơn mode và bộ thu phát có thể cắm 400G.</p>

<p>Các Khu vực AI được thiết kế để hỗ trợ một lượng lớn GPU được kết nối với nhau một cách không chặn. Tuy nhiên, những tiến bộ mới nổi của AI, chẳng hạn như LLM như Llama, yêu cầu quy mô GPU lớn hơn mức mà một Khu vực AI cung cấp. Để thích ứng với điều này, chúng tôi đã thiết kế một tầng bộ chuyển mạch huấn luyện tổng hợp (ATSW) kết nối các CTSW trong tòa nhà trung tâm dữ liệu, mở rộng miền RoCE ra ngoài một Khu vực AI duy nhất.</p>

<p>Lưu ý, kết nối chéo Khu vực AI được đăng ký quá mức theo thiết kế, với lưu lượng truy cập mạng được cân bằng bằng ECMP. Để giảm thiểu nút thắt cổ chai hiệu suất đối với lưu lượng truy cập chéo Khu vực AI, chúng tôi đã cải thiện trình lên lịch tác vụ huấn luyện để tìm lát cắt tối thiểu khi chia các nút huấn luyện thành các Khu vực AI khác nhau, giảm lưu lượng truy cập chéo Khu vực AI và do đó rút ngắn thời gian hoàn thành chung. Trình lên lịch thực hiện việc này bằng cách tìm hiểu vị trí của máy chủ GPU trong cấu trúc liên kết logic để đề xuất phân bổ hạng.</p>

<h3 id='định-tuyến'>Định tuyến</h3>

<p>Việc mở rộng quy mô sức mạnh tính toán và cấu trúc liên kết mạng đã thảo luận ở trên dẫn đến câu hỏi làm thế nào để cân bằng và định tuyến hiệu quả lưu lượng truy cập huấn luyện khổng lồ. Cụ thể, khối lượng công việc huấn luyện AI có một số đặc điểm đầy thách thức:</p>

<ul>
  <li><strong>Độ hỗn loạn thấp (Low entropy):</strong> So với khối lượng công việc của trung tâm dữ liệu truyền thống, số lượng và sự đa dạng của luồng cho khối lượng công việc AI nhỏ hơn nhiều và các mẫu luồng thường lặp đi lặp lại và có thể dự đoán được.</li>
  <li><strong>Tính bùng nổ (Burstiness):</strong> Trên khía cạnh thời gian, các luồng thường thể hiện bản chất bật và tắt trong độ chi tiết thời gian tính bằng mili giây.</li>
  <li><strong>Luồng voi (Elephant flows):</strong> Đối với mỗi lần bùng nổ, cường độ của mỗi luồng có thể đạt tới tốc độ đường truyền của NIC.</li>
</ul>

<h4 id='ecmp-và-ghim-đường-dẫn'>ECMP và ghim đường dẫn</h4>

<p>Ban đầu, chúng tôi đã xem xét ECMP được áp dụng rộng rãi, đặt các luồng một cách ngẫu nhiên dựa trên hàm băm trên năm thành phần: IP nguồn và đích, cổng UDP nguồn và đích và giao thức. Tuy nhiên, và như mong đợi, ECMP đã mang lại hiệu suất kém cho khối lượng công việc huấn luyện do độ hỗn loạn luồng thấp.</p>

<p>Ngoài ra, chúng tôi đã thiết kế và triển khai lược đồ ghim đường dẫn trong những năm đầu triển khai. Lược đồ này định tuyến các gói tin đến các đường dẫn cụ thể dựa trên lát đích (chỉ số của đường xuống RTSW). Điều này hoạt động tốt nếu mỗi rack được chỉ định đầy đủ cho cùng một công việc và không có lỗi nào trong mạng. Tuy nhiên, điều này hiếm khi đúng. Chúng tôi thấy rằng rack có thể được phân bổ một phần cho một công việc, chỉ có một trong hai máy chủ trong rack sử dụng băng thông đường lên. Việc vị trí công việc bị phân mảnh này gây ra phân phối lưu lượng không đồng đều và tắc nghẽn trên đường lên của RTSW cụ thể và làm giảm hiệu suất đào tạo lên tới hơn 30%. Hơn nữa, lỗi mạng trên đường lên hoặc CTSW khiến các luồng bị ảnh hưởng được chỉ định lại không đồng đều cho các CTSW khác bởi ECMP. Những luồng được chỉ định lại đó đã va chạm với các luồng hiện có khác và làm chậm toàn bộ công việc huấn luyện.</p>

<p>Chúng tôi đã giảm thiểu tác động tức thời của các va chạm luồng này bằng cách nâng cấp băng thông của băng thông đường lên RTSW lên gấp 2 lần. Do đó, chúng tôi đã cho phép dung lượng đường lên RTSW được đăng ký chưa đủ 1:2 so với dung lượng đường xuống RTSW. Mặc dù điều này đã giảm thiểu tác động đến hiệu suất tức thời, nhưng đây là một giải pháp tốn kém vì nó yêu cầu dung lượng mạng gấp 2 lần. Do đó, chúng tôi đã nhận ra đây là một biện pháp giảm thiểu ngắn hạn và tiến hành các giai đoạn tiếp theo của quá trình phát triển định tuyến.</p>

<h4 id='cân-bằng-hàng-đợi'>Cân bằng hàng đợi (Queue pair scaling)</h4>

<p>Tiếp theo, chúng tôi đã xem xét lại ECMP với mục đích tăng số lượng luồng cho các tập thể phân cấp thông qua tính năng phần mềm mở rộng quy mô cặp hàng đợi (QP) trong thư viện tập thể.</p>

<p>Để giải thích cho điều này, chúng tôi đã định cấu hình các bộ chuyển mạch để thực hiện ECMP nâng cao (E-ECMP) để băm thêm vào trường QP đích của gói RoCE bằng cách sử dụng khả năng UDF của ASIC chuyển đổi. Điều này đã làm tăng entropy và, so với ECMP cơ sở mà không cần mở rộng quy mô QP, chúng tôi quan sát thấy rằng E-ECMP cùng với việc mở rộng quy mô QP cho thấy hiệu suất được cải thiện lên đến 40% cho tập thể AllReduce.</p>

<p>Chúng tôi đã đánh giá hai chiến lược mở rộng quy mô QP. Cách đầu tiên liên quan đến việc chia mỗi thông báo có nghĩa là được đăng trên một QP duy nhất, thay vào đó là nhiều QP dẫn đến nhiều luồng. Nhưng nó cũng tạo ra kích thước thông báo nhỏ hơn trên kết cấu cũng như nhiều ACK. Cách tiếp cận thứ hai liên quan đến việc đăng từng thông báo vào một hàng đợi khác nhau, theo kiểu Round-robin. Đối với kích thước thông báo NIC được thể hiện trong quá trình sản xuất của chúng tôi với NCCL, chúng tôi quan sát thấy cách thứ hai hoạt động tốt. Tính năng này rất quan trọng đối với khả năng mở rộng ECMP bằng cách tăng lưu lượng mạng cho các tập thể phân cấp như AllReduce.</p>

<p>Mặc dù chúng tôi đã cải thiện hiệu suất ECMP với việc mở rộng quy mô QP, nhưng bản chất xác suất cơ bản của hàm băm là nhược điểm dai dẳng của lược đồ định tuyến này. Ngoài ra, nhu cầu tùy chỉnh hệ số масштабирования QP và phương pháp dựa trên loại khối lượng công việc, trong khi có thể hoạt động trong ngắn hạn, đã tạo ra sự phức tạp về hoạt động lâu dài.</p>

<h3 id='kiểm-soát-tắc-nghẽn'>Kiểm soát tắc nghẽn</h3>

<h4 id='dcqcn'>DCQCN</h4>

<p>Khi chúng tôi chuyển sang triển khai 400G, chúng tôi đã cố gắng điều chỉnh DCQCN để điều chỉnh tốc độ mạng và cấu trúc liên kết mới. Tuy nhiên, với cài đặt DCQCN mặc định và ngưỡng ECN tăng gấp đôi so với mạng 200G, hiệu suất đã bị giảm sút. Điều tra thêm cho thấy việc triển khai DCQCN trong phần sụn đã thay đổi, tạo ra lỗi và giảm khả năng hiển thị với các sự cố liên quan đến việc đếm CNP chính xác.</p>

<p>Chúng tôi đã tiến hành mà không có DCQCN cho các triển khai 400G của chúng tôi. Tại thời điểm này, chúng tôi đã có hơn một năm kinh nghiệm chỉ với PFC để kiểm soát luồng, không có bất kỳ kiểm soát tắc nghẽn cấp độ truyền tải nào khác. Chúng tôi đã quan sát thấy hiệu suất ổn định và không có tắc nghẽn liên tục đối với các tập thể huấn luyện.</p>

<h4 id='nhập-lưu-lượng-hướng-người-nhận'>Nhập lưu lượng hướng người nhận</h4>

<p>Để giảm thiểu tắc nghẽn cho 400G trở lên, chúng tôi đã đồng thiết kế thư viện tập thể và truyền tải RoCE để thực thi quyền truy cập lưu lượng do người nhận điều khiển để có hiệu suất tốt hơn. Biểu đồ bên dưới cho thấy kiến trúc giao tiếp GPU-to-GPU trong các cụm huấn luyện sản xuất của chúng tôi chủ yếu sử dụng sao chép hai giai đoạn và giao tiếp do người nhận khởi tạo thông qua thư viện tập thể NCCL. Bộ nhớ băng thông cao (HBM) của mỗi GPU duy trì nhiều kênh để truyền tải song song các thông báo tập thể được chia thành khối. Các luồng GPU của người gửi trước tiên sao chép dữ liệu từ bộ đệm tính toán sang bộ đệm kênh khả dụng. Luồng proxy CPU của người gửi chỉ có thể đăng yêu cầu ghi RDMA sau khi nhận được gói clear-to-send (CTS) từ người nhận, bao gồm thông tin về kích thước và bộ nhớ. Sau đó, các luồng GPU của người nhận sao chép nội dung bộ đệm kênh vào bộ đệm tính toán đích. Cuối cùng, các luồng proxy CPU ở cả hai bên tái chế bộ đệm kênh và proxy CPU của người nhận gửi một gói CTS khác sau khi bộ đệm kênh sẵn sàng.</p>

<p>Chúng tôi tận dụng hiệu quả cơ chế này như một phương thức nhập lưu lượng do người nhận điều khiển để hạn chế lượng lưu lượng đang bay trên mạng, đặc biệt là khi bắt đầu xuất hiện tắc nghẽn. Tuy nhiên, việc định cấu hình cài đặt phù hợp có thể là một thách thức vì:</p>

<ul>
  <li>Số lượng kênh bị hạn chế do tranh chấp tài nguyên trên các luồng GPU với các hoạt động tính toán đồng thời;</li>
  <li>Việc đặt kích thước bộ đệm kênh yêu cầu sự cân bằng cẩn thận hơn giữa việc lan truyền tắc nghẽn và sử dụng băng thông kém hơn so với Infiniband do kiểm soát luồng chi tiết hơn của RoCE và khả năng chậm của máy chủ cuối.</li>
</ul>

<p>Do đó, chúng tôi đã thực hiện hai bước để cải thiện hiệu suất. Đầu tiên, chúng tôi đã xác định bằng thực nghiệm các cài đặt tham số phù hợp cho số lượng kênh và kích thước bộ đệm kênh trên các loại tập thể và kích thước công việc đào tạo khác nhau. Thứ hai, chúng tôi đã triển khai xếp hàng ưu tiên cao tại các bộ chuyển mạch cho các gói CTS để xúc tiến các thông báo và giảm thiểu khả năng thiếu hụt băng thông.</p>

<p>Kiểm soát tắc nghẽn là trọng tâm nghiên cứu trong mạng RDMA. DCQCN là tiêu chuẩn vàng cho các mạng tập trung vào lưu trữ. Tuy nhiên, kinh nghiệm của chúng tôi với khối lượng công việc huấn luyện AI phân tán cung cấp một quan điểm khác về việc điều chỉnh các thuật toán kiểm soát tắc nghẽn. Mặc dù đã tắt DCQCN và nhiều trường hợp RTSW gửi PFC đến CTSW bộ đệm sâu, nhưng chúng tôi vẫn chưa gặp phải trường hợp nào trong bốn năm qua, khi lưu lượng truy cập huấn luyện AI sản xuất khiến CTSW gửi PFC đến RTSW một cách liên tục.</p>

<p>Giải pháp hiện tại của chúng tôi phụ thuộc vào sự phối hợp cẩn thận giữa thư viện giao tiếp tập thể và mạng. Nó có thể phụ thuộc vào thông lượng tương đối giữa GPU và mạng, điều này có thể không áp dụng cho mọi trường hợp. Chúng tôi khuyến khích cộng đồng nghiên cứu tập trung hơn vào chủ đề này.</p>

<h3 id='hướng-phát-triển'>Hướng phát triển</h3>

<p>Việc thiết kế và vận hành mạng RoCE quy mô lớn cho khối lượng công việc huấn luyện AI phân tán đã phát triển để đáp ứng nhu cầu ngày càng tăng về mật độ và quy mô tính toán. Bằng cách tách biệt các mạng FE và BE, sử dụng các lược đồ định tuyến khác nhau và tối ưu hóa các mẫu lưu lượng tập thể, chúng tôi đã có thể xây dựng một cơ sở hạ tầng mạng hiệu suất cao và đáng tin cậy. Những thiết kế và hiểu biết sâu sắc này nhấn mạnh tầm quan trọng của việc hiểu sâu sắc khối lượng công việc đào tạo và chuyển những hàm ý này thành thiết kế thành phần mạng, cuối cùng góp phần vào sự tiến bộ của cơ sở hạ tầng đào tạo AI phân tán.</p>

<p>Với xu hướng phát triển nhanh chóng của khối lượng công việc GenAI, cơ sở hạ tầng mạng của chúng tôi sẽ phát triển nhanh chóng.</p>

<p>Bài báo này đã giới thiệu về mạng RoCE được sử dụng để huấn luyện AI phân tán quy mô lớn tại Meta. Chúng tôi đã thảo luận về những thách thức trong việc xây dựng một mạng như vậy và các giải pháp được triển khai để giải quyết các vấn đề về cấu trúc liên kết, định tuyến và kiểm soát tắc nghẽn. </p>

<p>Với sự phát triển không ngừng của AI, chúng tôi tin rằng việc chia sẻ kinh nghiệm và giải pháp của mình sẽ đóng góp tích cực vào cộng đồng nghiên cứu và thúc đẩy sự đổi mới trong lĩnh vực mạng lưới AI.</p>

Mạng RoCE cho huấn luyện AI phân tán quy mô lớn tại Meta

Mạng RoCE cho huấn luyện AI phân tán quy mô lớn tại Meta Mục lục Giới thiệu Kiến trúc mạng Sự phân tách ...

tháng 8 07, 2024

Perplexity Chia Sẻ Doanh Thu Quảng Cáo, Hợp Tác Cùng Các Nhà Xuất Bản

<h2>Perplexity Chia Sẻ Doanh Thu Quảng Cáo, Hợp Tác Cùng Các Nhà Xuất Bản</h2>

<h3>Mục lục</h3>
<ul>
  <li>Chia sẻ Doanh Thu và Hỗ Trợ Phát Triển</li>
  <li>Lợi Ích Cho Nhà Xuất Bản</li>
  <li>Mô Hình Quảng Cáo Mới</li>
  <li>Đối Tác và Tầm Nhìn Tương Lai</li>
  <li>Cạnh Tranh Nảy Lửa Trên Thị Trường Tìm Kiếm AI</li>
</ul>

<p>Ứng dụng tìm kiếm AI Perplexity đã xác nhận sẽ chia sẻ doanh thu quảng cáo với các nhà xuất bản tin tức khi bài viết của họ xuất hiện trong kết quả tìm kiếm của người dùng. Đây là một phần trong chương trình Publishers' Program được Perplexity ra mắt vào tuần trước, nhằm đảm bảo các nhà xuất bản nhận được hỗ trợ tài chính xứng đáng khi nội dung của họ được sử dụng.</p>

<h3>Chia sẻ Doanh Thu và Hỗ Trợ Phát Triển</h3>

<p>Theo chương trình này, các doanh nghiệp có thể trả phí để nội dung của họ được hiển thị trong các vị trí quảng cáo mới xung quanh tính năng theo dõi liên quan trên ứng dụng. Khi những quảng cáo này tạo ra doanh thu từ tương tác có liên quan đến nội dung của nhà xuất bản, nhà xuất bản sẽ được hưởng một phần lợi nhuận.</p>

<p>Ngoài việc được chia sẻ doanh thu, các nhà xuất bản tham gia chương trình còn được hưởng một số lợi ích hấp dẫn khác, bao gồm:</p>

<ul>
  <li>Truy cập miễn phí vào API của Perplexity, cho phép họ xây dựng công cụ trả lời tìm kiếm tùy chỉnh cho trang web của mình.</li>
  <li>Truy cập miễn phí vào phiên bản Perplexity Pro dành cho doanh nghiệp trong vòng một năm.</li>
  <li>Tiếp cận các phân tích hiệu suất nội dung trên Perplexity thông qua sự hợp tác với ScalePost.ai - nền tảng cung cấp phân tích AI cho nhà xuất bản.</li>
</ul>

<h3>Mô Hình Quảng Cáo Mới</h3>

<p>Việc ra mắt Publishers' Program cũng đánh dấu lần đầu tiên ứng dụng tìm kiếm AI Perplexity hiển thị quảng cáo. Trước đây, Perplexity chủ yếu dựa vào hình thức đăng ký trả phí cho phiên bản cao cấp với mức giá 20 đô la mỗi tháng, cung cấp cho người đăng ký khả năng tìm kiếm AI nâng cao.</p>

<p>Bản cập nhật sắp tới sẽ bao gồm quảng cáo hiển thị trong các tìm kiếm liên quan. Ví dụ: nếu người dùng tìm kiếm nhà hàng trong thành phố, một chuỗi nhà hàng có thể trả tiền để quảng cáo của họ được hiển thị trong phần tìm kiếm liên quan. Khi người dùng nhấp vào quảng cáo, cả ứng dụng và nhà xuất bản có nội dung được đề xuất trong kết quả tìm kiếm đều sẽ tạo ra doanh thu.</p>

<h3>Đối Tác và Tầm Nhìn Tương Lai</h3>

<p>Time, Fortune, Entrepreneur và WordPress là một số nhà xuất bản đầu tiên tham gia và được hưởng lợi từ chương trình này. Perplexity cũng đang xem xét hợp tác với các nhà xuất bản để cung cấp gói đăng ký kết hợp, cho phép người dùng trả một mức phí cố định cho cả Perplexity Pro và đăng ký của các nhà xuất bản tham gia.</p>

<h3>Cạnh Tranh Nảy Lửa Trên Thị Trường Tìm Kiếm AI</h3>

<p>Bản cập nhật được đưa ra trong bối cảnh Perplexity đang trên đà phát triển mạnh mẽ. Vào tháng 4, giá trị của công ty đã tăng vọt lên 1 tỷ USD sau khi nhận được khoản đầu tư mới từ Jeff Bezos, Nvidia và cựu giám đốc AI của Tesla, Andrej Karpathy. Perplexity gần đây cũng đã hợp tác với SoftBank để mang ứng dụng tìm kiếm AI của mình đến với người dùng mới.</p>

<p>Tuy nhiên, Perplexity có thể sẽ sớm phải đối mặt với một đối thủ đáng g nờm là SearchGPT - tính năng tìm kiếm mới của ChatGPT do OpenAI phát triển, cho phép người dùng tìm kiếm trên web bằng ngôn ngữ tự nhiên, dạng hội thoại. Cuộc cạnh tranh giữa các ứng dụng tìm kiếm AI hứa hẹn sẽ ngày càng trở nên khốc liệt trong thời gian tới.</p>

Perplexity Chia Sẻ Doanh Thu Quảng Cáo, Hợp Tác Cùng Các Nhà Xuất Bản

Perplexity Chia Sẻ Doanh Thu Quảng Cáo, Hợp Tác Cùng Các Nhà Xuất Bản Mục lục Chia sẻ Doanh Thu và Hỗ Trợ Phát Triển Lợi Ích Cho N...

tháng 8 07, 2024

Vận hành Mô hình AI Cao cấp Ngay Trên Máy Tính Cá nhân

<h2>Vận hành Mô hình AI Cao cấp Ngay Trên Máy Tính Cá nhân</h2>
<img alt="logo" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg">
<h3>Mục lục</h3>
<ul>
  <li>Lợi ích của việc phát triển và thử nghiệm với mô hình mã nguồn mở</li>
  <li>Giới thiệu về Ollama
    <ul>
      <li>Các mô hình AI tương thích</li>
      <li>Yêu cầu hệ thống</li>
      <li>Thử nghiệm hiệu suất</li>
    </ul>
  </li>
  <li>Hướng dẫn cài đặt và vận hành Ollama
    <ul>
      <li>Tải xuống và cài đặt</li>
      <li>Nạp mô hình Llama 3.1 8B</li>
      <li>Quản lý mô hình đã cài đặt</li>
    </ul>
  </li>
  <li>Bổ sung giao diện WebUI
    <ul>
      <li>Cài đặt Docker Desktop</li>
      <li>Cài đặt Open WebUI</li>
      <li>Truy cập Open WebUI</li>
    </ul>
  </li>
  <li>Tích hợp với IDE và API</li>
  <li>Nâng cao hiệu suất với GPU
    <ul>
      <li>Sử dụng GPU NVIDIA</li>
      <li>Sử dụng GPU AMD</li>
    </ul>
  </li>
  <li>Chạy Ollama trong Docker container
    <ul>
      <li>GPU NVIDIA với Docker</li>
      <li>GPU AMD với Docker</li>
    </ul>
  </li>
  <li>Kết luận</li>
</ul>

<h3>Lợi ích của việc phát triển và thử nghiệm với mô hình mã nguồn mở</h3>
<p>So với việc phụ thuộc hoàn toàn vào các mô hình ngôn ngữ lớn (LLM) được lưu trữ công khai từ các nhà cung cấp như OpenAI, Microsoft, Meta hay Google, việc tự vận hành mô hình mã nguồn mở mang lại nhiều ưu điểm:</p>
<p><strong>Bảo mật dữ liệu:</strong> Các LLM được lưu trữ công khai yêu cầu gửi dữ liệu qua internet, tiềm ẩn rủi ro về quyền riêng tư và bảo mật. Chạy mô hình cục bộ đảm bảo dữ liệu nhạy cảm luôn nằm trong tầm kiểm soát của bạn.</p>
<p><strong>Tùy chỉnh:</strong>  Mô hình mã nguồn mở cho phép tùy chỉnh cao hơn. Nhà phát triển có thể tinh chỉnh, điều chỉnh siêu tham số và sửa đổi kiến trúc để phù hợp với nhu cầu cụ thể.</p>
<p><strong>Kiểm soát chi phí:</strong> Dịch vụ AI dựa trên đám mây có thể rất tốn kém, đặc biệt là đối với các ứng dụng quy mô lớn. Lưu trữ mô hình cục bộ giúp giảm đáng kể chi phí sử dụng API và truyền dữ liệu.</p>
<p><strong>Khả năng ngoại tuyến:</strong> Mô hình cục bộ có thể được sử dụng mà không cần kết nối internet, điều này rất cần thiết cho các ứng dụng yêu cầu tính khả dụng cao hoặc ở khu vực có kết nối internet không ổn định.</p>
<p><strong>Linh hoạt và thử nghiệm:</strong> Tự lưu trữ mô hình cho phép bạn thử nghiệm các thuật toán và cấu hình khác nhau, từ đó tạo ra các giải pháp sáng tạo và hiểu biết sâu hơn về công nghệ AI.</p>
<p><strong>Tự do khỏi chính sách sử dụng:</strong> Chạy LLM cục bộ đồng nghĩa với việc bạn không bị ràng buộc bởi các chính sách sử dụng của OpenAI, Microsoft, Meta hay Google. Bạn có thể sử dụng bất kỳ lời nhắc nào và triển khai LLM đã được sửa đổi, được đào tạo trên dữ liệu mà các dịch vụ này có thể hạn chế.</p>

<h3>Giới thiệu về Ollama</h3>
<p>Ollama là một nền tảng mã nguồn mở linh hoạt, được cấp phép MIT, được thiết kế để giúp các nhà phát triển và nhà nghiên cứu dễ dàng chạy và quản lý các mô hình học máy cục bộ trên phần cứng của riêng họ.</p>
<p><strong>Các mô hình AI tương thích:</strong> Ollama hỗ trợ nhiều mô hình AI, bao gồm:</p>
<ul>
  <li>Llama 3.1 (nhiều biến thể tham số)</li>
  <li>Google Gemma2 (nhiều biến thể tham số)</li>
  <li>Phi 3 Mini & Medium</li>
  <li>Mistral</li>
  <li>Moondream 2</li>
  <li>Neural Chat</li>
  <li>Starling</li>
  <li>Code Llama</li>
  <li>Llama 2 Uncensored</li>
  <li>LLaVA</li>
  <li>Solar</li>
</ul>
<p><strong>Yêu cầu hệ thống:</strong><br>
Ollama khuyến nghị tối thiểu 8 GB RAM cho các mô hình 7B, 16 GB cho 13B và 32 GB cho 33B. </p>
<p><strong>Thử nghiệm hiệu suất:</strong><br>
Bài viết đã thử nghiệm Ollama trên Macbook Pro M1 Pro và M1 Ultra với 32GB và 64GB RAM. Kết quả cho thấy hiệu suất tốt với các mô hình có tham số 8B-10B (Llama 3.1, Google Gemma2) khi chỉ sử dụng CPU. Tuy nhiên, biến thể 70B gặp phải một số hạn chế về hiệu suất. Hệ thống Linux với GPU NVIDIA hoặc AMD dự kiến sẽ xử lý các mô hình này hiệu quả hơn.</p>

<h3>Hướng dẫn cài đặt và vận hành Ollama</h3>
<p><strong>Tải xuống và cài đặt:</strong></p>
<ol>
  <li>Truy cập trang tải xuống của Ollama và chọn trình cài đặt phù hợp với hệ điều hành (MacOS, Linux, Windows).</li>
  <li>Làm theo hướng dẫn cài đặt được cung cấp.</li>
</ol>
<p><strong>Nạp mô hình Llama 3.1 8B:</strong></p>
<ol>
  <li>Truy cập trang thư viện Llama 3.1 trên Ollama và sao chép lệnh để tải mô hình Llama 3.1 8B: <code>ollama run llama3.1:8b</code></li>
  <li>Mở terminal (MacOS, Linux) hoặc Command Prompt/PowerShell (Windows), dán lệnh trên và nhấn Enter. </li>
  <li>Sau khi mô hình được tải, bạn có thể gửi truy vấn trò chuyện để kiểm tra chức năng của nó.</li>
</ol>
<p><strong>Quản lý mô hình đã cài đặt:</strong></p>
<ul>
  <li><strong>Liệt kê mô hình:</strong> Sử dụng lệnh <code>ollama list</code></li>
  <li><strong>Xóa mô hình:</strong> Sử dụng lệnh <code>ollama rm <tên_mô_hình></code></li>
  <li><strong>Thêm mô hình mới:</strong>  Duyệt qua thư viện Ollama và sử dụng lệnh <code>ollama run <tên_mô_hình></code></li>
</ul>

<h3>Bổ sung giao diện WebUI</h3>
<p><strong>Cài đặt Docker Desktop:</strong></p>
<ol>
  <li>Truy cập trang Bắt đầu của Docker và tải xuống Docker Desktop cho hệ điều hành của bạn (MacOS, Linux, Windows).</li>
  <li>Làm theo hướng dẫn cài đặt và khởi động Docker sau khi hoàn tất.</li>
</ol>
<p><strong>Cài đặt Open WebUI:</strong></p>
<ol>
  <li>Mở terminal (MacOS, Linux) hoặc Command Prompt/PowerShell (Windows) và chạy lệnh sau:</li>
</ol>
<pre><code>docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
</code></pre>
<p><strong>Truy cập Open WebUI:</strong></p>
<ol>
  <li>Mở Docker Desktop và điều hướng đến bảng điều khiển.</li>
  <li>Tìm vùng chứa Open WebUI và nhấp vào liên kết bên dưới Cổng để mở WebUI trong trình duyệt.</li>
  <li>Tạo tài khoản Open WebUI (nếu bạn chưa có) và đăng nhập.</li>
</ol>

<h3>Tích hợp với IDE và API</h3>
<p>Ollama có thể được tích hợp vào các Môi trường Phát triển Tích hợp (IDE) khác nhau bằng cách sử dụng API, giúp nâng cao quy trình phát triển bằng cách cung cấp tương tác liền mạch với các mô hình AI.</p>
<p><strong>Sử dụng Continue để tích hợp IDE:</strong></p>
<ol>
  <li>Đảm bảo Ollama đang chạy và có thể truy cập được.</li>
  <li>Làm theo hướng dẫn trên blog Ollama Continue để cài đặt Continue trong IDE ưa thích của bạn.</li>
</ol>
<p>Với Continue và API Ollama, bạn có thể tận dụng trực tiếp các tính năng hỗ trợ code do AI cung cấp như đề xuất code, hoàn thành code và hỗ trợ gỡ lỗi ngay trong môi trường phát triển của mình.</p>

<h3>Nâng cao hiệu suất với GPU</h3>
<p>Đối với các ứng dụng đòi hỏi khắt khe hơn, đặc biệt là những ứng dụng yêu cầu các mô hình lớn hơn như mô hình Llama 3.1 70B và 405B, bạn nên chạy Ollama trên hệ thống Linux được trang bị GPU mạnh mẽ.</p>
<p><strong>Sử dụng GPU NVIDIA:</strong></p>
<ol>
  <li>Cài đặt CUDA và cuDNN theo hướng dẫn từ tài liệu NVIDIA CUDA.</li>
  <li>Sau khi cài đặt, đảm bảo môi trường của bạn được định cấu hình chính xác.</li>
  <li>Chạy lệnh sau: <code>ollama run llama3.1:70b --use-gpu</code></li>
</ol>
<p><strong>Sử dụng GPU AMD:</strong></p>
<ol>
  <li>Cài đặt ROCm theo hướng dẫn từ tài liệu ROCm.</li>
  <li>Sau khi cài đặt, đảm bảo môi trường của bạn được định cấu hình chính xác.</li>
  <li>Chạy lệnh sau: <code>ollama run llama3.1:70b --use-gpu</code></li>
</ol>

<h3>Chạy Ollama trong Docker container</h3>
<p>Bạn vẫn có thể tận dụng hỗ trợ GPU nếu muốn chạy Ollama trong Docker container. Lưu ý rằng các hướng dẫn này hiện chỉ áp dụng cho Linux.</p>
<p><strong>GPU NVIDIA với Docker:</strong></p>
<ol>
  <li>Cài đặt CUDA và cuDNN như đã đề cập ở trên.</li>
  <li>Cài đặt NVIDIA Container Engine theo hướng dẫn từ tài liệu Docker của NVIDIA.</li>
  <li>Sử dụng lệnh sau để chạy Ollama với hỗ trợ GPU NVIDIA trong Docker container:</li>
</ol>
<pre><code>docker run --gpus all -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v ollama:/app/backend/data --name ollama --restart always ollama/ollama:latest
</code></pre>
<p><strong>GPU AMD với Docker:</strong></p>
<ol>
  <li>Cài đặt ROCm theo hướng dẫn từ tài liệu ROCm.</li>
  <li>Sử dụng lệnh sau để chạy Ollama với hỗ trợ ROCm trong Docker container:</li>
</ol>
<pre><code>docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm
</code></pre>

Vận hành Mô hình AI Cao cấp Ngay Trên Máy Tính Cá nhân

Vận hành Mô hình AI Cao cấp Ngay Trên Máy Tính Cá nhân Mục lục Lợi ích của việc phát triển và thử nghiệm với mô hình mã nguồn mở G...

tháng 8 07, 2024

Meta Trao Tặng Khoản Tài Trợ Llama Impact, Thúc Đẩy Phát Triển AI Nguồn Mở

<h2>Meta Trao Tặng Khoản Tài Trợ Llama Impact, Thúc Đẩy Phát Triển AI Nguồn Mở</h2>

<h3>Mục lục</h3>
<ol>
  <li><a href='#gioi-thieu'>Giới thiệu Chương trình Tài Trợ Llama Impact</a></li>
  <li><a href='#muc-tieu'>Mục Tiêu và Phạm Vi Tài Trợ</a></li>
  <li><a href='#su-kien'>Sự Kiện Hỗ Trợ và Giải Thưởng Đặc Biệt</a></li>
  <li><a href='#tam-nhin'>Tầm Nhìn Về AI Nguồn Mở của Meta</a></li>
  <li><a href='#ket-luan'>Kết Luận</a></li>
</ol>

<p>Meta chính thức công bố chương trình tài trợ nghiên cứu AI mới, tập trung vào việc ứng dụng sáng tạo và đột phá mô hình Llama 3.1. Động thái này khẳng định nỗ lực của Meta trong việc tối ưu hóa tiềm năng của AI trên nhiều lĩnh vực.</p>

<h3 id='gioi-thieu'>1. Giới thiệu Chương trình Tài Trợ Llama Impact</h3>

<p>Chương trình Llama Impact Grants của Meta đang chào đón các đề xuất ứng dụng những tính năng và khả năng mới nhất của mô hình ngôn ngữ lớn (LLM) Llama 3.1 vào các dự án mang lại tác động kinh tế và xã hội tích cực.</p>

<p>Llama 3.1 nổi bật với khả năng hỗ trợ nhiều ngôn ngữ hơn (bao gồm tiếng Pháp, Hindi, Ý, Bồ Đào Nha, Tây Ban Nha và Thái Lan). Đây là mô hình nguồn mở duy nhất có khả năng cạnh tranh với các mô hình AI hàng đầu về kiến thức chung, khả năng điều khiển, lập luận, toán học, sử dụng công cụ và dịch đa ngôn ngữ.</p>

<p>Tổng giá trị tài trợ của chương trình lên đến 2 triệu USD, được phân bổ cho các dự án xuất sắc nhất. Mỗi dự án có thể nhận được tối đa 500.000 USD, tùy thuộc vào đánh giá của hội đồng giám khảo.</p>

<h3 id='su-kien'>3. Sự Kiện Hỗ Trợ và Giải Thưởng Đặc Biệt</h3>

<p>Bên cạnh nguồn tài trợ, Meta cũng sẽ tổ chức một loạt sự kiện trên toàn thế giới nhằm cung cấp hướng dẫn kỹ thuật và cố vấn cho các ứng viên tiềm năng. Mỗi sự kiện sẽ tập trung vào một chủ đề cấp bách do các bên liên quan địa phương đề xuất, bao gồm các nhóm xã hội dân sự, doanh nghiệp, tổ chức phi chính phủ và nhà hoạch định chính sách. Các chủ đề bao gồm nông nghiệp, giải pháp kinh doanh quy mô lớn, công nghệ y tế, bảo tồn văn hóa,... </p>

<p>Người tham dự sự kiện sẽ có cơ hội nhận được giải thưởng đặc biệt lên đến 100.000 USD, bên cạnh việc được xem xét cho khoản tài trợ Llama Impact Grants chính.</p>

<h3 id='tam-nhin'>4. Tầm Nhìn Về AI Nguồn Mở của Meta</h3>

<p>Sáng kiến này là một phần trong nỗ lực của Meta nhằm thúc đẩy phát triển AI nguồn mở, đảm bảo hỗ trợ cho những ứng dụng khả thi và thiết thực nhất của công nghệ này.</p>

<p>Giám đốc điều hành Meta, Mark Zuckerberg, từng nhấn mạnh lợi ích của việc mở nguồn công nghệ AI: <i>'Tôi tin rằng mã nguồn mở là cần thiết cho một tương lai AI tích cực. AI có tiềm năng hơn bất kỳ công nghệ hiện đại nào khác để nâng cao năng suất, sự sáng tạo và chất lượng cuộc sống của con người, đồng thời thúc đẩy tăng trưởng kinh tế và mở ra những bước tiến trong nghiên cứu y học và khoa học. Nguồn mở sẽ đảm bảo rằng nhiều người trên thế giới được tiếp cận với những lợi ích và cơ hội của AI, quyền lực không tập trung vào tay một số ít công ty và công nghệ có thể được triển khai đồng đều và an toàn hơn trong xã hội.'</i></p>

<p>Chương trình Llama Impact Grants của Meta phù hợp với tầm nhìn về AI nguồn mở, đồng thời mang đến nhiều cơ hội hơn cho cả nhà phát triển và Meta trong việc phát triển dự án. Sẽ rất thú vị để chờ đón những dự án đột phá từ chương trình này và những cơ hội mới cho phát triển AI mà Meta khám phá ra.</p>

<img alt="Logo" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg">
`

Meta Trao Tặng Khoản Tài Trợ Llama Impact, Thúc Đẩy Phát Triển AI Nguồn Mở

Meta Trao Tặng Khoản Tài Trợ Llama Impact, Thúc Đẩy Phát Triển AI Nguồn Mở Mục lục Giới thiệu Chương trình Tài Trợ Llama Impact Mụ...

tháng 8 07, 2024

Trải nghiệm mới trên WhatsApp: Giao tiếp bằng giọng nói với Meta AI

<h2>Trải nghiệm mới trên WhatsApp: Giao tiếp bằng giọng nói với Meta AI</h2>

<h3>Mục lục:</h3>
<ul>
  <li><strong>Tích hợp sâu hơn Meta AI vào WhatsApp</strong></li>
  <li><strong>Cách thức hoạt động</strong></li>
  <li><strong>Mở rộng chương trình thử nghiệm beta</strong></li>
  <li><strong>Tương lai của việc chỉnh sửa ảnh bằng AI trên WhatsApp</strong></li>
</ul>

<h3>Tích hợp sâu hơn Meta AI vào WhatsApp</h3>
<p>Theo một báo cáo từ WABetaInfo, bản cập nhật beta mới nhất dành cho Android (2.24.16.10) đã giới thiệu khả năng người dùng chia sẻ tin nhắn thoại với chatbot AI.  Tính năng này hứa hẹn sẽ nâng cao trải nghiệm người dùng khi tương tác với trợ lý ảo Meta AI, đồng thời mở ra những khả năng mới cho việc điều khiển bằng giọng nói và phản hồi trên ứng dụng nhắn tin.</p>

<h3>Cách thức hoạt động</h3>
<p>Báo cáo cho biết, WhatsApp đang cho phép một số người dùng beta trên Android gửi tin nhắn thoại trực tiếp cho chatbot. Trước đây, người dùng chỉ có thể tương tác với chatbot bằng văn bản. Tính năng mới này cung cấp cách thức giao tiếp tự nhiên và hiệu quả hơn với trợ lý ảo.</p>
<p>Ảnh chụp màn hình trong bài báo cho thấy một nút gửi tin nhắn thoại đã được thêm vào giao diện trò chuyện trên phiên bản beta. Bằng cách kích hoạt lệnh thoại, WhatsApp đặt mục tiêu hợp lý hóa quy trình và cho phép người dùng chia sẻ thông tin hoặc đặt câu hỏi một cách nhanh chóng khi đang di chuyển. Công nghệ nhận dạng giọng nói tiên tiến của Meta AI sẽ đảm bảo chatbot hiểu chính xác tin nhắn thoại và có thể yêu cầu người dùng ghi âm lại nếu cần.</p>

<h3>Mở rộng chương trình thử nghiệm beta</h3>
<p>Chương trình beta của WhatsApp cũng đang phát triển mạnh mẽ khi Meta AI được triển khai rộng rãi hơn. Theo báo cáo, bản cập nhật mới nhất đã triển khai trợ lý ảo cho nhiều người dùng hơn, đặc biệt là ở Ấn Độ. </p>
<p>Ngoài chatbot Meta AI cốt lõi, người dùng có thể khám phá một loạt chatbot hỗ trợ AI khác thông qua AI Studio.</p>

<h3>Tương lai của việc chỉnh sửa ảnh bằng AI trên WhatsApp</h3>
<p>Gần đây, WhatsApp cũng đã bắt đầu phát triển một tính năng cho phép Meta AI trả lời và chỉnh sửa ảnh. Thông qua cải tiến này, người dùng sẽ có thể tương tác với ảnh của họ theo những cách thức mới bằng cách đặt câu hỏi cho Meta AI về nội dung trong ảnh, chẳng hạn như xác định đối tượng hoặc cung cấp ngữ cảnh. Điều này sẽ giúp người dùng chỉnh sửa và điều chỉnh ảnh trực tiếp trong cửa sổ trò chuyện, đơn giản hóa quy trình chia sẻ hình ảnh.</p>

Trải nghiệm mới trên WhatsApp: Giao tiếp bằng giọng nói với Meta AI

Trải nghiệm mới trên WhatsApp: Giao tiếp bằng giọng nói với Meta AI Mục lục: Tích hợp sâu hơn Meta AI vào WhatsApp Cách thức hoạt ...

tháng 8 06, 2024

Perplexity - Ứng dụng tìm kiếm AI chia sẻ doanh thu quảng cáo với các nhà xuất bản

Mạng RoCE cho huấn luyện AI phân tán quy mô lớn tại Meta

Perplexity Chia Sẻ Doanh Thu Quảng Cáo, Hợp Tác Cùng Các Nhà Xuất Bản

Vận hành Mô hình AI Cao cấp Ngay Trên Máy Tính Cá nhân

Meta Trao Tặng Khoản Tài Trợ Llama Impact, Thúc Đẩy Phát Triển AI Nguồn Mở

Trải nghiệm mới trên WhatsApp: Giao tiếp bằng giọng nói với Meta AI

Bài đăng phổ biến

Labels