Agent.ai.vn

Intel Arc A770 GPU: Hiệu năng AI ấn tượng trên Windows

<h2>Intel Arc A770 GPU: Hiệu năng AI ấn tượng trên Windows</h2>

<h3>Mục lục:</h3>
<ol>
  <li><strong>Giới thiệu</strong></li>
  <li><strong>Cài đặt trên Windows</strong></li>
  <li><strong>Sử dụng Intel Extension for PyTorch</strong></li>
  <li><strong>Thay đổi để đo lường hiệu năng</strong></li>
  <li><strong>Llama2</strong>
    <ul>
      <li>Chạy Llama2 7B trên Intel Arc A770 GPU</li>
      <li>Chạy Llama2 7B Chat trên Intel Arc A770 GPU</li>
    </ul>
  </li>
  <li><strong>Llama3</strong>
    <ul>
      <li>Chạy Llama3 8B trên Intel Arc A770 GPU</li>
      <li>Chạy Llama3 8B Instruct trên Intel Arc A770 GPU</li>
    </ul>
  </li>
  <li><strong>Phi3</strong>
    <ul>
      <li>Chạy Phi3 4K Instruct trên Intel Arc A770 GPU</li>
    </ul>
  </li>
  <li><strong>So sánh hiệu năng</strong></li>
  <li><strong>Kết luận</strong></li>
  <li><strong>Liên kết hữu ích</strong></li>
  <li><strong>Tài liệu tham khảo</strong></li>
</ol>

<h3>Giới thiệu</h3>

<p>Intel Arc A770 GPU là một lựa chọn cạnh tranh cho các tác vụ AI chuyên sâu, đặc biệt là đối với những người làm việc trong hệ sinh thái Windows. Trước đây, GPU NVIDIA và CUDA thống trị lĩnh vực này, nhưng sản phẩm mới nhất của Intel cung cấp một lựa chọn mạnh mẽ. Bài viết này cung cấp thông tin mới để giúp người dùng làm việc dễ dàng hơn với Arc A770 GPU trên Windows, không cần sử dụng Windows Subsystem for Linux (WSL). Qua các bước thực hành và những hiểu biết chi tiết, chúng tôi khám phá cách thiết lập và tối ưu hóa Arc A770 GPU cho các mô hình AI khác nhau, bao gồm Llama2, Llama3 và Phi3. Bài viết cũng bao gồm các số liệu hiệu năng và thống kê sử dụng bộ nhớ, cung cấp cái nhìn tổng quan về khả năng của GPU. Cho dù bạn là nhà phát triển hay nhà nghiên cứu, bài viết này sẽ trang bị cho bạn kiến thức để tận dụng GPU của Intel cho các dự án AI của mình một cách hiệu quả và hiệu quả.</p>

<h3>Cài đặt trên Windows</h3>

<p>Intel cung cấp hướng dẫn đầy đủ để cài đặt phần mở rộng Python cho Arc GPU. Tuy nhiên, việc thiết lập Arc A770 GPU trên Windows yêu cầu một số điều chỉnh và khắc phục sự cố ban đầu. Dưới đây là tóm tắt ngắn gọn về những điều chỉnh đó. Để biết hướng dẫn chi tiết, hãy tham khảo kho lưu trữ mẫu.</p>

<ul>
  <li>Do oneAPI yêu cầu thiết lập một số biến môi trường từ CMD, nên tôi khuyên bạn nên cài đặt phần mở rộng Pscx cho PowerShell, cho phép bạn dễ dàng gọi các tập lệnh CMD.</li>
  <li>Khi làm việc trên Windows với mamba, biến môi trường PATH có thể trở nên quá dài, gây ra sự cố khi thiết lập các biến môi trường oneAPI. Để tránh vấn đề này, tôi đã bao gồm một tập lệnh setup_vars.ps1 thiết lập các biến môi trường cần thiết cho oneAPI trong khi vẫn bỏ qua vấn đề này.</li>
  <li>Mẫu Phi3 yêu cầu cài đặt phiên bản trước phát hành của thư viện ipex-llm, triển khai tối ưu hóa cho tất cả các thao tác kernel của Phi3. Sau khi cài đặt thư viện này, bạn phải cài đặt lại thư viện transformers.</li>
</ul>

<h3>Sử dụng Intel Extension for PyTorch</h3>

<p>Như được nêu trong kho lưu trữ GitHub của nó, Intel® Extension for PyTorch mở rộng PyTorch với các tối ưu hóa tính năng cập nhật để tăng cường hiệu năng bổ sung trên phần cứng Intel. Cụ thể, nó cung cấp khả năng tăng tốc GPU dễ dàng cho GPU rời của Intel thông qua thiết bị PyTorch xpu. Điều này có nghĩa là, bằng cách sử dụng phần mở rộng này, bạn có thể tận dụng Intel Arc A770 GPU cho các tác vụ AI mà không cần dựa vào CUDA/NVIDIA, và bạn có thể nhận được sự gia tăng hiệu năng lớn hơn khi sử dụng một trong các mô hình được tối ưu hóa. May mắn thay, phần mở rộng tuân theo cùng API với PyTorch, vì vậy nói chung chỉ cần thực hiện một vài thay đổi trong mã để chạy nó trên GPU Intel. Dưới đây là tóm tắt ngắn gọn về những thay đổi cần thiết:</p>

<ul>
  <li><strong>Kiểm tra GPU:</strong> Thêm phần mở rộng Intel cho PyTorch và kiểm tra xem GPU có được phát hiện chính xác hay không. Thay đổi này không thực sự cần thiết, nhưng đó là một thực hành tốt để kiểm tra xem GPU có được phát hiện chính xác hay không trước khi chạy mô hình.</li>
  <li><strong>Di chuyển mô hình đến GPU:</strong> Sau khi mô hình được tải, hãy di chuyển nó đến GPU.</li>
  <li><strong>Di chuyển đầu vào đến GPU:</strong> Cuối cùng, khi sử dụng mô hình, hãy đảm bảo dữ liệu đầu vào cũng ở trên GPU.</li>
</ul>

<h3>Thay đổi để đo lường hiệu năng</h3>

<p>Để đo lường hiệu năng chính xác, tôi cũng đã thêm một số mã bổ sung để truy xuất tổng thời gian suy luận và phân bổ bộ nhớ tối đa. Nó chủ yếu bao gồm việc khởi động nóng mỗi mô hình trước khi thực hiện suy luận, cộng với một số mã bổ sung để chờ mô hình chạy và in kết quả theo cách dễ đọc. Hãy kiểm tra kho lưu trữ mẫu để biết thêm thông tin và để tái tạo kết quả trên máy của riêng bạn.</p>

<h3>Llama2</h3>

<p>Llama2 là lần lặp lại thứ hai của mô hình Llama LLM phổ biến và mã nguồn mở của Meta. Sau khi chuẩn bị môi trường và thực hiện các thay đổi được nêu trong phần trước cho các mẫu chính thức của Llama2, tôi đã có thể chạy mô hình Llama2 trên Intel Arc A770 GPU, cho cả suy luận thông thường và các tác vụ hướng dẫn.</p>

<h4>Chạy Llama2 7B trên Intel Arc A770 GPU</h4>

<p>Mô hình Llama2 7B sử dụng khoảng 14GB bộ nhớ khi sử dụng độ chính xác float16. Vì GPU có sẵn 16GB, nên chúng ta có thể chạy nó mà không gặp vấn đề gì. Dưới đây bạn có thể thấy kết quả của mẫu suy luận, sử dụng tối đa 128 mã thông báo trong đầu ra.</p>

<h4>Chạy Llama2 7B Chat trên Intel Arc A770 GPU</h4>

<p>Tương tự, kết quả trò chuyện của Llama2 7B thật ấn tượng, với mô hình tạo ra phản hồi giống con người theo cách trò chuyện. Mẫu trò chuyện chạy trơn tru trên Intel Arc A770 GPU, thể hiện khả năng của nó cho các ứng dụng trò chuyện. Trong trường hợp này, mẫu chạy với 512 mã thông báo trong đầu ra để tăng cường áp lực cho phần cứng.</p>

<h3>Llama3</h3>

<p>Llama3 là lần lặp lại mới nhất của mô hình Llama LLM của Meta, được phát hành cách đây vài tháng. May mắn thay, nhóm Intel đã vội vàng đưa tối ưu hóa mô hình vào phần mở rộng, vì vậy có thể tận dụng tối đa sức mạnh của Intel Arc A770 GPU. Quá trình này khá giống với quá trình được sử dụng cho Llama2, sử dụng cùng môi trường và các mẫu chính thức.</p>

<h4>Chạy Llama3 8B trên Intel Arc A770 GPU</h4>

<p>Mô hình Llama3 8B sử dụng khoảng hơn 15GB bộ nhớ khi sử dụng độ chính xác float16. Vì GPU có sẵn 16GB, nên chúng ta có thể chạy nó mà không gặp vấn đề gì. Dưới đây bạn có thể thấy kết quả của mẫu suy luận, sử dụng tối đa 64 mã thông báo trong đầu ra.</p>

<h4>Chạy Llama3 8B Instruct trên Intel Arc A770 GPU</h4>

<p>Theo sau các mẫu Llama2, tôi cũng đã thử nghiệm khả năng trò chuyện của mô hình Llama3 8B, tăng mã thông báo đầu ra lên 256.</p>

<p>Phi3 là mô hình mới nhất từ Microsoft, được phát hành vào ngày 24 tháng 4, được thiết kế cho các tác vụ hướng dẫn. Nó là một mô hình nhỏ hơn Llama2 và Llama3 (3,8B tham số là phiên bản nhỏ nhất), nhưng nó vẫn khá mạnh mẽ. Nó được đào tạo cho các tác vụ hướng dẫn, cung cấp phản hồi chi tiết và đầy đủ thông tin. Mặc dù tối ưu hóa Phi3 cho phần cứng Intel vẫn chưa được đưa vào Intel Extension for PyTorch, chúng ta có thể sử dụng thư viện của bên thứ ba, ipex-llm, để tối ưu hóa mô hình. Trong trường hợp này, vì Phi3 khá mới, để có được tối ưu hóa, tôi phải cài đặt phiên bản trước phát hành, triển khai tối ưu hóa cho tất cả các thao tác kernel của Phi3. Lưu ý rằng ipex-llm không phải là thư viện chính thức của Intel, mà là thư viện do cộng đồng điều khiển, vì vậy nó không được Intel hỗ trợ chính thức. Sau khi mô hình được tối ưu hóa, phần còn lại của các sửa đổi mã giống với Llama2 và Llama3, vì vậy tôi đã có thể chạy mô hình Phi3 trên Intel Arc A770 GPU mà không gặp vấn đề gì.</p>

<h4>Chạy Phi3 4K Instruct trên Intel Arc A770 GPU</h4>

<p>Mô hình 4K sử dụng khoảng 2,5GB bộ nhớ khi sử dụng độ chính xác 4 bit. Vì nó có ít tham số hơn nhiều so với các mô hình Llama, nên nó chạy nhanh hơn nhiều. Dưới đây bạn có thể thấy kết quả của mẫu suy luận, sử dụng tối đa 512 mã thông báo trong đầu ra.</p>

<p>Để đánh giá đầy đủ hiệu năng của Intel Arc A770 GPU, tôi đã tiến hành phân tích so sánh về thời gian thực thi và sử dụng bộ nhớ cho mỗi mô hình trên cả Intel Arc A770 GPU và NVIDIA RTX3080 TI. Các số liệu được thu thập bằng cách sử dụng các mẫu mã và cài đặt môi trường giống hệt nhau cho cả hai GPU, đảm bảo so sánh công bằng và chính xác.</p>

<h4>Intel ARC A770</h4>

<table>
  <thead>
    <tr>
      <th>Mô hình</th>
      <th>Mã thông báo đầu ra</th>
      <th>Thời gian thực thi</th>
      <th>Sử dụng bộ nhớ tối đa</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td>meta-llama/Llama-2-7b-hf</td>
      <td>128</td>
      <td>~7,7 giây</td>
      <td>~12,8GB</td>
    </tr>
    <tr>
      <td>meta-llama/Llama-2-7b-chat-hf</td>
      <td>512</td>
      <td>~22,1 giây</td>
      <td>~13,3GB</td>
    </tr>
    <tr>
      <td>meta-llama/Meta-Llama-3-8B</td>
      <td>64</td>
      <td>~11,5 giây</td>
      <td>~15,1GB</td>
    </tr>
    <tr>
      <td>meta-llama/Meta-Llama-3-8B-Instruct</td>
      <td>256</td>
      <td>~30,7 giây</td>
      <td>~15,2GB</td>
    </tr>
    <tr>
      <td>microsoft/Phi-3-mini-4k-instruct</td>
      <td>512</td>
      <td>~5,9 giây</td>
      <td>~2,6GB</td>
    </tr>
  </tbody>
</table>

<h4>NVIDIA RTX3080 TI</h4>

<table>
  <thead>
    <tr>
      <th>Mô hình</th>
      <th>Mã thông báo đầu ra</th>
      <th>Thời gian thực thi</th>
      <th>Sử dụng bộ nhớ tối đa</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td>meta-llama/Llama-2-7b-hf</td>
      <td>128</td>
      <td>~15,5 giây</td>
      <td>~12,8GB</td>
    </tr>
    <tr>
      <td>meta-llama/Llama-2-7b-chat-hf</td>
      <td>512</td>
      <td>~51,5 giây</td>
      <td>~13,3GB</td>
    </tr>
    <tr>
      <td>meta-llama/Meta-Llama-3-8B</td>
      <td>64</td>
      <td>~16,9 giây</td>
      <td>~15,1GB</td>
    </tr>
    <tr>
      <td>meta-llama/Meta-Llama-3-8B-Instruct</td>
      <td>256</td>
      <td>~66,7 giây</td>
      <td>~15,2GB</td>
    </tr>
    <tr>
      <td>microsoft/Phi-3-mini-4k-instruct</td>
      <td>512</td>
      <td>~16,7 giây</td>
      <td>~2,6GB</td>
    </tr>
  </tbody>
</table>

<p>Intel Arc A770 GPU đã chứng minh là một lựa chọn đáng chú ý cho tính toán AI trên máy Windows cục bộ, cung cấp một lựa chọn thay thế cho hệ sinh thái CUDA/NVIDIA. Khả năng của GPU để chạy hiệu quả các mô hình như Llama2, Llama3 và Phi3 thể hiện tiềm năng và khả năng hiệu năng mạnh mẽ của nó. Mặc dù gặp một số thách thức trong thiết lập ban đầu, nhưng quy trình này tương đối đơn giản và kết quả rất ấn tượng. Về bản chất, Intel Arc A770 GPU là một công cụ mạnh mẽ cho các ứng dụng AI trên Windows. Với một số thiết lập ban đầu và điều chỉnh mã, nó đã xử lý các tác vụ suy luận, trò chuyện và đào tạo một cách hiệu quả. Điều này mở ra những cơ hội mới cho các nhà phát triển và nhà nghiên cứu muốn hoặc cần làm việc trong môi trường Windows mà không cần dựa vào GPU NVIDIA và CUDA. Khi Intel tiếp tục nâng cao các sản phẩm GPU và hỗ trợ phần mềm của mình, Arc A770 và các mô hình trong tương lai được định hướng để trở thành những người chơi quan trọng trong cộng đồng AI.</p>

<ul>
  <li>Các mẫu mã được sử dụng trong bài viết này có thể được tìm thấy trong kho lưu trữ GitHub IntelArcA770.</li>
  <li>Dưới đây là một số tài nguyên mà tôi thấy rất cần thiết để đi sâu hơn vào hệ sinh thái phần cứng & thư viện của Intel cho các tác vụ AI.
    <ul>
      <li>Kênh YouTube của Intel</li>
      <li>Thư viện Tech.Decoded</li>
      <li>Christian Mills - Kiểm tra GPU Intel Arc A770 cho Học máy sâu</li>
      <li>Tổng quan về SYCL - The Khronos Group Inc</li>
      <li>Tài liệu chính thức - PyTorch* Optimizations from Intel</li>
      <li>Công cụ và tài nguyên của Intel AI Developer</li>
    </ul>
  </li>
</ul>

<ul>
  <li>Mẫu mã GitHub - intel/intel-extension-for-pytorch: Một gói Python để mở rộng PyTorch chính thức có thể dễ dàng đạt được hiệu năng trên nền tảng Intel</li>
  <li>Intel® Extension for PyTorch* - Tài liệu Intel Extension for PyTorch* 2.1.30+xpu</li>
  <li>Suy luận Llama 2 với PyTorch trên GPU Intel® Arc™ A-Series</li>
  <li>ipex-llm/python/llm/example/GPU/HF-Transformers-AutoModels/Model/phi-3 tại main · intel-analytics/ipex-llm · GitHub</li>
</ul>

<p>
  javier carneron<br>
  Tác giả: Javier Carneron<br>
  Plain Concepts Research<br>
  <a href="https://www.linkedin.com/in/javier-carneron-994b1a143/">LinkedIn</a><br>
  <a href="https://twitter.com/javier_carneron">Twitter</a><br>
  <a href="https://www.plainconcepts.com/">Web</a><br>
  <img alt="Plain Concepts Logo" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg">
</p>

Intel Arc A770 GPU: Hiệu năng AI ấn tượng trên Windows

Intel Arc A770 GPU: Hiệu năng AI ấn tượng trên Windows Mục lục: Giới thiệu Cài đặt trên Windows Sử dụng Intel Extension for PyT...

tháng 7 24, 2024

Meta AI giới thiệu mô hình Llama-3 với 405 tỷ tham số

<h2>Meta AI giới thiệu mô hình Llama-3 với 405 tỷ tham số</h2>

<h3>Mục lục:</h3>
<ol>
  <li><strong>Mô hình Llama-3: Khả năng và Tiềm năng</strong></li>
  <li><strong>Truy cập và Sử dụng Llama-3</strong></li>
  <li><strong>Meta Premium: Gói dịch vụ độc quyền</strong></li>
  <li><strong>Meta AI: Tầm nhìn và Mục tiêu</strong></li>
</ol>

<h3>1. Mô hình Llama-3: Khả năng và Tiềm năng</h3>

<p>Meta AI đang giới thiệu mô hình Llama-3 với 405 tỷ tham số cho một số người dùng thử nghiệm. Mô hình này được cho là có khả năng xử lý ngôn ngữ tự nhiên cực kỳ ấn tượng, và đang được kỳ vọng sẽ cách mạng hóa các ứng dụng AI trong tương lai.</p>

<p>Thông tin rò rỉ cho thấy mô hình Llama-3 đã được chia sẻ trên HuggingFace, với kích thước lên tới 800GB, cho phép người dùng tải xuống và chạy cục bộ. Điều này cho thấy tiềm năng ứng dụng rộng rãi của mô hình này trong nhiều lĩnh vực khác nhau.</p>

<h3>2. Truy cập và Sử dụng Llama-3</h3>

<p>Hiện tại, người dùng có thể truy cập Llama-3 thông qua một widget được tích hợp vào cổng Meta AI. Tuy nhiên, mô hình hiện chưa được cung cấp cho người dùng ở EU và việc sử dụng VPN để truy cập cũng chưa được xác nhận.</p>

<h3>3. Meta Premium: Gói dịch vụ độc quyền</h3>

<p>Theo dự kiến, Llama-3 sẽ là một tính năng độc quyền của gói dịch vụ Meta Premium sắp ra mắt. Điều này có thể là một động lực thúc đẩy người dùng đăng ký dịch vụ cao cấp, và cung cấp quyền truy cập vào các công nghệ AI tiên tiến nhất.</p>

<p>Meta AI, một bộ phận của Meta, tập trung vào việc thúc đẩy lĩnh vực trí tuệ nhân tạo thông qua nghiên cứu và phát triển. Nhóm nghiên cứu của Meta AI đang làm việc trên nhiều công nghệ và ứng dụng AI khác nhau, bao gồm xử lý ngôn ngữ tự nhiên, thị giác máy tính và robot học. Mục tiêu của Meta AI là phá vỡ giới hạn của AI và mang lại những giải pháp sáng tạo cho cộng đồng.</p>

<p>Meta AI hy vọng rằng việc phát triển các mô hình quy mô lớn như Llama-3 sẽ góp phần nâng cao trải nghiệm người dùng trên các nền tảng của họ và thúc đẩy sự phát triển của cộng đồng AI nói chung.</p>

Meta AI giới thiệu mô hình Llama-3 với 405 tỷ tham số

Meta AI giới thiệu mô hình Llama-3 với 405 tỷ tham số Mục lục: Mô hình Llama-3: Khả năng và Tiềm năng Truy cập và Sử dụng Llama-3 ...

tháng 7 24, 2024

Thu hẹp AI khổng lồ, mở ra cánh cửa cho máy tính cá nhân và điện thoại thông minh

<h2>Thu hẹp AI khổng lồ, mở ra cánh cửa cho máy tính cá nhân và điện thoại thông minh</h2>

<h3>Mục lục:</h3>
<ol>
  <li><strong>Bước tiến mới trong nén mô hình ngôn ngữ lớn (LLM)</strong></li>
  <li><strong>Hai kỹ thuật đột phá: AQLM và PV-Tuning</strong></li>
  <li><strong>Kết hợp sức mạnh: Tạo ra LLM siêu nhỏ gọn</strong></li>
  <li><strong>Thách thức và tiềm năng của LLM thu nhỏ</strong></li>
  <li><strong>Ứng dụng tiềm năng cho thiết bị cá nhân</strong></li>
  <li><strong>Kết luận: Tương lai của AI trên thiết bị cá nhân</strong></li>
</ol>

<h3>1. Bước tiến mới trong nén mô hình ngôn ngữ lớn (LLM)</h3>

<p>Các nhà nghiên cứu trí tuệ nhân tạo đến từ Yandex LLC và NeuralMagic Inc. đã đạt được tiến bộ đáng kể trong việc nén các mô hình ngôn ngữ lớn (LLM) mạnh mẽ như Llama 2 của Meta Platforms Inc., giúp chúng có thể được triển khai trên các thiết bị thông thường như điện thoại thông minh và loa thông minh.</p>

<h3>2. Hai kỹ thuật đột phá: AQLM và PV-Tuning</h3>

<p>Hợp tác với các học giả từ Viện Khoa học và Công nghệ Áo và Đại học Khoa học và Công nghệ Vua Abdullah, nhóm nghiên cứu đã tạo ra hai phương pháp nén riêng biệt cho LLM. Khi được sử dụng kết hợp, chúng cho phép giảm kích thước của LLM xuống 8 lần, đồng thời duy trì chất lượng phản hồi ở mức trung bình 95%.</p>

<p>Hai kỹ thuật này là:</p>

<ul>
  <li><strong>Additive Quantization for Language Models (AQLM):</strong> Sử dụng kỹ thuật lượng tử hóa cộng thêm để giảm số lượng bit cho mỗi tham số mô hình xuống còn 2-3 bit, đồng thời duy trì độ chính xác.</li>
  <li><strong>PV-Tuning:</strong>  Là một khung công tác độc lập với biểu diễn, có thể tổng quát hóa và cải thiện các chiến lược tinh chỉnh hiện có cho mô hình AI. Nó cũng khắc phục các lỗi có thể phát sinh trong quá trình nén mô hình.</li>
</ul>

<p>Mặc dù mỗi kỹ thuật đều mạnh mẽ riêng lẻ, nhưng điểm độc đáo là chúng được thiết kế để kết hợp với nhau. Nhóm nghiên cứu đã phát hiện ra rằng việc kết hợp AQLM và PV-Tuning có thể tạo ra các LLM siêu nhỏ gọn gần như ngang bằng với các phiên bản đầy đủ kích thước.</p>

<h3>4. Thách thức và tiềm năng của LLM thu nhỏ</h3>

<p>Nỗ lực của các nhà nghiên cứu được thúc đẩy bởi mong muốn tìm kiếm một cách hiệu quả hơn để triển khai LLM trên phần cứng của người tiêu dùng. Cho đến nay, đây là một thách thức lớn do sự đánh đổi cố hữu giữa kích thước mô hình và hiệu quả tính toán.</p>

<p>Andy Thurai, Phó chủ tịch và nhà phân tích chính của Constellation Research Inc., nhận định rằng mặc dù các LLM lớn nhất là những kỳ tích kỹ thuật ấn tượng, nhưng chúng thường không thực tế do kích thước khổng lồ. Kích thước của chúng khiến chúng tốn kém về mặt tính toán và phản hồi chậm, cản trở các ứng dụng thời gian thực. Đây là lý do tại sao khái niệm về các mô hình có kích thước phù hợp đang trở nên phổ biến.</p>

<p>Một số công ty AI đã cố gắng tự thu nhỏ các mô hình AI của họ, nhưng thách thức là đạt được sự cân bằng phù hợp giữa hiệu suất và kích thước. Ví dụ, dòng LLM Gemini của Google LLC bao gồm một phiên bản nhẹ được gọi là Gemini Nano để triển khai trên điện thoại thông minh, nhưng nó gặp khó khăn trong việc đạt được hiệu suất của LLM Gemini Ultra đầy đủ, các nhà nghiên cứu Yandex cho biết.</p>

<h3>5. Ứng dụng tiềm năng cho thiết bị cá nhân</h3>

<p>Bằng cách áp dụng kỹ thuật AQLM và PV-Tuning, các nhà nghiên cứu tuyên bố rằng việc đánh đổi này không còn cần thiết. Trong bài báo của họ, họ chứng minh hiệu quả của các kỹ thuật trong đánh giá nghiêm ngặt về các LLM nguồn mở phổ biến, bao gồm Llama 2, Mistral và Mixtral. Ba mô hình này đã được nén trước khi được đánh giá trên các điểm chuẩn tạo văn bản tiếng Anh WikiText2 và C4, và chúng duy trì chất lượng câu trả lời ấn tượng là 95%, mặc dù đã bị nén 8 lần so với kích thước ban đầu.</p>

<p>Ngoài ra, các nhà nghiên cứu cho biết, các phiên bản nén của các LLM nguồn mở đó có thể hoạt động nhanh hơn tới 4 lần, vì chúng yêu cầu ít phép tính hơn. Do đó, chúng có thể đưa ra phản hồi nhanh hơn nhiều so với các mô hình đầy đủ kích thước, với độ chính xác gần như tương đương.</p>

<p>Theo các nhà nghiên cứu, các công ty muốn phát triển và triển khai LLM độc quyền và nguồn mở có thể sử dụng các kỹ thuật của họ để hưởng lợi từ việc tiết kiệm tài nguyên đáng kể. Ví dụ, họ cho biết mô hình Llama 2 với 13 tỷ tham số có thể được nén để chạy trên chỉ một đơn vị xử lý đồ họa (GPU), thay vì 4 GPU cho phiên bản đầy đủ kích thước, chưa nén.</p>

<p>Điều đó dẫn đến việc giảm chi phí phần cứng từ 2 đến 6 lần, các nhà nghiên cứu cho biết. Quan trọng hơn, nó mở đường cho các LLM lớn nhất và mạnh nhất được triển khai trên các thiết bị tiêu dùng như máy tính cá nhân và điện thoại thông minh.</p>

<h3>6. Kết luận: Tương lai của AI trên thiết bị cá nhân</h3>

<p>Thurai cho biết các nhà nghiên cứu đưa ra một số tuyên bố ấn tượng, nhưng nhấn mạnh sự cần thiết phải triển khai các kỹ thuật của họ trong các mô hình lớn hơn nhiều, chẳng hạn như mô hình GPT-3.5 Turbo 175 tỷ tham số của OpenAI. Họ cần chứng minh cách các mô hình lượng tử hóa của họ có thể hoạt động chống lại các mô hình lớn hơn nhiều này nếu họ muốn thành công thực sự, nhà phân tích cho biết. Nếu chúng tương đương trong chỉ số chất lượng mô hình đầu ra, đây sẽ là một thành tựu tuyệt vời.</p>

<p>Khả năng triển khai các LLM đầy đủ kích thước trên các thiết bị nhỏ hơn sẽ mở ra cánh cửa cho các ứng dụng mới. Ví dụ, một điện thoại thông minh chạy Llama 2 đã nén với 13 tỷ tham số sẽ có thể thực hiện tạo văn bản và hình ảnh, trợ lý giọng nói, khuyến nghị cá nhân hóa và dịch thuật thời gian thực mà không cần kết nối internet.</p>

<p>Cuối cùng, nếu tất cả điều này thành công, các LLM lớn nhất có thể cuối cùng chạy trên CPU thay vì GPU rất đắt tiền và nguồn cung hạn chế, Thurai cho biết.</p>

<p>Các nhà nghiên cứu cho biết bài báo của họ sẽ được giới thiệu tại Hội nghị Quốc tế lần thứ 41 về Học máy tại Vienna, Áo, diễn ra từ ngày 21 đến 27 tháng 7.</p>

<p>AQLM và PV-Tuning đều có sẵn để tải xuống trên GitHub, trong khi một số phiên bản nén sẵn của các mô hình nguồn mở phổ biến có thể được truy cập từ HuggingFace.</p>

Thu hẹp AI khổng lồ, mở ra cánh cửa cho máy tính cá nhân và điện thoại thông minh

Thu hẹp AI khổng lồ, mở ra cánh cửa cho máy tính cá nhân và điện thoại thông minh Mục lục: Bước tiến mới trong nén mô hình ngôn ngữ l...

tháng 7 24, 2024

AI trong Nhạc: Một cái nhìn khác

<html lang='vi'>
<head>
  <meta charset='UTF-8'>
  <meta name='viewport' content='width=device-width, initial-scale=1.0'>
  <title>AI trong Nhạc: Một cái nhìn khác</title>
  <style>
    body {
      font-family: sans-serif;
    }
    h2, h3 {
      margin-top: 2rem;
    }
    p {
      margin-bottom: 1rem;
    }
  </style>
</head>
<body>
  <h2>AI trong Nhạc: Một cái nhìn khác</h2>
  <h3>Mục lục</h3>
  <ol>
    <li>AI đang tạo ra những công cụ âm nhạc tuyệt vời nhưng...</li>
    <li>Thách thức khi nói về AI và nhạc với học sinh</li>
    <li>Sự thật về AI trong sáng tạo nghệ thuật</li>
    <li>AI là công cụ hỗ trợ học tập nhạc lý</li>
    <li>Khám phá MIDI và khả năng của AI trong tạo nhạc</li>
    <li>Kết quả thử nghiệm với ChatGPT và Claude</li>
    <li>AI: Cơ hội học hỏi và những bài học cần rút kinh nghiệm</li>
  </ol>
  <h3>AI đang tạo ra những công cụ âm nhạc tuyệt vời nhưng...</h3>
  <p>Tôi đã dành nhiều thời gian để khám phá và thử nghiệm các công cụ AI từ khi công nghệ này bùng nổ. Nhiều công cụ như <a href="https://suno.com">suno.com</a> thực sự khiến tôi kinh ngạc với khả năng tạo ra bản nhạc hoàn chỉnh từ lời nhắc văn bản. Những công nghệ khác như <a href="https://moises.ai">moises</a> cho phép tách một file âm thanh đã được mix hoàn chỉnh thành các stem (các track riêng lẻ như trống, bass, guitar, vocal, v.v.).</p>
  <p>Tuy nhiên, tôi cũng nhận thấy một xu hướng: thiếu vắng các tùy chọn miễn phí. Hầu hết các công cụ này đều cung cấp thời gian dùng thử miễn phí, nhưng phần lớn không có gói miễn phí với chức năng hạn chế. Áp lực về doanh thu đang thúc đẩy việc cường điệu hóa khả năng thực sự của các công nghệ này.</p>
  <h3>Thách thức khi nói về AI và nhạc với học sinh</h3>
  <p>Hôm thứ Bảy, tôi nhận được yêu cầu từ David Stein, một cộng tác viên thường xuyên tại Duke, để thuyết trình cho các học sinh trung học về AI trong âm nhạc vào thứ Hai. Các em đang tham gia một chương trình về AI tại Duke trong mùa hè này. Nói về âm nhạc và AI? Chắc chắn rồi!</p>
  <p>Tuy nhiên, tôi nhận ra rằng mình cần một cách tiếp cận phù hợp với lứa tuổi. Tôi không muốn sử dụng các công cụ yêu cầu nền tảng cụ thể hoặc cần đăng ký. Tôi đã tìm kiếm các phần mềm DAW (Digital Audio Workstation) vừa miễn phí vừa hỗ trợ plugin AI, có thể chạy trên cả Windows và Mac.</p>
  <h3>Sự thật về AI trong sáng tạo nghệ thuật</h3>
  <p>Tôi bắt đầu suy nghĩ về điều tôi muốn truyền đạt cho các em. Tôi không muốn nói rằng: Chỉ cần dùng Suno và bạn có thể sáng tác nhạc. Bởi vì tôi không coi mình là một nghệ sĩ chỉ vì tôi có thể sử dụng Dall-E để tạo ra những hình ảnh đẹp. Tôi cũng không muốn nói: Tại sao phải học nhạc khi robot sẽ làm tất cả mọi thứ trong tương lai? Đó không phải là tinh thần của âm nhạc. Ít nhất là với tôi.</p>
  <p>Âm nhạc, cũng như mọi loại hình nghệ thuật, là về trải nghiệm cá nhân của con người. Sáng tạo và đặc biệt là thưởng thức nghệ thuật là những hành động độc đáo của con người. Máy móc không tạo ra nghệ thuật. Con người gõ những lời nhắc sáng tạo, hoặc viết code trong Maya có thể tạo ra những bộ phim tuyệt vời (gợi nhớ đến thời gian làm việc tại Disney của tôi). Máy móc hỗ trợ sáng tạo nghệ thuật, nhưng chúng không thể tạo ra nghệ thuật, và chúng sẽ không bao giờ có thể cảm nhận hay tin tưởng như con người.</p>
  <h3>AI là công cụ hỗ trợ học tập nhạc lý</h3>
  <p>Vậy, tôi sẽ nói gì với các học sinh? AI là một công cụ. Nó có thể được sử dụng để học hỏi và mở rộng khả năng tiếp cận, hiểu biết về âm nhạc. Hãy lấy bài hát yêu thích của bạn và đưa nó vào moises để nghe tiếng trống, tiếng bass, v.v.</p>
  <p>Hãy thử MIDI – nó miễn phí và hoạt động trên hầu hết các DAW, bao gồm cả Garageband, có thể chạy trên điện thoại của bạn.</p>
  <p>Giống như nhiều người bạn đồng trang lứa, tôi luôn gặp khó khăn trong việc hiểu nhạc lý. Mặc dù đã học piano 4 học kỳ, kỹ năng chơi của tôi rất tệ. Tôi có thể đọc về các mode, scale, và cấu trúc hợp âm, nhưng tôi không thể thực sự chơi chúng để nghe kết quả của việc lựa chọn các nốt nhạc khác nhau.</p>
  <p>MIDI và AI mang đến cho học sinh khả năng đó. Bạn có thể sử dụng chatbot AI như <a href="https://chat.openai.com/">ChatGPT</a> hoặc <a href="https://www.anthropic.com/claude/">Claude</a> để tạo ra code Python và sử dụng thư viện trong Python để tạo ra file MIDI. Đó là điều tôi sẽ nói về, nhưng giống như hầu hết các thứ liên quan đến AI – nó hoạt động rất tốt và cũng rất khủng khiếp.</p>
  <h3>Khám phá MIDI và khả năng của AI trong tạo nhạc</h3>
  <p>Với thời gian hạn chế, tôi sẽ giới thiệu cách sử dụng AI để tạo nội dung hỗ trợ việc học.</p>
  <p>ChatGPT là công cụ tôi sử dụng thường xuyên từ khi bắt đầu hành trình này. Nó đã khiến tôi thất vọng trong trường hợp này, nhưng tôi sẽ tiếp tục thử nghiệm. Nó giúp tôi nhớ cách cài đặt Python và khắc phục sự cố, nhưng khả năng sáng tạo của nó khá tệ. Bất kể tôi đưa ra lời nhắc nào, và tôi đã yêu cầu nó cho tôi biết cách tôi có thể giúp nó tạo ra đầu ra tốt hơn, đầu ra MIDI luôn là 4 nốt lên, 4 nốt xuống và lặp lại. Sau đó, nó đi chệch hướng.</p>
  <p>Michael Faber, đồng nghiệp của tôi, người cũng đã thử nghiệm AI một cách đáng kinh ngạc, đã ca ngợi Claude. Vì tôi bị giới hạn về thời gian và GPT không hoạt động, tôi quyết định thử Claude. Liệu nó có tuyệt vời? Nó đã làm tốt hơn trong việc không tạo ra lỗi Python và dường như lắng nghe tốt hơn khi tôi yêu cầu nó thay đổi. Đây là video hiển thị đầu ra cuối cùng của mỗi công cụ:</p>
  <p>Cả hai đều không xuất sắc (thật thú vị là Claude cũng tạo ra giai điệu lên xuống bậc thang nhưng đã thay đổi một chút khi được yêu cầu, trong khi GPT thì không). Bạn có thể thấy mẫu đó trong bassline của Claude:</p>
  <h3>Kết quả thử nghiệm với ChatGPT và Claude</h3>
  <p>Bằng cách thử nghiệm tạo MIDI qua AI, học sinh sẽ học hỏi về tạo code và khắc phục sự cố, MIDI và nhạc lý – cũng như bài học rằng không phải thứ gì lấp lánh cũng là vàng trong vũ trụ AI.</p>
  <h3>AI: Cơ hội học hỏi và những bài học cần rút kinh nghiệm</h3>
  <p>Bằng cách tiếp cận AI một cách thực tế và không quá kỳ vọng, chúng ta có thể khai thác tiềm năng của nó để hỗ trợ việc học và sáng tạo nghệ thuật. Tuy nhiên, cần nhớ rằng AI chỉ là một công cụ, và chúng ta phải luôn chủ động trong việc điều khiển và kiểm soát nó.</p>
  <img alt="Logo" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg">
</body>
</html>

AI trong Nhạc: Một cái nhìn khác

AI trong Nhạc: Một cái nhìn khác AI trong Nhạc: Một cái nhìn khác Mục lục AI đang tạo ra những công cụ âm nhạ...

tháng 7 23, 2024

Trí tuệ nhân tạo: Công cụ kiến tạo tương lai

<html lang='vi'>
<head>
  <meta charset='UTF-8'>
  <meta name='viewport' content='width=device-width, initial-scale=1.0'>
  <title>Trí tuệ nhân tạo: Công cụ kiến tạo tương lai</title>
</head>
<body>
  <h1>Trí tuệ nhân tạo: Công cụ kiến tạo tương lai</h1>
  <h2>Mục lục:</h2>
  <ol>
    <li><strong>Trí tuệ nhân tạo trong y tế</strong>
      <ul>
        <li>Phát hiện và chẩn đoán sớm</li>
        <li>Nâng cao chất lượng chăm sóc bệnh nhân</li>
      </ul>
    </li>
    <li><strong>Trí tuệ nhân tạo trong giao thông vận tải</strong>
      <ul>
        <li>Xe tự lái</li>
        <li>Cơ sở hạ tầng thông minh</li>
      </ul>
    </li>
    <li><strong>Trí tuệ nhân tạo trong cuộc sống hàng ngày</strong>
      <ul>
        <li>Nhà thông minh</li>
        <li>Gợi ý cá nhân hóa</li>
      </ul>
    </li>
    <li><strong>Trí tuệ nhân tạo trong kinh doanh</strong>
      <ul>
        <li>Hiệu quả hoạt động</li>
        <li>Đổi mới và lợi thế cạnh tranh</li>
      </ul>
    </li>
    <li><strong>Những cân nhắc về đạo đức</strong></li>
    <li><strong>Kết luận</strong></li>
  </ol>
  <h2>1. Trí tuệ nhân tạo trong y tế</h2>
  <p>Trí tuệ nhân tạo (AI) đang tạo ra những bước tiến đột phá trong lĩnh vực y tế, hứa hẹn mang lại sự hiệu quả, chính xác và cá nhân hóa hơn cho hệ thống chăm sóc sức khỏe.</p>
  <h3>Phát hiện và chẩn đoán sớm:</h3>
  <ul>
    <li>Các thuật toán AI được thiết kế để phân tích khối lượng dữ liệu y tế khổng lồ một cách nhanh chóng và chính xác hơn so với phương pháp truyền thống, giúp phát hiện sớm các bệnh như ung thư, Alzheimer và tiểu đường.</li>
    <li>Các công cụ AI hỗ trợ chụp X-quang và MRI để xác định các bất thường.</li>
    <li>Dự đoán phân tích để dự báo các đợt bùng phát dịch bệnh.</li>
    <li>Genomics tiên tiến cho y học cá nhân hóa.</li>
  </ul>
  <h3>Nâng cao chất lượng chăm sóc bệnh nhân:</h3>
  <ul>
    <li>Ngoài việc chẩn đoán, AI đang cách mạng hóa cách chăm sóc bệnh nhân. Các thuật toán học máy có thể phát triển các kế hoạch điều trị cá nhân hóa bằng cách phân tích hồ sơ bệnh nhân, di truyền và các dữ liệu liên quan khác.</li>
    <li>Trợ lý sức khỏe ảo cung cấp hỗ trợ theo thời gian thực.</li>
    <li>Hệ thống phân phối thuốc tự động để giảm thiểu lỗi của con người.</li>
    <li>Nền tảng y tế từ xa được hỗ trợ bởi AI cho các cuộc tư vấn từ xa.</li>
  </ul>
  <h2>2. Trí tuệ nhân tạo trong giao thông vận tải</h2>
  <p>Ngành giao thông vận tải đang được hưởng lợi rất nhiều từ công nghệ AI, với lời hứa mang đến những chuyến đi an toàn, nhanh chóng và hiệu quả hơn.</p>
  <h3>Xe tự lái:</h3>
  <ul>
    <li>Xe tự lái không còn là chuyện viễn tưởng. Với sự tích hợp của AI, những chiếc xe này có thể di chuyển trong môi trường đô thị phức tạp, tiềm năng giảm thiểu các vụ tai nạn do lỗi của con người.</li>
    <li>Phân tích dữ liệu giao thông thời gian thực để tối ưu hóa tuyến đường.</li>
    <li>Hệ thống hỗ trợ lái xe tiên tiến (ADAS) để tăng cường an toàn.</li>
    <li>Khả năng tự đỗ xe để giảm ùn tắc.</li>
  </ul>
  <h3>Cơ sở hạ tầng thông minh:</h3>
  <ul>
    <li>AI đang đóng vai trò quan trọng trong việc phát triển cơ sở hạ tầng thông minh, nâng cao hiệu quả giao thông vận tải tổng thể.</li>
    <li>Hệ thống đèn giao thông thông minh thích nghi với điều kiện thời gian thực.</li>
    <li>Bảo trì dự đoán cho đường sá và cầu để phòng ngừa tai nạn.</li>
    <li>Hệ thống giao thông công cộng được tăng cường bởi AI để lập lịch trình và phục vụ tốt hơn.</li>
  </ul>
  <h2>3. Trí tuệ nhân tạo trong cuộc sống hàng ngày</h2>
  <p>Ngoài những ứng dụng chuyên ngành, AI ngày càng trở thành một phần trong các hoạt động hàng ngày của chúng ta, nâng cao sự tiện lợi, hiệu quả và chất lượng cuộc sống.</p>
  <h3>Nhà thông minh:</h3>
  <ul>
    <li>Những ngôi nhà được trang bị công nghệ AI mang đến mức độ tiện lợi và an ninh chưa từng có.</li>
    <li>Trợ lý kích hoạt bằng giọng nói như Alexa và Google Home.</li>
    <li>Hệ thống điều khiển nhiệt độ và chiếu sáng thông minh để tiết kiệm năng lượng.</li>
    <li>Hệ thống an ninh gia đình tự động với nhận dạng khuôn mặt.</li>
  </ul>
  <h3>Gợi ý cá nhân hóa:</h3>
  <ul>
    <li>Từ nền tảng phát trực tuyến đến mua sắm trực tuyến, AI nâng cao trải nghiệm người dùng bằng cách cung cấp các đề xuất cá nhân hóa.</li>
    <li>Nội dung được tuyển chọn trên Netflix, Spotify và YouTube dựa trên sở thích của người dùng.</li>
    <li>Trải nghiệm mua sắm được thiết kế riêng trên các nền tảng thương mại điện tử như Amazon.</li>
    <li>Luồng tin tức và dòng thời gian mạng xã hội được cá nhân hóa.</li>
  </ul>
  <h2>4. Trí tuệ nhân tạo trong kinh doanh</h2>
  <p>Trong thế giới kinh doanh, AI đang chứng minh là một yếu tố thay đổi cuộc chơi bằng cách tối ưu hóa hoạt động, thúc đẩy đổi mới và cải thiện sự gắn kết của khách hàng.</p>
  <h3>Hiệu quả hoạt động:</h3>
  <ul>
    <li>Các doanh nghiệp đang tận dụng AI để hợp lý hóa quy trình, giảm chi phí hoạt động và cải thiện năng suất.</li>
    <li>Tối ưu hóa chuỗi cung ứng thông qua phân tích dự đoán.</li>
    <li>Trò chuyện tự động cho khách hàng để giải quyết nhanh chóng.</li>
    <li>Ra quyết định dựa trên dữ liệu để quản lý tài nguyên tốt hơn.</li>
  </ul>
  <h3>Đổi mới và lợi thế cạnh tranh:</h3>
  <ul>
    <li>Các công ty sử dụng AI thường dẫn đầu trong đổi mới, tạo ra lợi thế cạnh tranh trong các ngành nghề tương ứng.</li>
    <li>Nghiên cứu và phát triển do AI hỗ trợ cho các dòng sản phẩm mới.</li>
    <li>Phân tích thị trường nâng cao để nhắm mục tiêu và phân khúc tốt hơn.</li>
    <li>Các chiến dịch tiếp thị thông minh giúp tăng ROI.</li>
  </ul>
  <h2>5. Những cân nhắc về đạo đức</h2>
  <p>Trong khi lợi ích của AI rất lớn, việc giải quyết các vấn đề về đạo đức đi kèm với việc áp dụng AI là điều cần thiết. Các vấn đề như quyền riêng tư dữ liệu, định kiến thuật toán và tác động đến việc làm phải được xem xét kỹ lưỡng.</p>
  <ul>
    <li>Đảm bảo tính minh bạch và trách nhiệm giải trình trong các thuật toán AI.</li>
    <li>Bảo vệ dữ liệu người dùng khỏi bị vi phạm và lạm dụng.</li>
    <li>Phát triển các chính sách để giảm thiểu tình trạng mất việc làm.</li>
  </ul>
  <h2>6. Kết luận</h2>
  <p>Tương lai của AI chắc chắn đầy hứa hẹn, với tiềm năng biến đổi mọi khía cạnh của cuộc sống con người. Khi chúng ta tiếp tục đổi mới và tích hợp AI vào các lĩnh vực khác nhau, điều quan trọng là phải luôn ghi nhớ những cân nhắc về đạo đức và phấn đấu cho một cách tiếp cận cân bằng. Từ y tế đến giao thông vận tải, từ cuộc sống hàng ngày đến kinh doanh, những khả năng là vô hạn và hành trình mới chỉ bắt đầu.</p>
  <img alt="Logo" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg">
</body>
</html>

Trí tuệ nhân tạo: Công cụ kiến tạo tương lai

Trí tuệ nhân tạo: Công cụ kiến tạo tương lai Trí tuệ nhân tạo: Công cụ kiến tạo tương lai Mục lục: Trí tuệ nhân ...

tháng 7 23, 2024

Hệ thống Tăng cường Lời Nhắc (PAS): Cách tối ưu hóa hiệu suất mô hình ngôn ngữ lớn

<html lang='vi'>
<head>
    <meta charset='UTF-8'>
    <meta name='viewport' content='width=device-width, initial-scale=1.0'>
    <title>Hệ thống Tăng cường Lời Nhắc (PAS): Cách tối ưu hóa hiệu suất mô hình ngôn ngữ lớn</title>
</head>
<body>
    <h1>Hệ thống Tăng cường Lời Nhắc (PAS): Cách tối ưu hóa hiệu suất mô hình ngôn ngữ lớn</h1>
    
    <h2>Mục lục:</h2>
    <ol>
        <li><strong>Khó khăn trong kỹ thuật lời nhắc:</strong>
            <ul>
                <li>Lời nhắc nhạy cảm với cách thức diễn đạt</li>
                <li>Kỹ thuật lời nhắc khác nhau cho kết quả khác nhau</li>
            </ul>
        </li>
        <li><strong>Hệ thống Tăng cường Lời Nhắc (PAS):</strong>
            <ul>
                <li>Giải pháp plug-and-play để tự động chọn kỹ thuật lời nhắc tối ưu</li>
                <li>Cấu trúc của PAS:
                    <ul>
                        <li>Bộ dữ liệu bổ sung lời nhắc</li>
                        <li>Mô hình tăng cường lời nhắc dựa trên LLM</li>
                    </ul>
                </li>
            </ul>
        </li>
        <li><strong>Quá trình tạo bộ dữ liệu:</strong>
            <ul>
                <li>Thu thập lời nhắc chất lượng cao từ các nguồn uy tín</li>
                <li>Sử dụng thuật toán phân cụm và nhúng để nhóm và loại bỏ trùng lặp</li>
                <li>Sử dụng LLM để phân loại lời nhắc vào các danh mục</li>
                <li>Tạo lời nhắc mới thông qua kỹ thuật học ít lần</li>
                <li>Đánh giá và cải thiện chất lượng lời nhắc</li>
            </ul>
        </li>
        <li><strong>Cách hoạt động của PAS:</strong>
            <ul>
                <li>Tự động tạo lời nhắc bổ sung để nâng cao lời nhắc gốc</li>
                <li>Tương thích với các ứng dụng LLM khác nhau</li>
            </ul>
        </li>
        <li><strong>Kết quả thử nghiệm:</strong>
            <ul>
                <li>PAS đạt hiệu quả cao hơn so với các phương pháp truyền thống</li>
                <li>Cải thiện đáng kể điểm hiệu suất trên các bộ dữ liệu đánh giá</li>
                <li>Sử dụng bộ dữ liệu nhỏ hơn so với các phương pháp khác</li>
                <li>Tương thích với nhiều mô hình và nhiệm vụ khác nhau</li>
            </ul>
        </li>
        <li><strong>Ứng dụng của PAS:</strong>
            <ul>
                <li>Tăng cường hiệu suất của các mô hình LLM nhỏ được tối ưu hóa cho nhiệm vụ cụ thể</li>
                <li>Nâng cao hiệu quả của các mô hình LLM mạnh mẽ hơn</li>
            </ul>
        </li>
    </ol>
    
    <p><strong>Kỹ thuật lời nhắc</strong> (Prompt engineering) là một tập hợp các phương pháp giúp cải thiện khả năng của các mô hình ngôn ngữ lớn (LLM). Tuy nhiên, việc lựa chọn kỹ thuật lời nhắc phù hợp cho mỗi lời nhắc cụ thể đòi hỏi kiến thức chuyên môn và có thể tốn nhiều thời gian.</p>
    
    <p>Các nhà nghiên cứu tại Đại học Bắc Kinh và Baichuan đã giới thiệu <strong>Hệ thống Tăng cường Lời Nhắc (PAS)</strong>, một kỹ thuật giúp cải thiện hiệu suất của LLM bằng cách tự động lựa chọn kỹ thuật lời nhắc tốt nhất cho mỗi đầu vào. PAS hoạt động như một giải pháp plug-and-play và tương thích với nhiều LLM khác nhau, giúp người dùng dễ dàng tận dụng kỹ thuật lời nhắc.</p>
    
    <p>Một trong những thách thức chính trong kỹ thuật lời nhắc là <strong>sự nhạy cảm của LLM đối với cách thức diễn đạt của lời nhắc</strong>. Một thay đổi nhỏ trong cách diễn đạt lời nhắc có thể thay đổi đáng kể đầu ra của LLM, ngay cả khi ý định của người dùng vẫn giữ nguyên.</p>
    
    <p>PAS được cấu tạo từ hai phần chính: <strong>bộ dữ liệu bổ sung lời nhắc</strong> và <strong>mô hình tăng cường lời nhắc dựa trên LLM</strong>. Bộ dữ liệu chứa các cặp lời nhắc gốc và phiên bản được cải thiện, được tạo ra và tinh chỉnh tự động thông qua một quy trình nhiều bước. Mô hình tăng cường lời nhắc sau đó được huấn luyện trên bộ dữ liệu này để học cách nâng cao các lời nhắc mới.</p>
    
    <p>Để tạo bộ dữ liệu, các nhà nghiên cứu đã thu thập lời nhắc chất lượng cao từ hai nguồn được quản lý cẩn thận: bộ dữ liệu LMSYS-1M và bộ dữ liệu WildChat. Họ sử dụng mô hình nhúng và thuật toán phân cụm để nhóm các ví dụ và loại bỏ bản sao và lời nhắc quá giống nhau. Tiếp theo, họ sử dụng LLM để chọn lời nhắc chất lượng cao nhất và phân loại chúng thành 14 danh mục (ví dụ: trả lời câu hỏi và mã hóa).</p>
    
    <p>Sau đó, các nhà nghiên cứu sử dụng kỹ thuật học ít lần để tự động tạo lời nhắc mới cho mỗi danh mục, sử dụng một tập hợp nhỏ các ví dụ làm hướng dẫn. Họ sử dụng một lời nhắc học ít lần khác để đánh giá chất lượng của các lời nhắc được tạo ra. Các ví dụ kém chất lượng sau đó được gửi lại bước tạo để cải thiện.</p>
    
    <p>Bộ dữ liệu bổ sung lời nhắc, bao gồm khoảng 9.000 cặp chất lượng cao, có thể được sử dụng để tinh chỉnh một LLM nhỏ hơn, phục vụ như là cơ sở của mô hình PAS. Khi người dùng cung cấp một lời nhắc gốc cho PAS, mô hình tự động tạo ra một lời nhắc bổ sung để nâng cao lời nhắc gốc mà không thay đổi nó, hướng dẫn LLM mục tiêu tạo ra đầu ra chính xác và phù hợp hơn. Một trong những ưu điểm chính của PAS là khả năng kết nối với bất kỳ ứng dụng LLM nào, cho dù nó sử dụng API đóng hoặc mô hình mã nguồn mở chạy trên máy chủ của bạn.</p>
    
    <p>Các nhà nghiên cứu đã đánh giá PAS trên ba bộ dữ liệu chuẩn: Arena-hard, Alpaca-Eval 2.0 và Alpaca-Eval 2.0 (LC). Đây là các bộ dữ liệu chuẩn thử nghiệm khả năng của LLM trong một loạt các nhiệm vụ, từ hiểu ngôn ngữ đến các vấn đề suy luận phức tạp.</p>
    
    <p>Họ đã huấn luyện các phiên bản 7 tỷ tham số của Qwen-2 và LLaMA-2 trên bộ dữ liệu bổ sung lời nhắc và sử dụng chúng làm mô hình PAS để nâng cao các lời nhắc được cung cấp cho các mô hình lớn hơn như GPT-4, Qwen2-72B và Llama-3-70B.</p>
    
    <p>Trên cả ba bộ dữ liệu chuẩn, các mô hình được hướng dẫn bởi PAS đều có hiệu suất vượt trội so với các mô hình cơ sở không tăng cường lời nhắc. Trung bình, PAS cải thiện điểm hiệu suất thêm 8 điểm. Đặc biệt, khi áp dụng cho GPT-4-0613, PAS dẫn đến cải thiện trung bình 11,46 điểm.</p>
    
    <p>Các đánh giá cũng cho thấy PAS đạt được hiệu suất với bộ dữ liệu nhỏ hơn đáng kể so với các phương pháp hiện đại khác. Trong khi các phương pháp trước đây yêu cầu tối đa 170.000 ví dụ để huấn luyện, PAS đạt được kết quả tương tự hoặc tốt hơn với chỉ 9.000 ví dụ.</p>
    
    <p>Điều quan trọng là PAS vừa là LLM-agnostic vừa là task-agnostic, có nghĩa là nó có thể được áp dụng cho các mô hình và nhiệm vụ khác nhau mà không yêu cầu tùy chỉnh cụ thể cho nhiệm vụ.</p>
    
    <p>PAS có thể là một công cụ rất hữu ích cho các đường ống LLM, nơi bạn có các mô hình nhỏ được tối ưu hóa cho một nhiệm vụ cụ thể. Mô hình PAS có thể giúp bạn khai thác tối đa các mô hình mạnh mẽ hơn của bạn.</p>
    
    <img alt="PAS Logo" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg">
</body>
</html>

Hệ thống Tăng cường Lời Nhắc (PAS): Cách tối ưu hóa hiệu suất mô hình ngôn ngữ lớn

Hệ thống Tăng cường Lời Nhắc (PAS): Cách tối ưu hóa hiệu suất mô hình ngôn ngữ lớn Hệ thống Tăng cường Lời Nhắc (PA...

tháng 7 23, 2024

Intel Arc A770 GPU: Hiệu năng AI ấn tượng trên Windows

Meta AI giới thiệu mô hình Llama-3 với 405 tỷ tham số

Thu hẹp AI khổng lồ, mở ra cánh cửa cho máy tính cá nhân và điện thoại thông minh

AI trong Nhạc: Một cái nhìn khác

Trí tuệ nhân tạo: Công cụ kiến tạo tương lai

Hệ thống Tăng cường Lời Nhắc (PAS): Cách tối ưu hóa hiệu suất mô hình ngôn ngữ lớn

Bài đăng phổ biến

Labels