Agent.ai.vn

CPU: Lựa chọn hiệu quả cho ứng dụng Generative AI

<h2>CPU: Lựa chọn hiệu quả cho ứng dụng Generative AI</h2>
<h3>Mục lục:</h3>
<ol>
  <li>RAG với Vector Embeddings trên CPU</li>
  <li>Hiệu suất: Chạy mô hình Embeddings trên CPU</li>
  <li>Lời chứng thực</li>
  <li>Bắt đầu</li>
  <li>Tài liệu tham khảo</li>
</ol>
<h3>1. RAG với Vector Embeddings trên CPU</h3>
<p>Retrieval Augmented Generation (RAG) là phương pháp phổ biến để cá nhân hóa phản hồi của mô hình ngôn ngữ lớn (LLM) bằng dữ liệu tùy chỉnh. Hầu hết các công ty bắt đầu với mô hình ngôn ngữ lớn được đào tạo sẵn và sau đó tăng cường phản hồi bằng dữ liệu phù hợp với doanh nghiệp mà không cần phải tinh chỉnh lại toàn bộ mô hình LLM. RAG hiện nay là kỹ thuật phổ biến được các kỹ sư AI sử dụng để tăng cường tính phù hợp của mô hình trong môi trường dữ liệu đang phát triển nhanh chóng, nhờ vào tính linh hoạt và dễ triển khai.</p>
<p>Để thực hiện RAG, các công ty cần xác định chiến lược vector embeddings của mình. Sử dụng embeddings là một cách để biểu diễn dữ liệu: Lấy dữ liệu đầu vào, chẳng hạn như PDF và tệp văn bản, và chuyển đổi chúng sang định dạng số với các mối quan hệ ngữ nghĩa. Những vector ở định dạng số này được lưu trữ trong cơ sở dữ liệu vector, chẳng hạn như Oracle 23 AI hoặc Chroma DB, và cần một mô hình LLM chuyên biệt về embeddings để thực hiện nhiệm vụ. Mô hình LLM Embeddings thường có kích thước nhỏ (dưới 1 GB), khiến CPU trở thành lựa chọn cơ sở hạ tầng tiết kiệm chi phí và năng lượng.</p>
<h3>2. Hiệu suất: Chạy mô hình Embeddings trên CPU</h3>
<p>Chúng tôi đã thực hiện đánh giá hiệu suất mở rộng sử dụng CPU Ampere A1 được tối ưu hóa. Sử dụng 80 lõi A1, chúng tôi có thể xử lý 1 GB dữ liệu văn bản embeddings trong vòng chưa đầy 7 phút, tương đương khoảng 1,4 đô la cho 10 GB vector hóa dữ liệu. Với tính toán phù hợp và khả năng sẵn có trên toàn cầu của Ampere A1, bạn có thể triển khai một instance OCI Compute trong khu vực lựa chọn và điều chỉnh quy mô dung lượng CPU một cách linh hoạt dựa trên nhu cầu embeddings của bạn.</p>
<h3>3. Lời chứng thực</h3>
<p>Là một phần trong cam kết đổi mới và khai thác giá trị của CPU trong lĩnh vực Generative AI, OCI và Ampere Computing đang tích cực làm việc để mở rộng hỗ trợ kịch bản với khách hàng và đối tác hệ sinh thái:</p>
<ul>
  <li><strong>Lampi AI:</strong> Guillaume Couturas, CEO của Lampi, chia sẻ: Tại Lampi, chúng tôi cam kết mạnh mẽ với hiệu quả và tính bền vững trong triển khai AI ở quy mô sản xuất. Cách tiếp cận kết hợp của chúng tôi sử dụng CPU thay cho GPU cho nhiều quy trình kinh doanh giúp hợp tác của chúng tôi với OCI và Ampere Computing trở nên có giá trị. Thực tế, trong khi hiệu suất của GPU ấn tượng đối với suy luận trực tiếp và tốc độ thực thi, chúng tôi tin rằng nhiều nhiệm vụ AI có thể được phân bổ cho CPU hiệu quả năng lượng hơn, xét rằng nhiều quy trình kinh doanh không yêu cầu suy luận tức thời và có thể được quản lý hiệu quả bằng AI theo cách bất đồng bộ, bao gồm cả ứng dụng RAG. Để minh họa điều này, trên nền tảng của chúng tôi chạy với Ampere A1 trên OCI, một tác nhân AI lý luận có thể thực hiện phân tích thị trường toàn diện, bao gồm nhiều truy vấn thông qua đường ống RAG, chỉ trong 5 phút 31 giây. Ngay cả trên GPU, quy trình tác nhân thường kéo dài thời gian cần thiết để có được câu trả lời, xét đến số lượng suy luận từ tác nhân thực hiện nhiều tìm kiếm. Tương tự, các tác nhân AI được giám sát chạy trên CPU có thể được hình dung để tự động thực hiện các nhiệm vụ hàng tuần trùng lặp dựa trên RAG, chẳng hạn như phân tích danh mục đầu tư hàng tháng, đánh giá hiệu suất, phân loại bản ghi, phân tích phản hồi của khách hàng và nghiên cứu thị trường. Khi chúng ta đứng trên bờ vực của một kỷ nguyên mới trong AI và điện toán, chúng tôi cho rằng hợp tác của chúng ta là một bản thiết kế cho ngành AI và các công ty để phân bổ sức mạnh tính toán hiệu quả hơn, chứng minh rằng có thể đạt được sự xuất sắc về công nghệ mà không ảnh hưởng đến tính toàn vẹn môi trường.</li>
  <li><strong>Wallaroo AI:</strong> Younes Amar, Phó chủ tịch sản phẩm tại Wallaroo, chia sẻ: Wallaroo có thể cho phép triển khai và quản lý các mô hình embeddings có sẵn trên bảng HuggingFace, trực tiếp trên Ampere, mà không cần bất kỳ thao tác phần cứng hoặc cơ sở hạ tầng nào. Ngoài ra, khả năng tự động hóa khối lượng công việc suy luận và bộ công cụ tích hợp của Wallaroo cung cấp hỗ trợ cho hầu hết các cơ sở dữ liệu vector hiện nay, làm phong phú cơ sở dữ liệu vector với nhiều ngữ cảnh và embeddings, theo yêu cầu và theo lịch trình, khi dữ liệu mới có sẵn. Kết quả là, các nhà khoa học dữ liệu và kỹ sư AI xây dựng và triển khai LLM trong sản xuất có thể đảm bảo vòng phản hồi chặt chẽ và liên tục cải thiện chất lượng của LLM chạy trong sản xuất với khối lượng hoạt động thấp. Trong tháng tới, chúng tôi sẽ công bố giải pháp RAG LLM đầy đủ bao gồm điểm cuối suy luận trực tiếp để cung cấp năng lượng cho các trường hợp sử dụng chatbot thời gian thực và làm phong phú cơ sở dữ liệu ngữ cảnh bằng cách sử dụng cơ sở dữ liệu vector. Chúng tôi có kế hoạch tận dụng tích hợp llama-cpp đầy đủ của chúng tôi trên Ampere và 23ai của Oracle để đảm bảo sự tương thích của Wallaroo với hệ sinh thái dữ liệu và AI trong OCI và làm nổi bật hiệu quả hoạt động mà chúng tôi có thể mang lại với sự tích hợp này.</li>
</ul>
<h3>4. Bắt đầu</h3>
<p>Để bắt đầu với Ampere trên OCI, khách hàng hiện tại có thể khởi chạy hình ảnh hệ điều hành tùy chỉnh trong Oracle Cloud Marketplace với cả hỗ trợ Oracle Linux và Ubuntu. Hình ảnh được đóng gói với các ứng dụng bao gồm giao diện người dùng trò chuyện để giúp bạn triển khai và xác thực các LLM OSS như Llama 3 8B trên instance Ampere.</p>
<h3>5. Tài liệu tham khảo</h3>
<ul>
  <li>Democratizing Generative AI with CPU-based Inference</li>
  <li>Introducing Meta Llama 3 on OCI Ampere A1: A testament to CPU-Based Model Inference</li>
  <li>LLM Inference with Ampere-based OCI A1 Product Page (amperecomputing.com)</li>
  <li>Benchmark scripts to reproduce the performance results and public access to optimized llama.cpp Ampere containers</li>
</ul>
<img alt="Logo" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg">

CPU: Lựa chọn hiệu quả cho ứng dụng Generative AI

CPU: Lựa chọn hiệu quả cho ứng dụng Generative AI Mục lục: RAG với Vector Embeddings trên CPU Hiệu suất: Chạy mô hình Embeddings tr...

tháng 6 28, 2024

NinjaTech AI: Tương lai của các tác nhân năng suất với NinjaLLM và AWS Trainium

<html>
<head>
  <title>NinjaTech AI: Tương lai của các tác nhân năng suất với NinjaLLM và AWS Trainium</title>
  <style>
    body {
      font-family: sans-serif;
    }
    h1, h2, h3 {
      text-align: center;
    }
    ul {
      list-style: none;
      padding: 0;
    }
    li {
      margin-bottom: 10px;
    }
    a {
      color: blue;
      text-decoration: none;
    }
    a:hover {
      text-decoration: underline;
    }
  </style>
</head>
<body>
  <h1>NinjaTech AI: Tương lai của các tác nhân năng suất với NinjaLLM và AWS Trainium</h1>
  <h2>Mục lục</h2>
  <ul>
    <li><a href="#introduction">1. Giới thiệu về NinjaTech AI</a></li>
    <li><a href="#dataset">2. Xây dựng bộ dữ liệu</a></li>
    <li><a href="#fine-tuning">3. Điều chỉnh tốt trên Trainium</a></li>
    <li><a href="#evaluation">4. Đánh giá mô hình</a></li>
    <li><a href="#future-work">5. Công việc trong tương lai</a></li>
    <li><a href="#conclusion">6. Kết luận</a></li>
    <li><a href="#authors">7. Về các tác giả</a></li>
  </ul>

<h2 id='introduction'>1. Giới thiệu về NinjaTech AI</h2>
  <p>NinjaTech AI có sứ mệnh giúp mọi người năng suất hơn bằng cách xử lý các tác vụ phức tạp, tốn thời gian với các tác nhân trí tuệ nhân tạo (AI) nhanh chóng và giá cả phải chăng. Chúng tôi đã ra mắt MyNinja.ai, một trong những trợ lý AI cá nhân đa tác nhân đầu tiên trên thế giới, để hướng tới sứ mệnh của mình. MyNinja.ai được xây dựng từ đầu sử dụng các tác nhân chuyên biệt có khả năng hoàn thành các tác vụ thay mặt bạn, bao gồm lên lịch cuộc họp, tiến hành nghiên cứu chuyên sâu từ web, tạo mã và hỗ trợ viết. Những tác nhân này có thể phân chia các tác vụ phức tạp, nhiều bước thành các giải pháp phân nhánh và có khả năng đánh giá động các giải pháp được tạo ra trong khi liên tục học hỏi từ những trải nghiệm trước đó. Tất cả các tác vụ này được thực hiện hoàn toàn tự động và bất đồng bộ, giải phóng bạn để tiếp tục công việc trong ngày trong khi Ninja làm việc ở chế độ nền và tham gia khi cần đầu vào của bạn.</p>

<h2 id='dataset'>2. Xây dựng bộ dữ liệu</h2>
  <p>Chúng tôi nhận ra sớm rằng để thực hiện sứ mệnh xử lý các tác vụ thay mặt người dùng, chúng tôi cần nhiều mô hình được tối ưu hóa cho các tác vụ cụ thể. Ví dụ bao gồm các mô hình Deep Researcher, Deep Coder và Advisor của chúng tôi. Sau khi thử nghiệm các mô hình mã nguồn mở có sẵn, chúng tôi cảm thấy rằng các khả năng và phản hồi ngoài hộp không đủ với kỹ thuật nhắc nhở để đáp ứng nhu cầu của chúng tôi. Cụ thể, trong thử nghiệm với các mô hình mã nguồn mở, chúng tôi muốn đảm bảo mỗi mô hình được tối ưu hóa cho kiểu nhắc nhở ReAct/chuỗi suy nghĩ. Ngoài ra, chúng tôi muốn đảm bảo rằng mô hình, khi được triển khai như một phần của hệ thống Tạo nội dung được tăng cường thu thập (RAG), sẽ trích dẫn chính xác mỗi nguồn, cũng như bất kỳ sự thiên vị nào về việc nói Tôi không biết thay vì tạo ra câu trả lời sai. Vì mục đích đó, chúng tôi đã chọn tinh chỉnh các mô hình cho các tác vụ hạ nguồn khác nhau.</p>
  <p>Trong việc xây dựng bộ dữ liệu đào tạo của chúng tôi, mục tiêu của chúng tôi là kép: thích nghi mỗi mô hình cho tác vụ và nhân vật hạ nguồn phù hợp của nó (Nhà nghiên cứu, Cố vấn, Lập trình viên, v.v.) và thích nghi các mô hình để tuân theo cấu trúc đầu ra cụ thể. Để đạt được điều đó, chúng tôi đã tuân theo phương pháp Lima để tinh chỉnh. Chúng tôi đã sử dụng kích thước mẫu đào tạo khoảng 20 triệu mã thông báo, tập trung vào định dạng và giọng điệu của đầu ra trong khi sử dụng kích thước mẫu tương đối nhỏ nhưng đa dạng. Để xây dựng bộ dữ liệu tinh chỉnh có giám sát của chúng tôi, chúng tôi đã bắt đầu bằng cách tạo các tác vụ hạt giống ban đầu cho mỗi mô hình. Với những tác vụ hạt giống này, chúng tôi đã tạo ra một bộ dữ liệu tổng hợp ban đầu bằng cách sử dụng mô hình Llama 2 của Meta. Chúng tôi có thể sử dụng bộ dữ liệu tổng hợp để thực hiện vòng tinh chỉnh ban đầu. Để đánh giá ban đầu hiệu suất của mô hình được tinh chỉnh này, chúng tôi đã thu thập phản hồi từ người dùng để tạo thêm mẫu theo cách lặp lại. Chúng tôi cũng đã sử dụng một loạt các điểm chuẩn - nội bộ và công khai - để đánh giá hiệu suất của mô hình và tiếp tục lặp lại.</p>

<h2 id='fine-tuning'>3. Điều chỉnh tốt trên Trainium</h2>
  <p>Chúng tôi đã chọn bắt đầu với các mô hình Llama cho một mô hình cơ sở được đào tạo trước vì một số lý do: đáng chú ý nhất là hiệu suất ngoài hộp tuyệt vời, hỗ trợ hệ sinh thái mạnh mẽ từ nhiều thư viện và giấy phép thực sự mã nguồn mở và cho phép. Vào thời điểm đó, chúng tôi bắt đầu với Llama 2, thử nghiệm trên các kích cỡ khác nhau (7B, 13B và 70B). Đối với đào tạo, chúng tôi đã chọn sử dụng cụm các trường hợp trn1.32xlarge để tận dụng các chip Trainium. Chúng tôi đã sử dụng cụm 32 trường hợp để song song hóa hiệu quả quá trình đào tạo. Chúng tôi cũng đã sử dụng AWS ParallelCluster để quản lý dàn dựng cụm. Bằng cách sử dụng cụm các trường hợp Trainium, mỗi lần lặp tinh chỉnh mất ít hơn 3 giờ, với chi phí dưới 1.000 đô la. Thời gian lặp nhanh và chi phí thấp này cho phép chúng tôi nhanh chóng điều chỉnh và thử nghiệm các mô hình của mình và cải thiện độ chính xác của mô hình. Để đạt được độ chính xác được thảo luận trong các phần sau, chúng tôi chỉ phải chi khoảng 30.000 đô la, tiết kiệm hàng trăm nghìn, thậm chí hàng triệu đô la nếu chúng tôi phải đào tạo trên các bộ gia tốc đào tạo truyền thống.</p>
  <p>Sơ đồ sau minh họa kiến trúc đào tạo của chúng tôi.</p>
  <p>Sau khi chúng tôi đã thiết lập các đường ống tinh chỉnh của mình được xây dựng trên Trainium, chúng tôi có thể tinh chỉnh và hoàn thiện các mô hình của mình nhờ các thư viện đào tạo phân tán Neuron. Điều này cực kỳ hữu ích và kịp thời, bởi vì trước khi ra mắt MyNinja.ai, các mô hình Llama 3 của Meta đã được phát hành. Llama 3 và Llama 2 có kiến trúc tương tự, vì vậy chúng tôi có thể nhanh chóng nâng cấp lên mô hình mới hơn. Tốc độ chuyển đổi này cho phép chúng tôi tận dụng những lợi ích vốn có về độ chính xác của mô hình và rất nhanh chóng chạy qua một vòng tinh chỉnh khác với trọng số Llama 3 và chuẩn bị cho việc ra mắt.</p>

<h2 id='evaluation'>4. Đánh giá mô hình</h2>
  <p>Để đánh giá mô hình, có hai mục tiêu: đánh giá khả năng của mô hình trong việc trả lời các câu hỏi của người dùng và đánh giá khả năng của hệ thống trong việc trả lời các câu hỏi với các nguồn được cung cấp, bởi vì đây là giao diện chính của trợ lý AI cá nhân của chúng tôi. Chúng tôi đã chọn bộ dữ liệu HotPotQA và Natural Questions (NQ) Open, cả hai đều phù hợp vì bộ dữ liệu đánh giá so sánh mở của chúng với bảng xếp hạng công khai.</p>
  <p>Chúng tôi đã tính toán độ chính xác bằng cách so sánh câu trả lời của mô hình với câu trả lời dự kiến, sử dụng 10 đoạn văn bản hàng đầu được thu thập từ kho lưu trữ Wikipedia. Chúng tôi đã thực hiện lọc nội dung và xếp hạng bằng cách sử dụng ColBERTv2, một mô hình thu thập dựa trên BERT. Chúng tôi đã đạt được độ chính xác 62,22% trên bộ dữ liệu NQ Open và 58,84% trên HotPotQA bằng cách sử dụng mô hình RAG Llama 3 nâng cao của chúng tôi, chứng minh những cải thiện đáng kể so với các mô hình cơ sở khác. Hình sau tóm tắt kết quả của chúng tôi.</p>

<h2 id='future-work'>5. Công việc trong tương lai</h2>
  <p>Nhìn về phía trước, chúng tôi đang làm việc trên một số phát triển để tiếp tục cải thiện hiệu suất và trải nghiệm người dùng của mô hình. Đầu tiên, chúng tôi dự định sử dụng ORPO để tinh chỉnh các mô hình của mình. ORPO kết hợp tinh chỉnh truyền thống với sự phù hợp ưu tiên, trong khi sử dụng một bộ dữ liệu phù hợp ưu tiên duy nhất cho cả hai. Chúng tôi tin rằng điều này sẽ cho phép chúng tôi liên kết tốt hơn các mô hình để đạt được kết quả tốt hơn cho người dùng.</p>
  <p>Ngoài ra, chúng tôi dự định xây dựng một mô hình tổng hợp tùy chỉnh từ nhiều mô hình mà chúng tôi đã tinh chỉnh cho đến nay. Lấy cảm hứng từ kiến trúc mô hình Hỗn hợp chuyên gia (MoE), chúng tôi dự định giới thiệu một lớp định tuyến cho các mô hình khác nhau của mình. Chúng tôi tin rằng điều này sẽ đơn giản hóa đáng kể kiến trúc phục vụ và mở rộng mô hình của chúng tôi, đồng thời duy trì chất lượng trong các tác vụ khác nhau mà người dùng của chúng tôi mong đợi từ trợ lý AI cá nhân của mình.</p>

<h2 id='conclusion'>6. Kết luận</h2>
  <p>Xây dựng các tác nhân AI thế hệ tiếp theo để giúp mọi người năng suất hơn là con đường của NinjaTech AI để đạt được sứ mệnh của mình. Để dân chủ hóa quyền truy cập vào công nghệ biến đổi này, điều quan trọng là phải có quyền truy cập vào máy tính hiệu năng cao, các mô hình mã nguồn mở và một hệ sinh thái các công cụ giúp đào tạo mỗi tác nhân mới có giá cả phải chăng và nhanh chóng. Các chip AI được chế tạo đặc biệt của AWS, quyền truy cập vào các mô hình mã nguồn mở hàng đầu và kiến trúc đào tạo của nó giúp điều này trở thành hiện thực.</p>
  <p>Để tìm hiểu thêm về cách chúng tôi đã xây dựng AI cá nhân đa tác nhân của NinjaTech AI, bạn có thể đọc sách trắng của chúng tôi. Bạn cũng có thể thử các tác nhân AI này miễn phí tại MyNinja.ai.</p>

<h2 id='authors'>7. Về các tác giả</h2>
  <p>* Arash Sadrieh là Đồng sáng lập và Giám đốc Khoa học tại Ninjatech.ai. Arash đồng sáng lập Ninjatech.ai với tầm nhìn giúp mọi người năng suất hơn bằng cách xử lý các tác vụ tốn thời gian với các tác nhân AI. Tầm nhìn này được hình thành trong thời gian ông làm Khoa học gia Ứng dụng Cấp cao tại AWS, nơi ông đã thúc đẩy các sáng kiến nghiên cứu chính giúp cải thiện hiệu quả cơ sở hạ tầng trong hơn sáu năm, giúp ông nhận được nhiều bằng sáng chế cho việc tối ưu hóa cơ sở hạ tầng cốt lõi. Bối cảnh học thuật của ông bao gồm Tiến sĩ về mô hình hóa và mô phỏng máy tính, với sự hợp tác với các tổ chức danh tiếng như Đại học Oxford, Đại học Sydney và CSIRO. Trước khi làm việc trong ngành, Arash đã có một nhiệm kỳ nghiên cứu sau tiến sĩ được đánh dấu bởi các ấn phẩm trên các tạp chí có ảnh hưởng cao, bao gồm Nature Communications.</p>
  <p>* Tahir Azim là Kỹ sư phần mềm cao cấp tại NinjaTech. Tahir tập trung vào các nền tảng đào tạo và suy luận dựa trên Inf2 và Trn1 của NinjaTech, cổng thông tin thống nhất để truy cập vào các nền tảng này và kỹ năng nghiên cứu dựa trên RAG của nó. Trước đây, ông đã làm việc tại Amazon với tư cách là kỹ sư phần mềm cao cấp, xây dựng các hệ thống dựa trên dữ liệu để sử dụng tối ưu cơ sở hạ tầng cạnh mạng Internet toàn cầu của Amazon, giảm chi phí, tắc nghẽn và độ trễ. Trước khi chuyển sang ngành công nghiệp, Tahir đã nhận bằng Thạc sĩ và Tiến sĩ Khoa học Máy tính từ Đại học Stanford, dạy học trong ba năm với tư cách là trợ lý giáo sư tại NUST (Pakistan) và làm nghiên cứu sau tiến sĩ về các hệ thống phân tích dữ liệu nhanh tại EPFL. Tahir đã viết một số ấn phẩm được trình bày tại các hội nghị hàng đầu như VLDB, USENIX ATC, MobiCom và MobiHoc.</p>
  <p>* Tengfei Xue là Khoa học gia Ứng dụng tại NinjaTech AI. Các lĩnh vực nghiên cứu hiện tại của ông bao gồm xử lý ngôn ngữ tự nhiên và học đa phương thức, đặc biệt là sử dụng các mô hình ngôn ngữ lớn và các mô hình đa phương thức lớn. Tengfei đã hoàn thành nghiên cứu Tiến sĩ của mình tại Trường Khoa học Máy tính, Đại học Sydney, nơi ông tập trung vào học sâu cho chăm sóc sức khỏe bằng cách sử dụng nhiều phương thức khác nhau. Ông cũng là ứng viên Tiến sĩ thỉnh giảng tại Phòng thí nghiệm Toán học trong Hình ảnh (LMI) tại Đại học Harvard, nơi ông làm việc về thị giác máy tính 3D cho dữ liệu hình học phức tạp.</p>
  <img alt="Logo NinjaTech AI" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg">
</body>
</html>

NinjaTech AI: Tương lai của các tác nhân năng suất với NinjaLLM và AWS Trainium

NinjaTech AI: Tương lai của các tác nhân năng suất với NinjaLLM và AWS Trainium NinjaTech AI: Tương lai của các tác nhân năng ...

tháng 6 28, 2024

Mark Zuckerberg: AI Nên Mở Nguồn, Không Nên Bị Tích Trữ

<h2>Mark Zuckerberg: AI Nên Mở Nguồn, Không Nên Bị Tích Trữ</h2>

<h3>Mục lục:</h3>
<ol>
  <li>Zuckerberg: AI Nên Mở Nguồn</li>
  <li>Lo ngại về AI đóng kín</li>
  <li>Meta và quan điểm về AI mở nguồn</li>
  <li>Các chuyên gia nghi ngờ về tính mở nguồn của Meta</li>
  <li>Các công ty khác cũng đang theo đuổi AI mở nguồn</li>
  <li>Tương lai của AI mở nguồn</li>
</ol>

<h3>1. Zuckerberg: AI Nên Mở Nguồn</h3>
<p>Giám đốc điều hành của Meta, Mark Zuckerberg, gần đây đã lên tiếng ủng hộ mô hình AI mở nguồn trong một cuộc phỏng vấn. Zuckerberg cho rằng AI không nên bị tích trữ bởi các công ty riêng lẻ để xây dựng sản phẩm độc quyền. Ông tin rằng tương lai của AI sẽ là nhiều lựa chọn đa dạng, được tạo ra bởi nhiều cá nhân và tổ chức khác nhau.</p>

<h3>2. Lo ngại về AI đóng kín</h3>
<p>Zuckerberg bày tỏ sự lo ngại về xu hướng các công ty công nghệ đang tập trung vào việc xây dựng một AI duy nhất và giữ bí mật về công nghệ của mình. Ông cho rằng điều này sẽ hạn chế sự phát triển và sáng tạo trong lĩnh vực AI.</p>

<h3>3. Meta và quan điểm về AI mở nguồn</h3>
<p>Meta đang cố gắng khẳng định vị thế là một lựa chọn thay thế mở nguồn hàng đầu trong thị trường AI. Công ty này đã phát triển mô hình ngôn ngữ lớn (LLM) Llama và đang tích cực thúc đẩy việc sử dụng mô hình này trong cộng đồng.</p>

<h3>4. Các chuyên gia nghi ngờ về tính mở nguồn của Meta</h3>
<p>Tuy nhiên, một số chuyên gia trong ngành nghi ngờ về tính mở nguồn thực sự của Meta. Họ cho rằng mô hình Llama 3 của Meta không hoàn toàn mở nguồn do có những điều khoản hạn chế về việc thương mại hóa.</p>

<h3>5. Các công ty khác cũng đang theo đuổi AI mở nguồn</h3>
<p>Meta không phải là công ty duy nhất đang theo đuổi AI mở nguồn. Mistral AI, một công ty khởi nghiệp có trụ sở tại Pháp, cũng đang nỗ lực phát triển AI mở nguồn tại châu Âu. Tuy nhiên, họ cũng đặt ra những hạn chế nhất định cho các sản phẩm của mình. Databricks cũng đã phát hành mô hình DBRX mở nguồn, nhưng cũng được đánh giá là không hoàn toàn mở nguồn theo nghĩa truyền thống.</p>

<h3>6. Tương lai của AI mở nguồn</h3>
<p>Linux Foundation đã công bố Open Platform for Enterprise AI (OPEA) nhằm tạo ra hệ thống chuẩn hóa cho định nghĩa về AI mở nguồn. Hiện tại, vẫn còn nhiều tranh luận về cách tiếp cận tốt nhất để phát triển AI mở nguồn, nhưng điều rõ ràng là xu hướng này đang ngày càng được chú ý và quan tâm.</p>

Mark Zuckerberg: AI Nên Mở Nguồn, Không Nên Bị Tích Trữ

Mark Zuckerberg: AI Nên Mở Nguồn, Không Nên Bị Tích Trữ Mục lục: Zuckerberg: AI Nên Mở Nguồn Lo ngại về AI đóng kín Meta và qua...

tháng 6 28, 2024

Mark Zuckerberg: AI Không Phải Là Thần

<html lang='vi'>
<head>
  <meta charset='UTF-8'>
  <meta name='viewport' content='width=device-width, initial-scale=1.0'>
  <title>Mark Zuckerberg: AI Không Phải Là Thần</title>
  <style>
    body {
      font-family: sans-serif;
      margin: 0;
      padding: 20px;
    }

h1, h2, h3 {
      margin-top: 30px;
    }

h1 {
      font-size: 2.5em;
    }

h2 {
      font-size: 2em;
    }

h3 {
      font-size: 1.5em;
    }

.container {
      display: flex;
      flex-direction: column;
    }

img {
      max-width: 100%;
      height: auto;
      margin-top: 20px;
    }

.toc {
      list-style: none;
      padding: 0;
      margin-top: 20px;
    }

.toc li {
      margin-bottom: 10px;
    }

.toc a {
      text-decoration: none;
      color: blue;
    }
  </style>
</head>
<body>

<h1>Mark Zuckerberg: AI Không Phải Là Thần</h1>

<div class='container'>
    <h2>Mục lục</h2>
    <ul class='toc'>
      <li><a href="#tam-nhin-khac-biet-ve-ai">1. Tầm nhìn khác biệt về AI</a></li>
      <li><a href="#llama-nen-tang-cho-ai-ca-nhan-hoa">2. Llama: nền tảng cho AI cá nhân hóa</a></li>
      <li><a href="#ai-la-cong-cu-khong-phai-than-linh">3. AI là công cụ, không phải thần linh</a></li>
      <li><a href="#creator-ai-thu-nghiem-thuc-te">4. Creator AI: Thử nghiệm thực tế</a></li>
    </ul>
  </div>

<p>Trong một cuộc phỏng vấn với YouTuber Kallaway, Mark Zuckerberg, CEO của Meta, đã chia sẻ tầm nhìn độc đáo của mình về tương lai của AI. Ông tin rằng thay vì tập trung vào việc phát triển một mô hình AI khổng lồ thống trị tất cả, cách tiếp cận hiệu quả hơn là cho phép các doanh nghiệp và người sáng tạo xây dựng AI riêng của họ.</p>

<p>Zuckerberg cho rằng việc phát triển một AI duy nhất cho mọi người là không cần thiết và thậm chí có phần khiếp sợ. Ông lý giải rằng mọi người có những sở thích và nhu cầu khác nhau, và do đó, cần có nhiều AI khác nhau để đáp ứng nhu cầu đa dạng của cộng đồng. Ông khẳng định: Quan điểm của chúng tôi là không nên chỉ có một AI duy nhất. Mọi người muốn tương tác với nhiều cá nhân và doanh nghiệp khác nhau, và cần có nhiều AI khác nhau được tạo ra để phản ánh những quan tâm khác nhau của mọi người.</p>

<h2 id='llama-nen-tang-cho-ai-ca-nhan-hoa'>Llama: nền tảng cho AI cá nhân hóa</h2>

<p>Để hiện thực hóa tầm nhìn này, Meta đang tập trung phát triển nền tảng AI cơ bản có tên là Llama. Nền tảng này sẽ cho phép các doanh nghiệp và người sáng tạo xây dựng AI riêng của họ, phù hợp với nhu cầu cụ thể của doanh nghiệp và cộng đồng của họ.</p>

<h2 id='ai-la-cong-cu-khong-phai-than-linh'>AI là công cụ, không phải thần linh</h2>

<p>Zuckerberg bày tỏ sự phản đối đối với ý tưởng về việc xây dựng một AI gần như toàn năng. Ông cho rằng việc này giống như tạo ra một vị thần, điều mà ông cho rằng là không phù hợp. Ông nhấn mạnh: Tôi không nghĩ rằng công nghệ AI là thứ nên được tích trữ. Tôi thấy khá thất vọng khi những người trong ngành công nghệ nói về việc xây dựng một AI thực sự duy nhất. Nó gần như giống như họ đang nghĩ rằng họ đang tạo ra một vị thần hay gì đó, và đó không phải là những gì chúng tôi đang làm. Tôi không nghĩ đó là cách điều này diễn ra.</p>

<h2 id='creator-ai-thu-nghiem-thuc-te'>Creator AI: Thử nghiệm thực tế</h2>

<p>Meta hiện đang thử nghiệm phiên bản beta của Creator AI, cho phép các nhà sáng tạo như Kallaway thử nghiệm phần mềm và trải nghiệm AI được tối ưu hóa cho đối tượng của họ. Việc phát hành Llama 3 vào tháng 4 năm 2024 là một minh chứng cho sự cam kết của Meta trong việc cung cấp công cụ cho AI cá nhân hóa.</p>

<p>Zuckerberg nhấn mạnh rằng AI là một công cụ mạnh mẽ có tiềm năng to lớn để biến đổi nhiều lĩnh vực của cuộc sống. Tuy nhiên, ông tin rằng việc phát triển AI cần được thực hiện một cách có trách nhiệm, với sự tập trung vào việc tạo ra AI phục vụ nhu cầu của mọi người thay vì tạo ra một thần linh toàn năng.</p>

</body>
</html>

Mark Zuckerberg: AI Không Phải Là Thần

Mark Zuckerberg: AI Không Phải Là Thần Mark Zuckerberg: AI Không Phải Là Thần Mục lục 1. Tầm nhìn ...

tháng 6 28, 2024

Meta LLM Compiler: Cuộc Cách Mạng Mới Trong Tối Ưu Hóa Mã

<html lang='vi'>
<head>
  <meta charset='UTF-8'>
  <meta name='viewport' content='width=device-width, initial-scale=1.0'>
  <title>Meta LLM Compiler: Cuộc Cách Mạng Mới Trong Tối Ưu Hóa Mã</title>
</head>
<body>
  <h1>Meta LLM Compiler: Cuộc Cách Mạng Mới Trong Tối Ưu Hóa Mã</h1>
  <h2>Mục lục:</h2>
  <ul>
    <li>1. Thách thức trong Tối Ưu Hóa Mã</li>
    <li>2. Giới thiệu Meta LLM Compiler</li>
    <li>3. Hoạt động của Meta LLM Compiler</li>
    <li>4. Hiệu suất vượt trội</li>
    <li>5. Ứng dụng và tiềm năng</li>
    <li>6. Kết luận</li>
  </ul>
  <h2>1. Thách thức trong Tối Ưu Hóa Mã</h2>
  <p>Tối ưu hóa mã là một quá trình quan trọng trong phát triển phần mềm, nhằm nâng cao hiệu suất và hiệu quả của mã nguồn, đồng thời duy trì chức năng ban đầu. Tuy nhiên, các phương pháp tối ưu hóa truyền thống thường tốn nhiều công sức và đòi hỏi kiến thức chuyên môn sâu về ngôn ngữ lập trình và kiến trúc phần cứng. Điều này trở thành thách thức lớn khi phần mềm ngày càng phức tạp và quy mô.</p>
  <h2>2. Giới thiệu Meta LLM Compiler</h2>
  <p>Để giải quyết vấn đề trên, các nhà nghiên cứu tại Meta AI đã giới thiệu Meta LLM Compiler, một công cụ tối ưu hóa mã được thiết kế đặc biệt cho các tác vụ tối ưu hóa mã. Dựa trên nền tảng của Code Llama, Meta LLM Compiler được đào tạo trên bộ dữ liệu khổng lồ gồm 546 tỷ token biểu diễn trung gian LLVM (IR) và mã lắp ráp.</p>
  <h2>3. Hoạt động của Meta LLM Compiler</h2>
  <p>Meta LLM Compiler trải qua quá trình đào tạo trước với 546 tỷ token dữ liệu tập trung vào trình biên dịch, tiếp theo là tinh chỉnh hướng dẫn với 164 tỷ token cho các tác vụ hạ nguồn như tinh chỉnh cờ và tháo gỡ. Mô hình có sẵn ở hai kích thước: 7 tỷ và 13 tỷ tham số. Quá trình đào tạo chi tiết này cho phép mô hình thực hiện tối ưu hóa kích thước mã phức tạp và chuyển đổi chính xác mã lắp ráp về IR LLVM. Các giai đoạn đào tạo bao gồm hiểu mã đầu vào, áp dụng các lần tối ưu hóa khác nhau và dự đoán mã và kích thước tối ưu hóa kết quả.</p>
  <h2>4. Hiệu suất vượt trội</h2>
  <p>Meta LLM Compiler đạt được 77% tiềm năng tối ưu hóa của các phương pháp tự điều chỉnh truyền thống mà không cần biên dịch mở rộng. Mô hình đạt tỷ lệ tháo gỡ vòng tròn 45% trong tác vụ tháo gỡ, với độ chính xác khớp chính xác là 14%. Những kết quả này nhấn mạnh hiệu quả của mô hình trong việc tạo mã tối ưu hóa và đảo ngược chính xác lắp ráp về biểu diễn trung gian của nó. So với các mô hình khác như Code Llama và GPT-4 Turbo, Meta LLM Compiler vượt trội hơn đáng kể trong các tác vụ cụ thể, chứng minh khả năng tiên tiến của nó trong tối ưu hóa trình biên dịch.</p>
  <h2>5. Ứng dụng và tiềm năng</h2>
  <p>Meta LLM Compiler là giải pháp có khả năng mở rộng và tiết kiệm chi phí cho các nhà nghiên cứu học thuật và chuyên gia ngành. Sáng tạo này giải quyết các thách thức trong tối ưu hóa mã, cung cấp một công cụ hiệu quả để nâng cao hiệu suất phần mềm trên các nền tảng phần cứng khác nhau. Việc mô hình có sẵn ở hai kích thước, kết hợp với các chỉ số hiệu suất mạnh mẽ, làm nổi bật tiềm năng cách mạng hóa cách tiếp cận các tác vụ tối ưu hóa trình biên dịch.</p>
  <h2>6. Kết luận</h2>
  <p>Meta LLM Compiler là một công cụ đột phá trong tối ưu hóa mã và trình biên dịch. Bằng cách xây dựng trên các khả năng cơ bản của Code Llama và nâng cao chúng bằng đào tạo chuyên biệt, Meta LLM Compiler giải quyết những thách thức quan trọng trong phát triển phần mềm. Khả năng tối ưu hóa mã hiệu quả và các chỉ số hiệu suất ấn tượng của nó khiến nó trở thành một tài sản quý giá cho các nhà nghiên cứu và chuyên gia. Mô hình này đơn giản hóa quá trình tối ưu hóa và thiết lập một điểm chuẩn mới cho những tiến bộ trong tương lai trong lĩnh vực này.</p>
  <img alt="Logo Meta LLM Compiler" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg">
</body>
</html>

Meta LLM Compiler: Cuộc Cách Mạng Mới Trong Tối Ưu Hóa Mã

Meta LLM Compiler: Cuộc Cách Mạng Mới Trong Tối Ưu Hóa Mã Meta LLM Compiler: Cuộc Cách Mạng Mới Trong Tối Ưu Hóa Mã Mục ...

tháng 6 28, 2024

Apple Nhắm Mục Tiêu Trở Thành Công Ty AI Tập Trung Vào Bảo Mật

<html lang='vi'>
<head>
  <meta charset='UTF-8'>
  <title>Apple Nhắm Mục Tiêu Trở Thành Công Ty AI Tập Trung Vào Bảo Mật</title>
</head>
<body>
  <h2>Apple Nhắm Mục Tiêu Trở Thành Công Ty AI Tập Trung Vào Bảo Mật</h2>

<h3>Mục lục:</h3>
  <ol>
    <li><strong>Apple Chọn Con Đường Riêng với AI</strong></li>
    <li><strong>Sự Nhận Thức về Quyền Riêng Tư của Người Dùng</strong></li>
    <li><strong>Apple Gặp Thách Thức từ Các Đối Thủ Cạnh Tranh</strong></li>
    <li><strong>Báo Cáo Tích Cực từ Các Chuyên Gia Phân Tích</strong></li>
    <li><strong>Triển Vọng Tương Lai của Apple trong Lĩnh Vực AI</strong></li>
  </ol>

<h3>1. Apple Chọn Con Đường Riêng với AI</h3>
  <p>Apple đang nỗ lực để tạo dựng vị thế riêng trong lĩnh vực AI bằng cách tập trung vào bảo mật thông tin người dùng. Điều này đã giúp Apple nhận được đánh giá tích cực từ các chuyên gia phân tích, bao gồm cả Rosenblatt Securities và BofA Securities.</p>

<h3>2. Sự Nhận Thức về Quyền Riêng Tư của Người Dùng</h3>
  <p>Theo Barton Crockett, nhà phân tích của Rosenblatt Securities, quyền riêng tư là yếu tố quan trọng nhất mà người tiêu dùng mong đợi trong AI. Ông cho rằng, cách tiếp cận bảo mật của Apple Intelligence sẽ tạo lợi thế cho Apple trong thị trường AI, bởi vì nó vượt trội so với các giải pháp AI khác như Android.</p>

<h3>3. Apple Gặp Thách Thức từ Các Đối Thủ Cạnh Tranh</h3>
  <p>Apple đang phải đối mặt với những thách thức từ các đối thủ cạnh tranh trong lĩnh vực AI. Ví dụ, tính năng Recall của Microsoft cho PC AI đã bị chỉ trích vì vi phạm quyền riêng tư của người dùng. Hơn nữa, Apple đã từ chối hợp tác với Meta Platforms để sử dụng chatbot AI Llama do lo ngại về các chính sách bảo mật của Meta.</p>

<h3>4. Báo Cáo Tích Cực từ Các Chuyên Gia Phân Tích</h3>
  <p>BofA Securities cũng đưa ra dự đoán tích cực về Apple trong lĩnh vực AI. Nhà phân tích Wamsi Mohan cho rằng, AI có tiềm năng thúc đẩy sự tăng trưởng cho mảng dịch vụ của Apple. Ông tin tưởng rằng việc Apple tích hợp AI vào hệ điều hành và cho phép các nhà phát triển bên thứ ba truy cập vào các tính năng như Siri sẽ thúc đẩy sự đổi mới trong lĩnh vực phát triển ứng dụng.</p>

<h3>5. Triển Vọng Tương Lai của Apple trong Lĩnh Vực AI</h3>
  <p>Mohan tin rằng, AI sẽ giúp Apple khai thác tối đa tiềm năng của các thiết bị Apple đã được cài đặt. Điều này sẽ dẫn đến năng suất cao hơn, ứng dụng giá cao hơn, tăng đăng ký và thanh toán từ các đối tác.</p>

<h3>Kết luận:</h3>
  <p>Apple đang đặt cược vào một chiến lược AI tập trung vào bảo mật thông tin người dùng. Điều này có thể giúp Apple tạo dựng vị thế dẫn đầu trong thị trường AI và thúc đẩy sự tăng trưởng của mảng dịch vụ. Tuy nhiên, Apple vẫn phải đối mặt với các thách thức từ các đối thủ cạnh tranh và phải tiếp tục đầu tư vào AI để duy trì vị thế của mình.</p>

Apple Nhắm Mục Tiêu Trở Thành Công Ty AI Tập Trung Vào Bảo Mật

Apple Nhắm Mục Tiêu Trở Thành Công Ty AI Tập Trung Vào Bảo Mật Apple Nhắm Mục Tiêu Trở Thành Công Ty AI Tập Trung Vào Bảo Mật ...

tháng 6 28, 2024

CPU: Lựa chọn hiệu quả cho ứng dụng Generative AI

NinjaTech AI: Tương lai của các tác nhân năng suất với NinjaLLM và AWS Trainium

Mark Zuckerberg: AI Nên Mở Nguồn, Không Nên Bị Tích Trữ

Mark Zuckerberg: AI Không Phải Là Thần

Meta LLM Compiler: Cuộc Cách Mạng Mới Trong Tối Ưu Hóa Mã

Apple Nhắm Mục Tiêu Trở Thành Công Ty AI Tập Trung Vào Bảo Mật

Bài đăng phổ biến

Labels