Sử dụng Mô hình Ngôn ngữ Lớn Llama 3.2 Trên Máy Tính Cá Nhân

Mục lục:

Giới thiệu về Llama 3.2 và Msty
Tải xuống và Cài đặt Msty
Sử dụng Mô hình Llama 3.2-3B-Instruct trên Msty
Sử dụng Mô hình Llama 3.2 Vision với Groq API
Kết luận
Về tác giả

1. Giới thiệu về Llama 3.2 và Msty

Llama 3.2 là thế hệ mô hình ngôn ngữ lớn mới nhất, nổi bật với hai phiên bản: phiên bản nhẹ (lightweight) và phiên bản thị giác (vision). Phiên bản nhẹ chuyên về sinh văn bản đa ngôn ngữ và gọi các công cụ (tool calling) cho các trường hợp phức tạp. Phiên bản thị giác, như tên gọi, xuất sắc trong việc lập luận hình ảnh, tạo ra phản hồi dựa trên hình ảnh đầu vào và lời nhắc (prompt).

Để tận dụng tối đa sức mạnh của Llama 3.2, bài viết này hướng dẫn bạn sử dụng ứng dụng Msty – một ứng dụng chatbot máy tính để bàn mã nguồn mở, miễn phí, tích hợp nhiều tính năng mạnh mẽ. Bạn có thể tải xuống và sử dụng mô hình nguồn mở trực tiếp hoặc kết nối với mô hình trực tuyến thông qua API key.

2. Tải xuống và Cài đặt Msty

Để sử dụng Llama 3.2 trên máy tính cá nhân, bạn cần thực hiện các bước sau:

Truy cập trang web msty.app và tải xuống ứng dụng Msty.
Cài đặt ứng dụng với các tùy chọn mặc định.
Mở Msty và nhấp vào nút "Cài đặt" ở góc dưới bên trái.
Chọn tab "Trí tuệ nhân tạo cục bộ" ("Local AI"), sau đó nhấp vào nút "Quản lý mô hình AI cục bộ" ("Manage Local AI Models").
Cuối cùng, nhấp vào "Duyệt và tải xuống các mô hình trực tuyến" ("Browse & Download the Online Models").

3. Sử dụng Mô hình Llama 3.2-3B-Instruct trên Msty

Sau khi cài đặt Msty, hãy tải xuống mô hình Llama 3.2:

Trong cửa sổ quản lý mô hình, chuyển sang tab "Hugging Face".
Nhập liên kết kho lưu trữ mô hình: "bartowski/Llama-3.2-3B-Instruct-GGUF".
Chọn phiên bản "Q4kM.gguf" và nhấp vào nút tải xuống. Quá trình này có thể mất vài phút.

Sau khi tải xuống hoàn tất, bạn có thể sử dụng mô hình:

Quay lại giao diện chính của Msty và chọn mô hình "Llama-3.2-3B-Instruct".
Nhập lời nhắc (prompt) vào khung chat. Ví dụ: "Thuật toán sắp xếp nhanh nhất và phổ biến nhất là gì? Vui lòng cung cấp ví dụ mã."

Kết quả trả về sẽ khá chính xác và chi tiết, thể hiện hiệu suất ấn tượng của mô hình Llama 3.2, vượt ngoài mong đợi từ một mô hình có kích thước tương đối nhỏ. Tốc độ xử lý cũng rất nhanh, khoảng 99.16 token mỗi giây.

4. Sử dụng Mô hình Llama 3.2 Vision với Groq API

Mô hình Llama 3.2 Vision hiện chưa có sẵn dưới dạng tệp GGUF, vì vậy bạn cần sử dụng API của Groq để truy cập.

Tạo tài khoản trên GroqCloud và lấy API key.
Trên Msty, vào mục "Cài đặt" -> "Nhà cung cấp mô hình từ xa" ("Remote Model Providers").
Nhấp vào "+ Thêm nhà cung cấp mới" ("+ Add New Provider").
Chọn "Groq AI", dán API key và nhấp vào "+ Thêm mô hình tùy chỉnh" ("+ Add Custom Model").
Đặt tên mô hình là "llama-3.2-11b-vision-preview".
Chọn mô hình Groq AI Llama 3.2 Vision trong menu chat.
Thêm hình ảnh và nhập lời nhắc. Ví dụ: "Hãy mô tả chi tiết hình ảnh này."

Mô hình Llama 3.2 Vision sẽ mô tả hình ảnh với độ chính xác cao. Bạn có thể thử nghiệm với các mô hình khác của Groq AI bằng cách thêm chúng vào Msty tương tự. Thông tin chi tiết về các mô hình có sẵn trên GroqCloud.

5. Kết luận

Việc sử dụng các ứng dụng chatbot máy tính để bàn với các mô hình ngôn ngữ lớn, cả nguồn mở và đóng, đã trở nên dễ dàng và khả thi hơn bao giờ hết. Ngay cả khi không có kết nối internet, bạn vẫn có thể sử dụng các mô hình này để sinh mã, gỡ lỗi, hay giải quyết nhiều vấn đề khác nhau. Bài viết này đã hướng dẫn bạn cách sử dụng ứng dụng Msty để truy cập các mô hình Llama 3.2 cục bộ và từ xa.

6. Về tác giả

Abid Ali Awan (@1abidaliawan) là một chuyên gia khoa học dữ liệu, đam mê xây dựng các mô hình máy học và sáng tạo nội dung kỹ thuật về máy học và khoa học dữ liệu. Anh có bằng Thạc sĩ Quản lý Công nghệ và Cử nhân Kỹ thuật Viễn thông. Tầm nhìn của anh là xây dựng một sản phẩm AI sử dụng mạng lưới thần kinh đồ thị cho các sinh viên gặp khó khăn về sức khỏe tinh thần.

Sử dụng Mô hình Ngôn ngữ Lớn Llama 3.2 Trên Máy Tính Cá Nhân