Meta ra mắt Llama 3.2: AI chạy được ngay trên thiết bị cá nhân và hiểu hình ảnh

Meta ra mắt Llama 3.2: AI chạy được ngay trên thiết bị cá nhân và hiểu hình ảnh

Meta vừa công bố thế hệ tiếp theo của mô hình ngôn ngữ lớn (LLM) mã nguồn mở và miễn phí: Llama 3.2. Điểm đáng chú ý nhất là các mô hình này có khả năng chạy trực tiếp trên thiết bị cá nhân, kể cả điện thoại di động, đồng thời được tích hợp khả năng xử lý hình ảnh. Việc một LLM đa phương thức hỗ trợ hình ảnh, mã nguồn mở và miễn phí như vậy vẫn còn khá hiếm hoi trên thị trường.

Llama 3.2 được cung cấp với hai phiên bản trung bình và hai phiên bản nhẹ. Các mô hình 90B và 11B có khả năng xử lý hình ảnh đa dạng, bao gồm ảnh chụp, tài liệu, biểu đồ và đồ thị. Meta minh họa tính năng này bằng các ví dụ: người dùng có thể hỏi về tháng có doanh thu tốt nhất của doanh nghiệp nhỏ trong năm trước dựa trên biểu đồ, hoặc xác định độ dốc của một đoạn đường leo núi hay khoảng cách của một con đường mòn cụ thể trên bản đồ.

Ngoài ra, người dùng còn có thể yêu cầu mô hình mô tả chi tiết một hình ảnh, hoặc sáng tạo câu chuyện hay chú thích dựa trên mô tả đó. Hiệu năng của hai mô hình này được đánh giá tương đương với ChatGPT 4o Mini và Claude 3 Haiku.

Hai mô hình nhẹ hơn, 1B và 3B, có thể chạy trực tiếp trên một số thiết bị cầm tay (như điện thoại thông minh và máy tính cá nhân). Meta hợp tác với Qualcomm để tối ưu hóa Llama 3.2 cho chip Snapdragon 8 Gen 3 và Snapdragon X series, thường được tìm thấy trên các điện thoại Android cao cấp và thế hệ máy tính Copilot+ mới. Mặc dù không có khả năng nhận diện hình ảnh, hai mô hình này lại xử lý được tối đa 128K tokens, cho phép xử lý các tài liệu dài và duy trì ngữ cảnh trong các cuộc hội thoại kéo dài.

Việc chạy mô hình trực tiếp trên thiết bị mang lại nhiều lợi ích về bảo mật và hiệu năng. Dữ liệu của người dùng không bao giờ được gửi lên đám mây, đảm bảo tính riêng tư cao hơn. Hơn nữa, thời gian phản hồi gần như tức thời do không cần kết nối internet. Meta khẳng định phản hồi từ mô hình “như thể diễn ra ngay lập tức”.

Các mô hình Llama 3.2 hiện đã có sẵn để tải xuống tại llama.com và Hugging Face. Người dùng cũng có thể trải nghiệm chúng trên máy tính để bàn thông qua LM Studio (tìm kiếm "Llama-3.2" trong tab Discover).