Meta công bố Llama 3.1, mô hình AI mã nguồn mở lớn nhất từ trước đến nay
Meta vừa công bố Llama 3.1, mô hình AI mã nguồn mở lớn nhất từ trước đến nay, được cho là vượt trội hơn GPT-4o và Claude 3.5 Sonnet của Anthropic trong một số điểm chuẩn. Đồng thời, Meta cũng cung cấp trợ lý AI dựa trên Llama cho nhiều quốc gia và ngôn ngữ hơn, đồng thời bổ sung tính năng tạo hình ảnh dựa trên diện mạo cụ thể của người dùng. Giám đốc điều hành Mark Zuckerberg dự đoán rằng Meta AI sẽ trở thành trợ lý được sử dụng rộng rãi nhất vào cuối năm nay, vượt qua ChatGPT.
Llama 3.1 phức tạp hơn đáng kể so với các mô hình Llama 3 nhỏ hơn được phát hành cách đây vài tháng. Phiên bản lớn nhất có 405 tỷ tham số và được đào tạo với hơn 16.000 GPU H100 cực kỳ đắt tiền của Nvidia. Meta không tiết lộ chi phí phát triển Llama 3.1, nhưng dựa trên chi phí của chip Nvidia, có thể ước tính nó lên tới hàng trăm triệu đô la.
Vậy tại sao Meta lại tiếp tục cung cấp Llama miễn phí với giấy phép chỉ yêu cầu sự chấp thuận từ các công ty có hàng trăm triệu người dùng, trong khi chi phí phát triển lại rất lớn? Trong một bức thư được đăng trên blog của công ty, Zuckerberg lập luận rằng các mô hình AI mã nguồn mở sẽ vượt qua - và thậm chí đang cải thiện nhanh hơn - các mô hình độc quyền, tương tự như cách Linux trở thành hệ điều hành mã nguồn mở hỗ trợ hầu hết các điện thoại, máy chủ và thiết bị hiện nay.
Ông so sánh khoản đầu tư của Meta vào AI mã nguồn mở với Dự án Open Compute trước đây của công ty, mà ông cho biết đã giúp công ty tiết kiệm hàng tỷ đô la bằng cách có các công ty bên ngoài như HP giúp cải thiện và tiêu chuẩn hóa thiết kế trung tâm dữ liệu của Meta khi họ đang xây dựng năng lực riêng. Nhìn về tương lai, ông dự đoán cùng một động thái sẽ diễn ra với AI, viết rằng: Tôi tin rằng việc phát hành Llama 3.1 sẽ là một điểm bùng nổ trong ngành, khi hầu hết các nhà phát triển bắt đầu sử dụng mã nguồn mở nhiều hơn.
Để giúp Llama 3.1 phổ biến hơn, Meta đang hợp tác với hơn hai chục công ty, bao gồm Microsoft, Amazon, Google, Nvidia và Databricks, để hỗ trợ các nhà phát triển triển khai phiên bản riêng của họ. Meta tuyên bố rằng chi phí chạy Llama 3.1 trong sản xuất chỉ bằng khoảng một nửa so với GPT-4o của OpenAI. Họ đang phát hành các trọng số mô hình để các công ty có thể đào tạo nó trên dữ liệu tùy chỉnh và điều chỉnh theo ý muốn.
Một so sánh điểm chuẩn cho Llama 3.1 Gemini không được đưa vào các so sánh điểm chuẩn này vì Meta gặp khó khăn trong việc sử dụng API của Google để sao chép kết quả trước đây, theo phát ngôn viên của Meta, Jon Carvill.
Không có gì đáng ngạc nhiên khi Meta không nói nhiều về dữ liệu được sử dụng để đào tạo Llama 3.1. Những người làm việc tại các công ty AI nói rằng họ không tiết lộ thông tin này vì đó là bí mật kinh doanh, trong khi các nhà phê bình cho rằng đó là chiến thuật để trì hoãn cuộc tấn công không thể tránh khỏi của các vụ kiện bản quyền sắp tới.
Điều Meta sẽ nói là họ đã sử dụng dữ liệu tổng hợp, hoặc dữ liệu được tạo bởi mô hình thay vì con người, để giúp phiên bản Llama 3.1 có 405 tỷ tham số cải thiện các phiên bản nhỏ hơn 70 tỷ và 8 tỷ. Ahmad Al-Dahle, Phó chủ tịch mảng AI thế hệ của Meta, dự đoán rằng Llama 3.1 sẽ được các nhà phát triển ưa chuộng như một giáo viên cho các mô hình nhỏ hơn sau đó được triển khai theo cách hiệu quả về chi phí hơn.
Khi được hỏi liệu Meta có đồng ý với sự đồng thuận ngày càng tăng rằng ngành công nghiệp đang cạn kiệt dữ liệu đào tạo chất lượng cho các mô hình hay không, Al-Dahle cho biết có một giới hạn đang đến, mặc dù nó có thể xa hơn so với suy nghĩ của một số người. Chúng tôi chắc chắn nghĩ rằng chúng tôi còn một vài lần chạy [đào tạo] nữa, anh ấy nói. Nhưng thật khó để nói.
Lần đầu tiên, thử nghiệm đối kháng (hoặc thử nghiệm đối đầu) của Meta đối với Llama 3.1 bao gồm việc tìm kiếm các trường hợp sử dụng tiềm năng về an ninh mạng và sinh học. Một lý do khác để kiểm tra mô hình một cách nghiêm ngặt hơn là những gì Meta đang mô tả là các hành vi đại lý mới nổi.
Ví dụ, Al-Dahle nói với tôi rằng Llama 3.1 có khả năng tích hợp với API tìm kiếm để truy xuất thông tin từ internet dựa trên truy vấn phức tạp và gọi nhiều công cụ nối tiếp để hoàn thành nhiệm vụ của bạn. Một ví dụ khác mà anh ấy đưa ra là yêu cầu mô hình vẽ biểu đồ số lượng nhà được bán ở Hoa Kỳ trong năm năm qua. Nó có thể truy xuất tìm kiếm [trên web] cho bạn và tạo mã Python và thực thi nó.
Việc triển khai Llama của Meta là trợ lý AI của công ty, được định vị như một chatbot đa năng như ChatGPT và có thể được tìm thấy ở hầu hết mọi phần của Instagram, Facebook và WhatsApp. Bắt đầu từ tuần này, Llama 3.1 sẽ lần đầu tiên có sẵn thông qua WhatsApp và trang web Meta AI ở Hoa Kỳ, tiếp theo là Instagram và Facebook trong những tuần tới. Nó đang được cập nhật để hỗ trợ các ngôn ngữ mới, bao gồm tiếng Pháp, tiếng Đức, tiếng Hindi, tiếng Ý và tiếng Tây Ban Nha.
Trong khi mô hình Llama 3.1 tiên tiến nhất có 405 tỷ tham số có thể sử dụng miễn phí trong Meta AI, trợ lý sẽ chuyển bạn sang mô hình 70 tỷ được thu nhỏ hơn sau khi vượt quá số lượng lời nhắc nhất định trong một tuần. Điều này cho thấy mô hình 405 tỷ quá đắt để Meta chạy ở quy mô đầy đủ. Phát ngôn viên Jon Carvill nói với tôi rằng công ty sẽ cung cấp thêm thông tin về ngưỡng lời nhắc sau khi họ đánh giá việc sử dụng sớm.
Tính năng tạo hình ảnh AI mới của Meta AI quét khuôn mặt của bạn thông qua camera điện thoại để sau đó cho phép bạn chèn diện mạo của mình vào các hình ảnh được tạo. Bằng cách chụp diện mạo của bạn theo cách này và không thông qua ảnh trong hồ sơ của bạn, Meta hy vọng sẽ tránh tạo ra cỗ máy deepfake. Công ty nhận thấy nhu cầu của người dùng muốn tạo nhiều loại phương tiện AI hơn và chia sẻ chúng lên luồng của họ, ngay cả khi điều đó có nghĩa là làm mờ ranh giới giữa những gì có thể nhận biết được là thật và không.
Meta AI cũng sẽ ra mắt trên tai nghe Quest trong những tuần tới, thay thế giao diện điều khiển bằng giọng nói của nó. Giống như việc triển khai trong kính Meta Ray-Ban, bạn có thể sử dụng Meta AI trên Quest để xác định và tìm hiểu về những gì bạn đang nhìn trong khi ở chế độ xuyên thấu của tai nghe, hiển thị thế giới thực qua màn hình.
Ngoài dự đoán của Zuckerberg rằng Meta AI sẽ là chatbot được sử dụng nhiều nhất vào cuối năm nay (ChatGPT có hơn 100 triệu người dùng), Meta vẫn chưa chia sẻ bất kỳ số liệu sử dụng nào cho trợ lý của mình. Tôi nghĩ toàn bộ ngành công nghiệp vẫn đang ở giai đoạn đầu trong hành trình của mình hướng tới sự phù hợp với thị trường sản phẩm, Al-Dahle nói. Ngay cả khi AI đã trở nên quá cường điệu, rõ ràng là Meta và các bên chơi khác đang nghĩ rằng cuộc đua mới chỉ bắt đầu.
0 comments Blogger 0 Facebook
Đăng nhận xét