Gemini Exp-1114: Hiệu năng ấn tượng nhưng phụ thuộc định dạng

Gemini Exp-1114: Thành tích ấn tượng nhưng phụ thuộc vào định dạng

Mục lục

• Giới thiệu
• Kết quả đánh giá
• Ảnh hưởng của yếu tố định dạng
• So sánh với các mô hình khác
• Thông tin về Gemini
• Kết luận

Giới thiệu

Bài báo này phân tích kết quả đánh giá mô hình AI Gemini Exp-1114 của Google trên nền tảng lmarena.ai. Mô hình này đã đạt được những thành tích đáng kể, nhưng kết quả đó lại bị ảnh hưởng bởi các yếu tố định dạng văn bản.

Kết quả đánh giá

Dựa trên hơn 6.000 đánh giá từ cộng đồng, Gemini Exp-1114 đã đạt điểm số cao nhất trong hầu hết các hạng mục thử nghiệm trên Chatbot Arena, chia sẻ vị trí dẫn đầu với GPT-4o của OpenAI. Mô hình này đặc biệt xuất sắc trong các lĩnh vực toán học, xử lý ảnh và viết sáng tạo, đứng thứ ba trong nhiệm vụ lập trình.

Ảnh hưởng của yếu tố định dạng

Tuy nhiên, khi loại bỏ các yếu tố định dạng như độ dài văn bản và tiêu đề (được gọi là "style control metrics"), thứ hạng của Gemini giảm xuống đáng kể, tụt xuống vị trí thứ tư. Điều này cho thấy một phần thành công của Gemini dựa trên việc tận dụng các yếu tố định dạng để tạo ra phản hồi ấn tượng hơn về mặt trực quan.

So sánh với các mô hình khác

Trong các cuộc so sánh trực tiếp, Gemini Exp-1114 thắng 50% trận đấu với GPT-4o, 56% với o1-preview và 62% với Claude 3.5 Sonnet.

Thông tin về Gemini

Phiên bản thử nghiệm Gemini Exp-1114 hiện đang được cung cấp công khai thông qua nền tảng AI Studio của Google. Được ra mắt lần đầu vào tháng 12 năm 2023 và cập nhật lên phiên bản 1.5 vào tháng 2 năm 2024, Gemini có phiên bản Pro xử lý tới một triệu tokens và phiên bản beta xử lý tới mười triệu tokens. Hệ thống này hoạt động với văn bản, hình ảnh, âm thanh, video và mã. Google tích hợp Gemini vào nhiều sản phẩm khác nhau, bao gồm Workspace, Google Search và ứng dụng Gemini. Có thông tin cho rằng Google dự định ra mắt Gemini 2 vào tháng 12, tuy nhiên hiệu suất của nó được cho là chưa đáp ứng được kỳ vọng. Hiện chưa rõ liệu phiên bản thử nghiệm này có phải là một biến thể của Gemini 2 hay không.

Kết luận

Gemini Exp-1114 chứng tỏ tiềm năng đáng kể, nhưng kết quả đánh giá cũng chỉ ra tầm quan trọng của việc đánh giá hiệu suất của mô hình AI một cách toàn diện, bao gồm cả việc loại bỏ các yếu tố định dạng có thể làm sai lệch kết quả. Việc Gemini đạt thứ hạng cao nhờ yếu tố định dạng cũng đặt ra câu hỏi về tính khách quan của các phương pháp đánh giá hiện tại.