Google Mở Rộng Khả Năng Cho Gemini 1.5 Pro: 2 Triệu Token Context Window

Google Mở Rộng Khả Năng Cho Gemini 1.5 Pro: 2 Triệu Token Context Window

Mục lục:

1. Mở Rộng Khả Năng Cho Gemini 1.5 Pro
2. Hỗ Trợ Context Caching
3. Khả Năng Thực Thi Mã
4. Gemma 2 và Gemini 1.5 Flash Tuning

1. Mở Rộng Khả Năng Cho Gemini 1.5 Pro

Google vừa công bố rằng các nhà phát triển giờ đây có quyền truy cập vào cửa sổ ngữ cảnh (context window) lên đến 2 triệu token cho Gemini Pro 1.5. Điều này đánh dấu một bước tiến vượt bậc so với GPT-4, vốn chỉ sở hữu 128k token context window.

Cửa sổ ngữ cảnh dài hơn có thể dẫn đến chi phí cao hơn, do đó Google cũng công bố hỗ trợ context caching trong Gemini API cho Gemini 1.5 Pro và 1.5 Flash. Tính năng này cho phép lưu trữ ngữ cảnh để sử dụng trong các truy vấn sau, giúp giảm chi phí cho các tác vụ sử dụng lại token trên nhiều nhắc nhở.

2. Hỗ Trợ Context Caching

Context caching giúp tối ưu hóa việc sử dụng token, đặc biệt là trong các tác vụ đòi hỏi xử lý nhiều thông tin liên quan. Với việc lưu trữ ngữ cảnh, người dùng có thể tiết kiệm chi phí và cải thiện hiệu suất cho các ứng dụng dựa trên AI.

3. Khả Năng Thực Thi Mã

Google cũng thông báo rằng việc thực thi mã đã được kích hoạt cho cả Gemini 1.5 Pro và 1.5 Flash. Tính năng này cho phép mô hình tạo ra và chạy mã Python, sau đó lặp lại cho đến khi đạt được kết quả mong muốn.

Theo Google, sandbox thực thi không được kết nối với internet, đi kèm với một số thư viện số được cài đặt sẵn và tính phí cho các nhà phát triển dựa trên token đầu ra từ mô hình.

4. Gemma 2 và Gemini 1.5 Flash Tuning

Gemma 2 hiện đã có sẵn trong Google AI Studio và Gemini 1.5 Flash tuning sẽ khả dụng thông qua Gemini API hoặc Google AI Studio vào tháng sau.

Những cải tiến mới này mang đến cho Gemini 1.5 Pro khả năng xử lý thông tin phức tạp hơn, đồng thời mở ra nhiều ứng dụng tiềm năng cho các nhà phát triển trong việc xây dựng các ứng dụng AI mạnh mẽ và hiệu quả hơn.