WEKA Hợp Tác Cùng Contextual AI Xây Dựng Giải Pháp AI Doanh Nghiệp Sẵn Sàng Triển Khai Trên Google Cloud

WEKA Hợp Tác Cùng Contextual AI Xây Dựng Giải Pháp AI Doanh Nghiệp Sẵn Sàng Triển Khai Trên Google Cloud

Mục Lục:

1. Giới thiệu
2. Thách thức trong việc phát triển mô hình AI thế hệ mới
3. WEKA Data Platform: Giải pháp tối ưu hóa hiệu suất GPU
4. Kết quả đạt được với WEKA Data Platform
5. Giới thiệu về Contextual AI
6. Giới thiệu về WEKA

1. Giới thiệu

Campbell, California, ngày 07 tháng 08 năm 2024 - WEKA, công ty cung cấp nền tảng dữ liệu AI-native, hôm nay đã công bố hợp tác với Contextual AI, công ty chuyên phát triển AI nhằm thay đổi cách thức vận hành của thế giới, để cung cấp cơ sở hạ tầng dữ liệu cho Mô hình Ngôn ngữ Theo ngữ cảnh (CLM) của Contextual AI. CLM của Contextual AI được đào tạo bằng RAG 2.0, một phương pháp tạo tăng cường truy xuất (RAG) thế hệ tiếp theo độc quyền do Contextual AI phát triển, hiện được hỗ trợ bởi Nền tảng Dữ liệu WEKA®. CLM hỗ trợ các ứng dụng AI an toàn, chính xác và đáng tin cậy cho các doanh nghiệp thuộc Fortune 500 trên nền tảng của Contextual AI.

2. Thách thức trong việc phát triển mô hình AI thế hệ mới

Được thành lập vào năm 2023, Contextual AI cung cấp một nền tảng chìa khóa trao tay để xây dựng các ứng dụng AI doanh nghiệp được hỗ trợ bởi công nghệ RAG 2.0 tiên tiến. Không giống như các quy trình RAG truyền thống, vốn kết hợp một mô hình cố định cho các nhúng, cơ sở dữ liệu vectơ để truy xuất và mô hình tạo hộp đen, RAG 2.0 cung cấp một hệ thống tích hợp đầu cuối duy nhất, cho phép độ chính xác cao hơn, tuân thủ tốt hơn, ít ảo giác hơn, và khả năng quy kết câu trả lời trở lại tài liệu nguồn.

Các khối lượng công việc AI tạo sinh có các yêu cầu về hiệu suất, quản lý dữ liệu và sức mạnh tính toán đáng kể, có thể khiến chúng tốn nhiều thời gian và tài nguyên để đào tạo và phục vụ. Contextual AI tận dụng các bộ dữ liệu lớn, đa dạng để đào tạo CLM của mình. Trong quá trình đào tạo, ban đầu công ty đã gặp phải tình trạng tắc nghẽn hiệu suất và các thách thức về quy mô, dẫn đến việc sử dụng GPU kém và trì hoãn thời gian phát triển mô hình AI.

3. WEKA Data Platform: Giải pháp tối ưu hóa hiệu suất GPU

Việc tăng cường sử dụng GPU là rất quan trọng để đảm bảo các hệ thống và khối lượng công việc AI chạy ở hiệu quả cao nhất. Kiến trúc AI-native tiên tiến của Nền tảng Dữ liệu WEKA được xây dựng có mục đích để tăng tốc mọi bước của quy trình AI, tạo ra các đường dẫn dữ liệu không ma sát, cung cấp dữ liệu cho GPU để đảm bảo chúng chạy hiệu quả hơn, từ đó giúp các khối lượng công việc AI chạy nhanh hơn và bền vững hơn.

Là giải pháp phần mềm không phụ thuộc vào đám mây và phần cứng, WEKA được thiết kế để triển khai ở mọi nơi và kiến trúc không sao chép, không cần điều chỉnh của nó hỗ trợ động mọi cấu hình khối lượng công việc AI - xử lý các hoạt động siêu dữ liệu trên hàng triệu tệp nhỏ trong quá trình đào tạo mô hình và hiệu suất ghi dữ liệu lớn trong quá trình hoạt động điểm kiểm tra mô hình - trong một nền tảng dữ liệu duy nhất.

Contextual AI đã triển khai Nền tảng Dữ liệu WEKA trên Google Cloud để tạo ra một lớp cơ sở hạ tầng dữ liệu hiệu suất cao, quản lý tất cả các bộ dữ liệu của nó - tổng cộng 100TB - để đào tạo mô hình AI. Nền tảng WEKA đã mang đến một bước nhảy vọt về hiệu suất dữ liệu, tương quan trực tiếp với việc tăng năng suất của nhà phát triển và rút ngắn thời gian đào tạo mô hình.

Ngoài việc di chuyển dữ liệu nhanh chóng từ bộ nhớ đến bộ tăng tốc, nền tảng WEKA còn cung cấp cho Contextual AI khả năng xử lý siêu dữ liệu liền mạch, kiểm tra điểm và các khả năng xử lý dữ liệu sơ bộ, giúp loại bỏ tình trạng tắc nghẽn hiệu suất trong quy trình đào tạo, cải thiện việc sử dụng GPU và giúp giảm chi phí đám mây.

Ông Amanpreet Singh, CTO kiêm đồng sáng lập của Contextual AI, cho biết: “Việc đào tạo các mô hình AI quy mô lớn trên đám mây đòi hỏi một giải pháp quản lý dữ liệu hiện đại có thể mang lại khả năng sử dụng GPU cao và rút ngắn thời gian phát triển mô hình. "Với Nền tảng Dữ liệu WEKA, giờ đây chúng tôi đã có các đường dẫn dữ liệu mạnh mẽ cần thiết để cung cấp năng lượng cho GPU thế hệ tiếp theo và xây dựng các giải pháp AI tạo sinh tiên tiến ở quy mô lớn. Nó hoạt động như một phép thuật để biến bộ nhớ nhanh, phù du thành dữ liệu liên tục, giá cả phải chăng. ”

4. Kết quả đạt được với WEKA Data Platform

• Cải thiện hiệu suất gấp 3 lần: Đạt được hiệu suất tăng gấp ba lần cho các trường hợp sử dụng AI chính nhờ việc tăng đáng kể việc sử dụng GPU.
• Kiểm tra điểm mô hình AI nhanh hơn gấp 4 lần: Loại bỏ sự chậm trễ trong việc hoàn thành điểm kiểm tra mô hình để đạt được cải thiện gấp 4 lần trong quy trình kiểm tra điểm, cải thiện đáng kể năng suất của nhà phát triển.
• Giảm 38% chi phí: Chi phí lưu trữ đám mây liên quan đã giảm 38% cho mỗi terabyte.

Ông Jonathan Martin, chủ tịch của WEKA, cho biết: “AI tạo sinh về cơ bản có tiềm năng vô hạn để mở khóa những hiểu biết và tạo ra giá trị mới cho các doanh nghiệp, nhưng nhiều doanh nghiệp vẫn đang gặp khó khăn trong việc bắt đầu từ đâu và làm thế nào để thúc đẩy các dự án AI của họ tiến lên. “Contextual AI đang đổi mới tương lai của AI doanh nghiệp bằng cách tạo ra các giải pháp AI tạo sinh tiên tiến, giúp các tổ chức khai thác tiềm năng của AI nhanh hơn rất nhiều. WEKA tự hào được hỗ trợ Contextual AI vượt qua các thách thức quản lý dữ liệu quan trọng để đẩy nhanh việc đào tạo các mô hình AI đáng tin cậy, sẽ thúc đẩy cuộc cách mạng AI. ”

5. Giới thiệu về Contextual AI

Sứ mệnh của Contextual AI là thay đổi cách thức hoạt động của thế giới thông qua AI. Được các công ty thuộc Fortune 500 tin cậy, Công ty tự động hóa các nhiệm vụ phức tạp, cho phép người lao động tri thức tập trung vào các hoạt động có giá trị cao. Đồng sáng lập kiêm Giám đốc điều hành Douwe Kiela, người đi tiên phong trong kỹ thuật RAG tiêu chuẩn ngành ban đầu, dẫn dắt nhóm chuyên gia hàng đầu của chúng tôi cùng với Đồng sáng lập kiêm Giám đốc công nghệ Amanpreet Singh. Nhóm đang phát triển các ứng dụng AI tạo sinh có thể tùy chỉnh với công nghệ RAG 2.0 hiện đại và học máy đầu cuối cho các doanh nghiệp trên nhiều trường hợp sử dụng và lĩnh vực, bao gồm ngân hàng, chất bán dẫn, truyền thông, v.v. Có trụ sở chính tại Mountain View, với các văn phòng tại New York và London, Contextual AI sử dụng hơn 30 người.

6. Giới thiệu về WEKA

WEKA đang kiến tạo một phương pháp tiếp cận mới cho ngăn xếp dữ liệu doanh nghiệp được xây dựng cho kỷ nguyên AI. Nền tảng Dữ liệu WEKA® thiết lập tiêu chuẩn cho cơ sở hạ tầng AI với kiến trúc đám mây và AI-native có thể được triển khai ở mọi nơi, cung cấp khả năng di chuyển dữ liệu liền mạch trên các môi trường tại chỗ, đám mây và biên. Nó biến đổi các kho dữ liệu kế thừa thành các đường dẫn dữ liệu động, tăng tốc GPU, đào tạo và suy luận mô hình AI, và các khối lượng công việc đòi hỏi hiệu suất cao khác, cho phép chúng hoạt động hiệu quả hơn, tiêu thụ ít năng lượng hơn và giảm lượng khí thải carbon liên quan. WEKA giúp các doanh nghiệp và tổ chức nghiên cứu sáng tạo nhất thế giới vượt qua các thách thức dữ liệu phức tạp để đạt được những khám phá, hiểu biết và kết quả nhanh hơn và bền vững hơn - bao gồm 12 trong số 50 công ty thuộc Fortune 50.

Lưu ý:

• WEKA và logo WEKA là thương hiệu đã đăng ký của WekaIO, Inc. Các tên thương mại khác được sử dụng ở đây có thể là thương hiệu của chủ sở hữu tương ứng.