Arize AI và LlamaIndex hợp tác ra mắt nền tảng đánh giá ứng dụng LLM LlamaTrace

Arize AI và LlamaIndex hợp tác ra mắt nền tảng đánh giá ứng dụng LLM

Mục lục:

1. LlamaTrace: Nền tảng đánh giá LLM mới
2. Thách thức trong phát triển LLM
3. LlamaTrace: Giải pháp tối ưu cho AI
4. Lợi ích của LlamaTrace
5. Phát biểu của lãnh đạo
6. Kết luận

1. LlamaTrace: Nền tảng đánh giá LLM mới

Arize AI và LlamaIndex, hai công ty hàng đầu trong lĩnh vực quan sát AI và đánh giá LLM, đã hợp tác ra mắt một sản phẩm mới mang tên LlamaTrace. LlamaTrace là phiên bản được lưu trữ của Arize OSS Phoenix, một nền tảng giúp đánh giá hiệu quả các ứng dụng LLM.

2. Thách thức trong phát triển LLM

Theo một cuộc khảo sát sắp được công bố, 47,7% kỹ sư và nhà phát triển AI đang xây dựng ứng dụng AI thế hệ mới đang tận dụng khả năng truy xuất thông tin trong các ứng dụng LLM của họ. Việc kết nối dữ liệu với AI thế hệ mới, các framework dàn dựng như LlamaIndex có thể là yếu tố thay đổi cuộc chơi trong việc đẩy nhanh phát triển AI thế hệ mới. Tuy nhiên, đối với nhiều nhóm và doanh nghiệp, vẫn còn những thách thức kỹ thuật trong việc đưa các hệ thống LLM hiện đại - với các lớp trừu tượng - sẵn sàng cho thế giới thực.

3. LlamaTrace: Giải pháp tối ưu cho AI

Để hỗ trợ giải quyết vấn đề này, Arize và LlamaIndex đã ra mắt một nền tảng theo dõi và quan sát LLM hoạt động trực tiếp với hệ sinh thái LlamaIndex và Arize. Được xây dựng trên nền tảng Arize Phoenix OSS, phiên bản được lưu trữ của Phoenix cung cấp khả năng lưu trữ dữ liệu telemetry ứng dụng được tạo ra trong quá trình phát triển AI để cải thiện khả năng thử nghiệm, lặp lại và cộng tác trong phát triển hoặc sản xuất.

4. Lợi ích của LlamaTrace

LlamaTrace được phát triển dựa trên mã nguồn mở và cung cấp tùy chọn triển khai trực tuyến, được lưu trữ đầy đủ cho các nhóm không muốn tự lưu trữ. Kỹ sư AI có thể ngay lập tức ghi nhật ký theo dõi, lưu trữ bộ dữ liệu, chạy thử nghiệm, đánh giá - và chia sẻ những hiểu biết đó với đồng nghiệp.

5. Phát biểu của lãnh đạo

Chúng tôi chia sẻ tầm nhìn với LlamaIndex trong việc cho phép các nhà phát triển giảm thời gian cần thiết để triển khai AI thế hệ mới vào sản xuất, nhưng theo cách cực kỳ cứng cáp cho các trường hợp sử dụng quan trọng đối với doanh nghiệp, Jason Lopatecki, Giám đốc điều hành và Đồng sáng lập của Arize chia sẻ. Là những nhà lãnh đạo trong các lĩnh vực tương ứng của chúng tôi với triết lý chung trong việc trao quyền cho các kỹ sư và nhà phát triển AI, chúng tôi ở vị trí độc đáo ở đây để làm điều gì đó có thể thúc đẩy LLMOps hiện đại và mở rộng việc áp dụng.

Việc tạo mẫu một đường ống dẫn RAG hoặc tác nhân rất dễ dàng, nhưng mỗi kỹ sư AI cần có lớp xử lý dữ liệu phù hợp, framework dàn dựng và công cụ thử nghiệm / giám sát để đưa các ứng dụng này vào sản xuất. LlamaTrace của Arize cung cấp bộ công cụ phong phú nhất mà chúng tôi đã thấy trong việc cho phép các nhà phát triển quan sát, gỡ lỗi và đánh giá từng bước chi tiết của luồng công việc LLM rất phức tạp, và nó bổ sung một cách đẹp mắt cho nền tảng dữ liệu sẵn sàng sản xuất và framework dàn dựng mà LlamaCloud và LlamaIndex cung cấp, Jerry Liu, Giám đốc điều hành của LlamaIndex cho biết.

6. Kết luận

LlamaTrace là một giải pháp hứa hẹn giúp các nhà phát triển AI dễ dàng đánh giá và triển khai các ứng dụng LLM vào sản xuất. Nền tảng này được thiết kế để giúp các doanh nghiệp tối ưu hóa quá trình phát triển AI, giảm thiểu rủi ro và nâng cao hiệu quả.