NVIDIA AI Workbench: Công cụ hỗ trợ phát triển ứng dụng AI dễ dàng hơn bao giờ hết

Mục lục:

• 1. Giới thiệu về NVIDIA AI Workbench

• 2. Cách AI Workbench giúp giải quyết các thách thức trong dự án AI

• 3. RAG cho tài liệu, dễ dàng hơn bao giờ hết

• 4. Tùy chỉnh, tối ưu hóa và triển khai

• 5. Kết luận

1. Giới thiệu về NVIDIA AI Workbench

NVIDIA AI Workbench là một công cụ miễn phí giúp người dùng phát triển, thử nghiệm, kiểm tra và tạo mẫu các ứng dụng AI trên các hệ thống GPU của họ. Công cụ này cung cấp một cách tiếp cận mới để tạo, sử dụng và chia sẻ môi trường phát triển được hỗ trợ bởi GPU cho nhiều người và hệ thống.

Quá trình cài đặt đơn giản cho phép người dùng nhanh chóng bắt đầu sử dụng AI Workbench trên máy cục bộ hoặc từ xa. Người dùng có thể bắt đầu một dự án mới hoặc sao chép một dự án từ các ví dụ trên GitHub. Mọi thứ hoạt động thông qua GitHub hoặc GitLab, cho phép người dùng dễ dàng cộng tác và phân phối công việc.

2. Cách AI Workbench giúp giải quyết các thách thức trong dự án AI

Phát triển các khối lượng công việc AI có thể yêu cầu các quy trình thủ công và phức tạp, ngay từ đầu.

• * Cài đặt GPU, cập nhật trình điều khiển và quản lý các vấn đề về phiên bản có thể gây phiền hà.
• * Tái tạo dự án trên các hệ thống khác nhau có thể yêu cầu việc lặp lại các quy trình thủ công.
• * Sự không nhất quán khi sao chép dự án, chẳng hạn như vấn đề phân mảnh dữ liệu và kiểm soát phiên bản, có thể cản trở sự cộng tác.
• * Các quy trình thiết lập đa dạng, chuyển đổi thông tin xác thực và bí mật, cũng như thay đổi môi trường, dữ liệu, mô hình và vị trí tệp có thể hạn chế khả năng di chuyển của dự án.

AI Workbench giúp các nhà khoa học dữ liệu và nhà phát triển dễ dàng quản lý công việc và cộng tác trên các nền tảng không đồng nhất. Nó tích hợp và tự động hóa nhiều khía cạnh của quy trình phát triển, cung cấp:

• * Dễ dàng thiết lập: AI Workbench hợp lý hóa quy trình thiết lập môi trường phát triển được tăng tốc bởi GPU, ngay cả đối với những người dùng có kiến thức kỹ thuật hạn chế.
• * Cộng tác liền mạch: AI Workbench tích hợp với các công cụ kiểm soát phiên bản và quản lý dự án như GitHub và GitLab, giảm thiểu ma sát khi cộng tác.
• * Sự nhất quán khi mở rộng quy mô từ cục bộ đến đám mây: AI Workbench đảm bảo tính nhất quán trên nhiều môi trường, hỗ trợ mở rộng quy mô lên hoặc xuống từ máy trạm hoặc PC cục bộ đến trung tâm dữ liệu hoặc đám mây.

3. RAG cho tài liệu, dễ dàng hơn bao giờ hết

NVIDIA cung cấp các dự án Workbench mẫu để giúp người dùng bắt đầu sử dụng AI Workbench. Dự án Workbench RAG lai là một ví dụ: Nó chạy một ứng dụng web RAG dựa trên văn bản tùy chỉnh với tài liệu của người dùng trên máy trạm cục bộ, PC hoặc hệ thống từ xa.

Mỗi Dự án Workbench chạy trong một container - phần mềm bao gồm tất cả các thành phần cần thiết để chạy ứng dụng AI. Mẫu RAG lai kết hợp giao diện người dùng trò chuyện Gradio trên máy chủ với máy chủ RAG được đóng gói - phần phụ trợ cung cấp dịch vụ cho yêu cầu của người dùng và định tuyến truy vấn đến và từ cơ sở dữ liệu vectơ và mô hình ngôn ngữ lớn đã chọn.

Dự án Workbench này hỗ trợ nhiều loại LLM có sẵn trên trang GitHub của NVIDIA. Hơn nữa, bản chất lai của dự án cho phép người dùng chọn vị trí chạy suy luận.

Các dự án Workbench cho phép người dùng quản lý phiên bản môi trường phát triển và mã. Các nhà phát triển có thể chạy mô hình nhúng trên máy chủ và chạy suy luận cục bộ trên máy chủ Suy luận Tạo văn bản Hugging Face, trên tài nguyên đám mây mục tiêu bằng cách sử dụng các điểm cuối suy luận NVIDIA như danh mục API NVIDIA, hoặc với các dịch vụ tự lưu trữ như NVIDIA NIM hoặc dịch vụ của bên thứ ba.

Dự án Workbench RAG lai cũng bao gồm:

• * Số liệu hiệu suất: Người dùng có thể đánh giá hiệu suất của các truy vấn của người dùng dựa trên RAG và không dựa trên RAG trên mỗi chế độ suy luận. Các số liệu được theo dõi bao gồm Thời gian truy xuất, Thời gian đến Token đầu tiên (TTFT) và Tốc độ Token.
• * Minh bạch về truy xuất: Một bảng điều khiển hiển thị các đoạn văn bản chính xác - được truy xuất từ nội dung liên quan nhất trong cơ sở dữ liệu vectơ - được đưa vào LLM và cải thiện sự liên quan của phản hồi với truy vấn của người dùng.
• * Tùy chỉnh phản hồi: Phản hồi có thể được điều chỉnh với nhiều tham số, chẳng hạn như số lượng token tối đa để tạo, nhiệt độ và hình phạt tần suất.

Để bắt đầu với dự án này, chỉ cần cài đặt AI Workbench trên hệ thống cục bộ. Dự án Workbench RAG lai có thể được đưa từ GitHub vào tài khoản của người dùng và nhân đôi vào hệ thống cục bộ.

4. Tùy chỉnh, tối ưu hóa và triển khai

Các nhà phát triển thường muốn tùy chỉnh các mô hình AI cho các trường hợp sử dụng cụ thể. Điều chỉnh tinh, một kỹ thuật thay đổi mô hình bằng cách đào tạo nó với dữ liệu bổ sung, có thể hữu ích cho việc chuyển đổi phong cách hoặc thay đổi hành vi của mô hình. AI Workbench cũng hỗ trợ việc điều chỉnh tinh.

Dự án Workbench Llama-factory cho phép QLoRa, một phương pháp điều chỉnh tinh tối thiểu hóa yêu cầu bộ nhớ, cho nhiều mô hình, cũng như lượng tử hóa mô hình thông qua giao diện người dùng đồ họa đơn giản. Các nhà phát triển có thể sử dụng các bộ dữ liệu công khai hoặc bộ dữ liệu riêng của họ để đáp ứng nhu cầu của các ứng dụng của họ.

Sau khi điều chỉnh tinh hoàn tất, mô hình có thể được lượng tử hóa để cải thiện hiệu suất và giảm dấu chân bộ nhớ, sau đó được triển khai vào các ứng dụng Windows gốc để suy luận cục bộ hoặc vào NVIDIA NIM để suy luận đám mây. Tìm một hướng dẫn đầy đủ cho dự án này trên kho lưu trữ NVIDIA RTX AI Toolkit.

5. Kết luận

Dự án Workbench RAG lai được mô tả ở trên là lai theo nhiều cách. Ngoài việc cung cấp lựa chọn chế độ suy luận, dự án có thể được chạy cục bộ trên các máy trạm NVIDIA RTX và PC GeForce RTX, hoặc được mở rộng quy mô lên các máy chủ đám mây từ xa và trung tâm dữ liệu.

Khả năng chạy các dự án trên các hệ thống do người dùng lựa chọn - mà không cần chi phí quản lý để thiết lập cơ sở hạ tầng - được mở rộng cho tất cả các dự án Workbench. Tìm thêm các ví dụ và hướng dẫn về việc điều chỉnh tinh và tùy chỉnh trong hướng dẫn khởi động nhanh AI Workbench.

AI thế hệ mới đang biến đổi trò chơi, hội nghị truyền hình và các trải nghiệm tương tác. Hãy nắm bắt những gì mới và những gì sắp tới bằng cách đăng ký nhận bản tin AI Decoded.