Reallusion và NVIDIA: Nâng tầm hoạt hình kỹ thuật số với AI

Mục lục

Khắc phục thách thức trong hoạt hình khuôn mặt
Audio2Face: Tạo hoạt hình khuôn mặt chân thực từ âm thanh
AccuFACE: Công nghệ mocap AI thế hệ tiếp theo
Tính khả dụng và tài nguyên liên quan

1. Khắc phục thách thức trong hoạt hình khuôn mặt

Trong quá trình sản xuất nội dung kỹ thuật số, tạo ra những nhân vật hoạt hình chân thực là điều tối quan trọng đối với các nhà làm phim, nhà phát triển trò chơi và những người sáng tạo nội dung. Reallusion là một trong những đơn vị đi đầu trong lĩnh vực này, sử dụng công nghệ AI mạnh mẽ như NVIDIA Audio2Face và NVIDIA Maxine để tạo ra những nhân vật kỹ thuật số sống động.

Một trong những thách thức lớn là tạo ra hoạt hình khuôn mặt đồng bộ với âm thanh trong một lần xử lý. Reallusion đã giải quyết vấn đề này bằng cách sử dụng Maxine AR, giúp loại bỏ sự đồng bộ phức tạp giữa nhiều luồng dữ liệu.

2. Audio2Face: Tạo hoạt hình khuôn mặt chân thực từ âm thanh

Audio2Face là công nghệ AI tiên tiến có khả năng tạo ra hoạt hình khuôn mặt và lip-syncing tự động từ đầu vào âm thanh hoặc văn bản. Nó hỗ trợ nhiều ngôn ngữ và có thể hoạt hình hóa nhân vật đang nói hoặc thậm chí đang hát.

Ngoài việc đồng bộ môi với âm thanh, Audio2Face còn có thể tạo ra các biểu cảm khuôn mặt chân thực. Các nhà hoạt hình có thể sử dụng thanh trượt và các điều khiển keyframe để tạo ra những biểu cảm phức tạp nhất, thể hiện cảm xúc và tính cách của nhân vật thông qua các biểu cảm khuôn mặt.

Reallusion đã tích hợp Audio2Face vào các ứng dụng Character Creator và iClone thông qua các plugin, cho phép tạo ra quy trình làm việc hoạt hình hỗ trợ AI liền mạch. Chỉ với một cú nhấp chuột, bạn có thể chuẩn bị tài sản cho hoạt hình, tạo ra các chuyển động khuôn mặt trực tiếp phù hợp với bất kỳ bản nhạc giọng nói nào được cung cấp. Hoạt hình thu được sau đó có thể được chuyển trực tiếp vào iClone, cho phép chỉnh sửa thêm và tinh chỉnh trước khi render để sử dụng trong các ứng dụng 3D, công cụ trò chơi và các môi trường sản xuất khác.

3. AccuFACE: Công nghệ mocap AI thế hệ tiếp theo

Hoạt hình khuôn mặt chân thực không chỉ là đồng bộ môi, mà còn cần thể hiện các biểu cảm tinh tế và phù hợp với cảm xúc được thể hiện trong lời nói. Ví dụ, biểu cảm khuôn mặt đóng vai trò quan trọng trong việc truyền tải sự mỉa mai.

AccuFACE là giải pháp của Reallusion sử dụng NVIDIA Maxine AR SDK để mang đến khả năng chụp khuôn mặt thời gian thực chưa từng có. Được hỗ trợ bởi GPU NVIDIA với Tensor Cores, Maxine AR SDK cung cấp theo dõi và mô hình hóa khuôn mặt 3D do AI điều khiển, ước tính tư thế cơ thể và hơn thế nữa.

Các tính năng chính của AccuFACE bao gồm:

Bản đồ điểm mốc chính xác
Theo dõi tư thế đầu và biến dạng
Tái tạo lưới khuôn mặt
Phát hiện và định vị khuôn mặt mạnh mẽ

Bằng cách tận dụng công nghệ Maxine tiên tiến, AccuFACE chuyển đổi dữ liệu khuôn mặt được chụp thành hoạt hình kỹ thuật số liền mạch và cho phép bạn tạo ra các hoạt hình khuôn mặt biểu cảm, điều khiển các avatar 3D phản hồi trong thời gian thực và tạo điều kiện cho các cuộc trò chuyện ảo tương tác.

4. Tính khả dụng và tài nguyên liên quan

NVIDIA Maxine cung cấp giao tiếp video chất lượng cao cho tất cả các chuyên gia, từ nâng cao nhu cầu hội nghị video hàng ngày đến tích hợp công nghệ AI.

Phiên bản sản xuất mới nhất của Maxine được bao gồm độc quyền với NVIDIA AI Enterprise, cho phép bạn khai thác các tính năng sẵn sàng cho sản xuất như Triton Inference Server, hỗ trợ doanh nghiệp và hơn thế nữa.

Nếu bạn quan tâm đến quyền truy cập sớm, với quyền truy cập không phải sản xuất vào sản xuất và các tính năng sắp ra mắt, hãy xem chương trình Maxine Early Access (yêu cầu đăng nhập).

Để giúp cải thiện các tính năng trong các bản phát hành sắp tới, hãy cung cấp phản hồi về khảo sát ứng dụng NVIDIA Maxine và NVIDIA Broadcast.

Ngoài ra, bạn có thể tìm hiểu thêm thông tin qua các tài nguyên sau:

Phiên GTC: Generative AI Theater: AI Decoded - Generative AI Spotlight Art With RTX PCs and Workstations
Phiên GTC: One-Click Creation of Hyper-Realistic 3D Characters from AI-Powered Conversations and Designs
Phiên GTC: Enabling Multi-Character Motion Capture and Real-Rime Rendering (Presented by Z by HP)
SDK: Path Tracing SDK
SDK: NVIDIA Real-Time Denoisers (NRD) SDK
SDK: RTX Direct Illumination (RTXDI) SDK

Reallusion và NVIDIA: Nâng tầm hoạt hình kỹ thuật số với AI