NVIDIA vereinfacht AI-angetriebene MetaHuman-Implementierung mit neuen ACE-Plugins und Microservices
Das Unreal Fest Seattle 2024 ist gestartet und NVIDIA kündigte die Veröffentlichung von neuen On-Device-Plugins für NVIDIA ACE in der Unreal Engine 5 an. Damit werden die Erstellung und der Einsatz von AI-gesteuerten MetaHuman-Charakteren auf Windows-PCs vereinfacht.
Die wichtigsten Highlights:
Neue Unreal Engine 5 ACE Plugins:
Audio2Face-3D Plugin: Ermöglicht AI-gesteuerte Lippensynchronisation und Gesichtsanimation direkt in der Unreal Engine 5.
Nemotron-Mini 4B Instruct Plugin: Ermöglicht die Generierung von Dialogen mit interaktiven Charakteren.
Retrieval Augmented Generation (RAG) Plugin: Liefert kontextbezogene Informationen, um die Interaktionen zwischen den Charakteren zu verbessern.
Audio2Face-3D Plugin für Autodesk Maya:
Ermöglicht hochwertige, audiogesteuerte Gesichtsanimationen in Maya.
Enthält den Quellcode zur Anpassung und Integration in andere Tools zur Erstellung digitaler Inhalte.
Optimiert den Workflow zwischen Maya und Unreal Engine 5.
Unreal Engine 5 Renderer Microservice mit Pixel Streaming:
Verwendet die Unreal Pixel Streaming-Technologie von Epic.
Unterstützt ab sofort den NVIDIA ACE Animation Graph Microservice und Linux OS im Early Access.
Ermöglicht es Entwicklern, MetaHuman-Charaktere mit hoher Wiedergabetreue über Web Real-Time Communication (WebRTC) auf alle Endgeräte zu übertragen.
Vorzüge für Entwickler:
Vereinfacht die Integration von AI-gesteuerten digitalen Personen in Spiele und Applikationen.
Optimierte Microservices für geringe Latenzen und minimalen Speicherbedarf auf Windows-PCs.
Verbessert die Skalierbarkeit für die Cloud-basierte Implementierung von digitalen Menschen.
Bietet anpassbare Tools und Quellcode für individuelle Bedürfnisse bei der Entwicklung.
Entwickler können einen frühzeitigen Zugang beantragen, um den Unreal Engine 5 Renderer Microservice mit Unterstützung für Animation Graph Microservice und Linux OS herunterzuladen. Das Maya ACE-Plugin steht auf GitHub zum Download bereit.