NVIDIA宣布NVIDIA a officiellement ouvert le code source de son modèle Audio2Face et du SDK associé, facilitant ainsi l'intégration de cette technologie avancée par les développeurs de jeux et d'applications 3D pour créer des animations de personnages réalistes et des expériences interactives plus immersives. Outre le modèle et le kit de développement logiciel, NVIDIA fournira également un framework d'entraînement open source complet, permettant aux développeurs de l'affiner ou de le personnaliser en fonction des besoins des différentes applications, pour une utilisation extrêmement flexible.
Appartient à celui présenté au CES 2025 plus tôt cette annéeProjet R2XLe point fort de la technologie Audio2Face est qu’elle peut convertir automatiquement la parole en expressions faciales et mouvements des lèvres réalistes grâce à l’IA générative.
Cette technologie permet une synchronisation labiale et une expression émotionnelle naturelles et précises, qu'il s'agisse des dialogues des personnages en jeu, des robots du service client ou même des interactions en direct avec des présentateurs virtuels. Les développeurs peuvent générer rapidement des animations faciales dynamiques sans le processus fastidieux d'animation image par image, réduisant ainsi considérablement les coûts de main-d'œuvre et les cycles de production.
Techniquement, Audio2Face non seulement associe avec précision les phonèmes et l'intonation à la parole, mais génère également les résultats sous forme de flux de données animé pour un rendu hors ligne ou une diffusion en temps réel. Cette technologie permet ainsi de prendre en charge aussi bien des contenus de préproduction de haute qualité que des scénarios interactifs nécessitant une réponse immédiate, comme les dialogues de PNJ dans un jeu vidéo ou la diffusion en direct d'humains virtuels.
Audio2Face est déjà largement utilisé dans les industries du jeu vidéo et du divertissement. Des développeurs internationaux tels que Codemasters, GSC Game World, NetEase et Perfect World ont intégré cette technologie à leurs jeux. Des éditeurs de logiciels indépendants comme Convai, Inworld AI, Reallusion, Streamlabs et UneeQ exploitent également Audio2Face pour créer des solutions d'interaction virtuelle plus immersives.
NVIDIA a déclaré qu'en rendant la technologie Audio2Face open source, elle élargira davantage l'écosystème d'applications de la technologie Audio2Face, permettant à davantage de développeurs de trouver des ressources d'outils complètes et des cas d'application sur la plate-forme NVIDIA ACE for Games, et même de la combiner avec d'autres outils d'IA générative pour créer des solutions d'avatar numérique plus complètes.
Par le passé, l'animation faciale des personnages reposait souvent sur des ajustements répétitifs effectués par des animateurs professionnels, un processus long et laborieux qui ne répondait pas aux exigences des applications temps réel. Grâce à la version open source d'Audio2Face, davantage d'équipes indépendantes et de startups pourront adopter cette technologie à moindre coût, créant ainsi des personnages numériques uniques et naturels. Pour l'industrie du jeu vidéo, cela améliorera considérablement l'interactivité des personnages PNJ, tandis que pour le divertissement multimédia et le service client virtuel, cela offrira une expérience conversationnelle plus réaliste, comblant ainsi le fossé entre le virtuel et le réel.
Alors que l'IA générative gagne rapidement en popularité dans tous les secteurs, l'open source de la technologie Audio2Face par NVIDIA va au-delà de la simple mise à disposition d'outils et de ressources ; elle favorise la standardisation et l'adoption généralisée de la technologie de l'« humain numérique ». Cette technologie devrait permettre des formes interactives encore plus innovantes dans les applications futures, des jeux vidéo à la production cinématographique, en passant par les applications d'entreprise.
