9月25日,nvidia宣布将开源其audio2face模型及配套sdk,向所有游戏与3d应用开发者开放高精度角色面部动画技术的使用权限。此次开源还包括audio2face的完整训练框架,允许开发者根据具体需求对模型进行个性化微调和定制化开发。
NVIDIA Audio2Face借助生成式AI实现高质量的实时面部动画与精准唇形同步,显著提升写实数字人角色的制作效率。该技术通过深度学习分析音频中的音素、语调等语音特征,自动生成相应的面部表情动画数据流,并将其映射到3D角色模型上。这些动画既可用于预渲染内容,也可驱动实时交互式角色,实现自然流畅的情感表达与口型匹配。
目前,Audio2Face已在游戏、影视制作、虚拟助手及客户服务等多个领域落地应用。众多知名游戏公司与软件开发商已在其项目中集成该技术,其中包括Codemasters、GSC Game World、网易、完美世界等游戏企业,以及Convai、Inworld AI、Reallusion、Streamlabs和UneeQ等ISV合作伙伴。
以下是即将发布的开源工具一览,更多技术细节可参考面向游戏开发的 NVIDIA ACE 平台介绍。

关于NVIDIA
NVIDIA(NASDAQ: NVDA)是全球领先的加速计算技术公司,致力于推动人工智能与图形计算的创新发展。
以上就是NVIDIA开源Audio2Face模型及SDK的详细内容,更多请关注php中文网其它相关文章!
解决渣网、解决锁区、快速下载数据、时刻追新游,现在下载,即刻拥有流畅网络。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号