B站（哔哩哔哩）语音团队开源新一代语音合成模型 IndexTTS2

哔哩哔哩语音团队近日发布并开源了其最新研发的零样本语音合成模型indextts2。

相关研究论文《IndexTTS2: A Breakthrough in Emotionally Expressive and Duration-Controlled Auto-Regressive Zero-Shot Text-to-Speech》已发表于arXiv，同时代码与预训练模型权重已在GitHub和Hugging Face平台全面开放。

https://www.php.cn/link/7b905b5bd19b35cf3f9d762aa6acaa45

https://www.php.cn/link/ef9ffa986fa98b2485fe6b57ac0c6b1b

该模型首次在自回归结构中引入“时间编码”机制，支持通过设定目标token数量实现毫秒级精确时长控制，同时也可自然生成保持原始语调与节奏的语音输出。

IndexTTS2由三大核心组件构成：Text-to-Semantic（T2S）、Semantic-to-Mel（S2M）以及升级版声码器BigVGANv2。首先，T2S模块接收输入文本、风格提示、音色参考以及可选的目标语义token数量，生成对应的语义表示序列；随后，S2M模块结合语义token与音色信息，预测出梅尔频谱图；最终，BigVGANv2将频谱图转化为高保真语音波形，完成端到端语音合成。

BibiGPT-哔哔终结者

B站视频总结器-一键总结 音视频内容

28

查看详情

IndexTTS2整体架构示意图

模型训练融合了高达55,000小时的中英文双语语音数据及135小时的情感标注语音。在LibriSpeech-test-clean、SeedTTS test-zh/en、AISHELL-1等多个权威测试集上，IndexTTS2在词错率与说话人相似度指标方面均达到当前最优水平。主观MOS评分结果显示，情感表现自然度达4.22分，情感匹配度为0.887，时长控制精度误差小于0.07%。

项目现已提供WebUI界面与Python API接口，支持标准零样本语音合成与情绪引导合成模式，适用于AI配音、有声书制作、视频翻译、播客生产等多种应用场景。官方同步推出了“原声视频翻译”功能的内测版本，用户可直观体验定长时间对齐的语音合成效果。

以上就是B站（哔哩哔哩）语音团队开源新一代语音合成模型 IndexTTS2的详细内容，更多请关注php中文网其它相关文章！