DiaMoE-TTS— 清华联合巨人网络开源的多方言TTS框架-人工智能-PHP中文网

DiaMoE-TTS— 清华联合巨人网络开源的多方言TTS框架

聖光之護

发布： 2025-10-17 13:04:24

原创

495人浏览过

DiaMoE-TTS是什么

diamoe-tts 是清华大学和巨人网络联合推出的多方言语音合成（tts）框架。框架基于国际音标（ipa）统一输入体系，结合方言感知的 mixture-of-experts（moe）架构和低资源适配策略（peft），实现低成本、低门槛的多方言语音合成。框架支持多种方言和小语种，能在少量数据下快速建模，兼具高效性和灵活性。diamoe-tts数据、代码和方法全面开源，推动方言保护与文化传承，让小众语言在数字世界中被听见。

Seed-TTS

Seed-TTS 是一个高质量多功能的文本到语音生成模型

476

查看详情

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

DiaMoE-TTS的主要功能

多方言语音合成：支持多种方言和小语种语音合成，涵盖粤语、闽南话、吴语等，能扩展到京剧韵白等特殊类型，让小众语言能开口说话。
低资源适配：通过 PEFT 策略和数据增强，在仅有数小时语料的低资源条件下，能快速适配新方言，合成自然流畅的语音。
高可扩展性：全链路开源，提供完整的数据预处理、训练和推理代码，支持多种语言，方便研究者和开发者复现与扩展。
高自然度语音合成：用方言感知 MoE 架构，通过动态门控机制选择专家网络，保留每种方言的独特音色和韵律，提升语音自然度。

DiaMoE-TTS的技术原理

统一的 IPA 前端：使用国际音标（IPA）作为统一输入体系，将所有方言的语音映射到同一音素空间，消除跨方言间的差异性，保证模型训练的一致性和泛化能力。
方言感知 MoE 架构：引入多个专家网络，每个专家专注于学习一种或几种方言的特征，避免单一网络的“风格平均化”问题。：根据输入的 IPA 自动选择最适合的专家网络进行语音合成，同时加入方言分类辅助损失，增强专家网络的区分能力。
低资源适配策略（PEFT）：在 text embedding 层和注意力层中融入 Conditioning Adapter 和 LoRA，仅需微调少量参数完成方言扩展，主干网络和 MoE 模块保持冻结。用音高扰动和语速扰动等技术，提升模型在低资源条件下的合成效果。
多阶段训练方法：在 F5-TTS 原始 checkpoint 的基础上，引入 IPA 音素转换的数据进行预热训练，实现输入形式的平滑迁移。用多个开源方言数据进行联合建模，激活 MoE 结构，学习共享特征、区分不同方言的发音模式。通过动态门控机制和方言分类辅助损失，进一步优化 MoE 的分流效果，捕捉每种方言的独特特征。针对仅有数小时语料的新方言，用 PEFT 策略结合数据增强，实现高效迁移、保持已有知识不被遗忘。