VoxCPM— 面壁智能联合清华推出的语音生成模型

心靈之曲

发布时间：2025-09-19 12:08:01

613人浏览过

来源于php中文网

原创

VoxCPM是什么

voxcpm 是面壁智能与清华大学深圳国际研究生院联合开发的 0.5b 参数语音生成模型。在语音合成的自然度、音色相似度及韵律表现力方面达到了业界顶尖水平。voxcpm 采用端到端的扩散自回归架构，直接从文本生成连续语音表示，突破了传统离散分词的局限。通过分层语言建模和有限状态量化约束，实现了语义与声学的隐式解耦，显著提升了语音的表达力和生成稳定性。voxcpm 支持零样本声音克隆，仅需一段参考音频，能精准复刻说话者的音色、口音、情感语调等特征，生成高度逼真的语音。推理效率极高，在 nvidia rtx 4090 gpu 上，实时因子（rtf）低至 0.17，可满足实时应用需求。voxcpm 支持中英双语声音复刻，能合成公式、符号音频，实现自定义读音纠正。

Z Code

智谱AI推出的轻量级AI代码编辑器

下载

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

VoxCPM的主要功能

上下文感知语音生成：VoxCPM能深度理解文本内容，根据文本的语义推断并生成合适的韵律，输出极具表现力且流畅自然的语音。可以根据文本内容自主调整说话风格，基于海量的180万小时双语语料库训练，生成高度契合的个性化声音表达。
零样本语音克隆：仅需一小段参考音频，VoxCPM可实现精准的零样本语音克隆。能完美复刻说话者的音色，能捕捉口音、情感语调、节奏和停顿等细微特征，打造出高度忠实且自然的仿声声音。
高效合成：VoxCPM支持流式合成，在消费级NVIDIA RTX 4090 GPU上，其实时因子（RTF）低至0.17，可轻松满足实时应用的需求。
多语言支持：VoxCPM主要针对英语和中文进行训练，能生成高质量的中英双语语音，适用于多种语言环境和应用场景。
灵活的文本输入方式：VoxCPM支持多种文本输入方式，包括普通文本输入和音素输入。用户可以根据需要选择不同的输入模式，实现更精确的发音控制。
强大的语音处理能力：VoxCPM能处理复杂的文本内容，包括公式、符号等特殊文本，生成对应的语音输出。支持自定义读音纠正，用户可以通过音素标记替换来实现特定的发音需求。

VoxCPM的技术原理

端到端扩散自回归架构：VoxCPM 采用端到端的扩散自回归（Diffusion Autoregressive）架构，直接从文本生成连续的语音表示，突破了传统离散分词的局限，能更自然地处理语音的连续性。
分层语言建模与 FSQ 约束：通过分层语言建模（Hierarchical Language Modeling）和有限状态量化（FSQ）约束，VoxCPM 实现了隐式的语义-声学解耦（Semantic-Acoustic Decoupling），显著增强了语音的表达力和生成稳定性。
局部音频编码模块（LocEnc Module）：模块负责对输入的文本进行编码，提取文本的语义信息，将其转换为适合语音生成的中间表示。
文本-语义语言模型（Text-Semantic LM, TSLM）：TSLM 负责对文本的语义进行建模，生成与文本内容相关的语义表示，为后续的语音生成提供语义基础。
残差声学语言模型（Residual Acoustic LM, RALM）：RALM 在 TSLM 的基础上进一步细化声学特征，添加声学细节，使生成的语音更加自然和逼真。
局部扩散生成模块（LocDiT Module）：LocDiT 模块通过扩散过程生成连续的语音特征，将语义和声学信息融合，最终生成高质量的语音波形。
因果式 VAE 编解码器：用于将原始音频波形压缩至低帧率的隐空间，并将生成的语音表征重构回波形信号，确保生成的语音具有良好的质量和稳定性。