首页 > 新闻 > IT新闻 > 正文

小红书开源 FireRedTTS2,专为长对话设计的语音生成系统

DDD
发布: 2025-09-12 18:20:01
原创
925人浏览过

小红书开源 fireredtts2,专为长对话设计的语音生成系统

小红书团队近日开源了名为 FireRedTTS2 的全新语音合成系统,专为多说话人场景下的长篇流式对话生成设计,致力于为播客内容创作与智能聊天机器人提供更加自然、连贯的语音输出体验。

主要特性包括:

  • 支持长文本多角色对话:可生成最长 3 分钟的四人对话内容,并具备良好的扩展性,通过增加训练数据即可支持更长时间的对话及更多说话人。
  • 多语言能力强大:系统覆盖英语、中文、日语、韩语、法语、德语和俄语等多种语言,能够在跨语言交流或代码切换语境下实现零样本语音克隆,无需额外参考音频即可生成目标音色的语音。
  • 极致低延迟表现:依托 12.5Hz 的流式语音标记器与双 Transformer 架构,支持文本与语音标记的交错生成,实现逐句实时合成。首包响应延迟低至 140ms,在保证流畅性的同时维持高保真音质。
  • 合成稳定性优异:在独白与多人对话测试中均表现出高度的语音相似度以及较低的词错误率(WER)和字符错误率(CER),确保信息准确传达。
  • 支持随机音色生成:可用于构建多样化的语音交互训练数据集,提升语音识别与对话系统的鲁棒性。

目前,项目团队已公开技术论文与演示页面,并预告将于 10 月发布升级版多语言基础模型、完整的微调代码与使用教程,以及端到端的 text-to-blog 生成流程。

小红书开源 FireRedTTS2,专为长对话设计的语音生成系统

快写红薯通AI
快写红薯通AI

快写红薯通AI,专为小红书而生的AI写作工具

快写红薯通AI 57
查看详情 快写红薯通AI

该项目代码已完整开源,附带详细的安装指南和使用示例,依赖 PyTorch 2.7.1 版本,模型权重已上传至 Hugging Face 平台,便于开发者快速集成与部署。

https://www.php.cn/link/23f38cc38c9291fec95487293bbed704
https://www.php.cn/link/100a527975525b513a983359a3c51378
https://www.php.cn/link/51540863fba76ac6cb10eded0ff9ef7b

源码地址:点击下载

以上就是小红书开源 FireRedTTS2,专为长对话设计的语音生成系统的详细内容,更多请关注php中文网其它相关文章!

小红书
小红书

小红书是一款集种草分享、生活购物、社交于一体的综合app。小红书汇集了时尚、美容、生活方式、旅行、美食等多个领域的内容,为用户提供了丰富多彩的体验和无限灵感,有需要的小伙伴快来保存下载体验吧!

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号