Xiaomi-MiMo-Audio— 小米开源的端到端语音大模型

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

Xiaomi-MiMo-Audio 是小米推出的首个原生端到端语音大模型，标志着其在语音人工智能领域的重大突破。该模型采用创新的预训练架构，并依托超过上亿小时的海量音频数据进行训练，首次在语音任务中实现了基于上下文学习（In-Context Learning, ICL）的少样本泛化能力，显著降低了对大规模标注数据的依赖，被誉为语音领域迈向“GPT-3时刻”的关键一步。

在多个权威评测中，xiaomi-mimo-audio 表现出色，性能远超同规模开源模型，在7b参数级别中达到领先水平。尤其在音频理解基准 mmau 的标准测试集中，其表现超越了 google 的 gemini-2.5-flash；在面向复杂音频推理的 big bench audio s2t 任务中，也优于 openai 的 gpt-4o-audio-preview，展现出强大的理解和推理能力。

小米已全面开源该项目，包括预训练模型 MiMo-Audio-7B-Base、指令微调模型 MiMo-Audio-7B-Instruct，以及一个拥有1.2B参数的 Tokenizer 模型。Tokenizer 不仅支持高保真音频重建，还可完成高质量的音频转文本（A2T）任务，覆盖千万小时以上的多语言语音数据。

小爱开放平台

小米旗下小爱开放平台

23

查看详情

主要功能特性

• 少样本泛化：首次实现语音领域的 In-Context Learning 能力，仅需少量示例即可快速适应新任务，极大提升部署灵活性。
• 跨模态对齐：通过后训练激发模型的情商、智商、表现力与安全性，使语音对话更加自然流畅，具备高度拟人化的交互体验。
• 语音理解与生成一体化：在多项通用语音理解与对话评测中刷新记录，性能不仅领先同类开源模型，甚至超越部分闭源系统。
• 复杂音频推理能力：在 Big Bench Audio 等高难度推理任务中表现卓越，证明其具备深层次语义解析和逻辑推导能力。
• 语音续写功能：MiMo-Audio-7B-Base 是当前唯一具备语音续写能力的开源语音大模型，可基于输入语音延续语义内容。
• 混合思考机制：作为首个将“Thinking”机制引入语音理解与生成全过程的开源模型，支持深度推理与动态响应生成。
• 音频转文本支持：配备专用 Tokenizer 模型，高效完成 A2T 任务，适用于多种语音识别场景。

核心技术亮点

• 创新预训练架构：基于海量无标签语音数据设计新型训练框架，增强模型对语音信号的深层表征能力。
• ICL 少样本学习：打破传统语音模型依赖大量标注数据的局限，实现任务级快速迁移与适配。
• 跨模态对齐优化：通过轻量级后训练强化语言与语音之间的语义一致性，提升情感表达与交互智能。
• 无损压缩预训练：利用语音无损压缩技术进行预训练，促进跨任务泛化，揭示语音模型中的“涌现”现象。
• 高性能 Tokenizer：采用1.2B参数的 Transformer 架构，从零训练而来，支持精确音频编码与解码，兼顾重建质量与文本转换能力。
• 轻量微调策略：通过监督微调（SFT）进一步提升模型实用性，在保持效率的同时优化下游任务表现。
• Thinking 机制融合：将思维链（Chain-of-Thought）理念融入语音处理流程，实现理解与生成过程中的混合思考。

开源资源链接

• 项目官网：https://www.php.cn/link/dc0e16a46c7bb604bc7fd87037f32787
• GitHub 仓库：https://www.php.cn/link/457c753860099e09373e202e39292de9
• HuggingFace 模型页面
  • MiMo-Audio-7B-Base
  • MiMo-Audio-7B-Instruct
  • Tokenizer 模型
• 技术白皮书：https://www.php.cn/link/457c753860099e09373e202e39292de9/blob/main/MiMo-Audio-Technical-Report.pdf

典型应用场景

• 智能语音助手：提供更自然、富有情感的多轮对话体验，支持多语种及方言交互。
• 语音内容生成：用于有声书、广播播报、导航提示等高质量语音合成场景。
• 语音转写服务：适用于会议纪要自动生成、语音搜索、实时字幕等 A2T 应用。
• 音频创作辅助：帮助创作者快速生成语音脚本或配音内容，提升内容生产效率。
• 情感化交互系统：应用于陪伴型机器人、智能客服等需要情绪感知与回应的场景。
• 语音识别与控制：在智能家居、车载系统中实现高精度语音指令识别与语义理解。

以上就是Xiaomi-MiMo-Audio— 小米开源的端到端语音大模型的详细内容，更多请关注php中文网其它相关文章！