昆仑元 AI 正式推出基于昇腾（Ascend）平台的全模态融合模型 BaiZe-Omni-14b-a2b。该模型具备卓越的文本、音频、图像与视频理解及生成能力，采用创新架构设计，包括模态解耦编码、统一跨模态融合机制以及双分支功能结构，致力于推动多模态人工智能技术的应用落地。
BaiZe-Omni-14b-a2b 的构建流程涵盖输入处理、模态适配、跨模态融合、核心功能模块和输出解码等多个关键环节。为提升计算效率，模型在 MoE+TransformerX 架构基础上引入了多线性注意力机制与单层混合注意力聚合层，有效支撑大规模全模态任务的高效运行。其独特的双分支架构在增强语义理解的同时，显著提升了内容生成质量，可稳定支持多达10类多模态任务，并展现出强大的跨模态生成潜力。
在训练阶段，昆仑元 AI 投入海量高质量数据资源，确保模型具备扎实的多模态基础能力。训练集包含超过3.57万亿 token 的文本数据、逾30万小时的音频资料、4亿张图像样本以及超过40万小时的视频内容，充分保障了单模态纯净度与跨模态对齐精度。通过精细化调控各模态数据配比，模型在不同训练阶段均实现了持续稳定的性能跃升。
性能测试显示，BaiZe-Omni-14b-a2b 在多模态理解的关键指标上表现优异，文本理解准确率高达89.3%。在长序列处理任务中，面对32768token 的文本摘要挑战，其 ROUGE-L 得分达到0.521，明显优于主流模型 GPT-4 的0.487。同时，该模型支持多语言文本生成，并能实现图像、音频和视频的高质量跨模态生成，全面展现其领先的综合能力。
源码地址：点击下载
