华为推出准万亿参数盘古Ultra MoE模型全流程在昇腾AI平台训练-人工智能-PHP中文网

华为推出准万亿参数盘古Ultra MoE模型全流程在昇腾AI平台训练

爱谁谁

发布： 2025-07-31 13:30:12

原创

655人浏览过

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

华为推出准万亿参数盘古ultra moe模型全流程在昇腾ai平台训练

【PHP中文网快讯】5月30日，华为正式发布全新人工智能模型——盘古 Ultra MoE，该模型参数规模达到7180亿，逼近万亿级别。作为一款基于MoE（专家混合）架构的大模型，其整个训练流程均在华为自研的昇腾AI计算平台上完成，标志着华为在超大规模AI模型训练技术上实现关键跃升。

此次盘古 Ultra MoE 的成功，依托于多项核心技术突破。其中，盘古团队创新性地提出了Depth-Scaled Sandwich-Norm（DSSN）稳定架构，有效应对了超大模型训练中常见的梯度异常与范数波动难题。该架构通过在每一子层输出端增设层归一化模块，并结合深度缩放的初始化策略，显著提升了训练过程的稳定性与收敛效率。同时，团队还采用了名为TinyInit的小规模参数初始化方法，使用标准差为 (2/(d·L)) 的初始化方案，进一步优化了模型的初始状态，加速了训练收敛。

在训练框架方面，华为首次公开了在昇腾CloudMatrix 384超节点上实现大稀疏比MoE模型强化学习（RL）后训练的技术路径。这一进展成功打通了强化学习在超大规模模型中的集群化训练瓶颈，推动RL后训练迈入超节点协同的新阶段，为后续高智能决策模型的发展提供了坚实支撑。

盘古大模型

华为云推出的一系列高性能人工智能大模型

查看详情

继5月初推出预训练系统加速技术后，华为在短短一个月内迅速完成新一轮技术迭代。本次升级涵盖多项关键优化：针对昇腾硬件设计的自适应流水线掩盖策略，优化算子执行顺序，减少Host端性能瓶颈，增强EP通信掩盖能力；开发出动态内存管理机制，提升资源利用效率；通过数据重排技术实现数据并行下的Attention负载均衡；以及面向昇腾平台深度定制的算子级优化方案。上述改进使万卡规模集群的MFU（混合精度计算利用率）从30%跃升至41%，大幅提升了训练效率与硬件吞吐能力。

以上就是华为推出准万亿参数盘古Ultra MoE模型全流程在昇腾AI平台训练的详细内容，更多请关注php中文网其它相关文章！