
感谢网友 会弹琴的九号 提供的线索!11月9日,据《科创板日报》消息,在2025年世界互联网大会·乌镇峰会的人工智能前沿模型论坛上,蚂蚁集团平台技术事业群总裁骆骥于11月8日透露,蚂蚁已在算力基础设施方面取得重要进展——成功部署了规模达万卡级别的国产化AI算力集群。该集群全面支持自研及主流开源大模型的运行,训练任务的稳定性高达98%以上,在训练与推理性能方面已达到与国际先进算力集群相当的水平,并广泛应用于安全风控领域的大模型服务中。
值得关注的是,今年3月,蚂蚁集团Ling团队已在预印本平台Arxiv发布题为《每一个FLOP都至关重要:无需高端GPU即可扩展3000亿参数混合专家模型LING》的技术论文,正式推出两款MoE(Mixture of Experts)架构的大语言模型:百灵轻量版(Ling-Lite)和百灵增强版(Ling-Plus)。研究提出一系列关键技术突破,实现了在低性能硬件环境下高效训练超大规模模型,大幅降低训练成本。
实验证明,其3000亿参数的MoE模型能够在基于国产GPU的普通算力设备上完成高效训练,整体表现与采用英伟达高性能芯片、同等规模的稠密模型或MoE模型相媲美。
目前,MoE模型的训练普遍依赖英伟达H100/H800等高端GPU,不仅采购成本高,还面临供应链紧张的问题,严重制约其在资源受限场景下的推广。为此,蚂蚁Ling团队明确提出“不依赖高级GPU也能扩展大模型”的技术路径,通过多项创新手段打破算力瓶颈。具体包括:重构模型架构与训练策略,引入动态参数分配与混合精度调度机制;强化异常处理能力,构建具备自适应容错恢复功能的系统,显著缩短训练中断响应时间;优化评估流程,采用自动化评测框架将验证周期压缩超过50%;同时提升工具调用能力,结合知识图谱进行指令微调,有效增强模型在复杂任务中的执行准确率。
以上就是蚂蚁集团已部署万卡规模国产算力群,训练与推理性能可媲美国际算力集群的详细内容,更多请关注php中文网其它相关文章!
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号