文章 专题 AI工具 学习 下载 问答 源码 最近更新
PHP
会员中心 讲师中心 微信公众号
首页 > 科技周边 > 人工智能 > 正文

开源赛道太挤了！月之暗面开源新版Muon优化器

心靈之曲
发布： 2025-02-24 16:48:01
原创
869人浏览过

月之暗面开源高效优化器muon，同等预算下性能翻倍！

月之暗面与DeepSeek再度“撞车”，这次是开源优化器Muon的较量。Muon优化器在计算效率上比AdamW提升了2倍，并已用于训练3B/16B参数的MoE模型Moonlight，刷新了当前的帕累托最优。image.png

Muon的改进关键在于：

  • 添加权重衰减: 有效解决大模型训练中权重过大问题。
  • 一致的RMS更新: 确保不同形状矩阵更新的一致性，避免性能损失。

这些改进使得Muon无需调整超参数即可直接用于大规模训练。实验表明，Muon在达到与AdamW相当性能的同时，仅需约52%的训练FLOPs。image.png

月之暗面已开源Muon的代码、预训练模型、指令微调以及中间检查点，并发布了相关论文《MUON IS SCALABLE FOR LLM TRAINING》。

image.png

Muon的扩展与分布式实现

研究人员发现原始Muon在大模型训练中的性能提升有限。通过添加权重衰减和实现一致的RMS更新，解决了这一问题。 此外，还提出了一种基于ZeRO-1的分布式Muon实现方案，进一步提升了训练效率。 实验结果通过图表详细展示了Muon的优越性能，包括与AdamW的比较以及不同RMS控制方法的对比。 image.png图片image.pngimage.png图片image.png图片图片图片图片图片图片图片

Muon的开源为大规模语言模型训练提供了新的高效方案，值得关注。

以上就是开源赛道太挤了！月之暗面开源新版Muon优化器的详细内容，更多请关注php中文网其它相关文章！

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

下载
相关标签：
git ai deepseek 分布式 for 并发 github https
来源：php中文网
收藏 点赞
上一篇：【焦点】韩国半导体领域基础力量均落后于中国； 下一篇：30款紧凑型SUV真实油耗排名出炉：国产车最高排第七
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
最新问题
笔尖AI写作注册登录全流程：多端同步使用技巧 注册登录笔尖AI写作并实现多端同步的关键步骤如下：1.访问官网，点击注册按钮，填写邮箱和密码完成注册；2.验证邮箱以激活账号，注意检查垃圾邮件箱；3.使用相同账号密码在官网、PC客户端或App上登录；4.开启云同步功能，确保各设备网络稳定；5.检查同步设置，确认同步内容及功能已启用；6.保持软件版本更新，避免兼容性问题。若收不到验证邮件，可尝试更换邮箱、等待延迟或联系客服。同步失败常见原因包括网络不稳、账号异常、版本过旧、缓存过多等，应逐一排查。为提升同步稳定性与效率，建议使用Wi-Fi网络、定
2025-06-14 12:03:02
198
笔尖AI「智能校对」如何自动检测语法错误？多语言场景适配 笔尖AI智能校对通过深度学习模型，实现语法、拼写和语义层面的自动纠错。1.文本预处理：对输入内容进行分词、词性标注等操作；2.语法分析：利用语法模型识别主谓不一致、语序错误等问题；3.拼写检查：与词典对比，识别并建议修正拼写错误；4.语义分析：理解句子含义，判断搭配与逻辑合理性；5.错误纠正：综合前三步结果提供修改建议。对于多语言场景，笔尖AI训练独立模型，并借助迁移学习提升效率。针对中英文混输，它具备语言识别能力，能分别调用对应模型处理，并解决空格、标点及语义歧义问题。其准确率受训练数据质量与
2025-06-14 11:24:02
518
工信部：1-4月全国锂电池总产量同比增长68% 工信部近日公布最新数据显示，2025年1至4月，我国锂离子电池行业延续快速增长趋势，全国锂电池总产量突破473GWh，与去年同期相比增长68%。根据工信部发布的统计信息，今年前四个月储能型锂电池的产量达到110GWh以上，新能源汽车所用的动力型锂电池装车量约为184GWh。与此同时，我国锂电池出口继续保持良好表现，出口总额达1554亿元，同比增长25%，表明国际市场对中国锂电池的需求依然旺盛。在锂电池关键原材料方面，1至4月份正极材料、负极材料、隔膜以及电解液的产量分别约为115万吨、76万吨、
2025-06-13 23:22:01
954
笔尖AI本地知识库离线使用：RTX加速与文件管理指南 笔尖AI本地知识库离线使用，核心在于RTX加速配置与高效文件管理。1.安装最新NVIDIA驱动并配置CUDAToolkit，建议使用conda创建独立虚拟环境；2.设置CUDA相关环境变量如CUDA_HOME和LD_LIBRARY_PATH；3.根据框架配置GPU使用，如TensorFlow设置可见设备或PyTorch将模型和数据移至GPU；4.使用nvidia-smi监控性能并优化代码提升GPU利用率；5.结构化存储文件，按内容类型分类管理；6.构建索引提高检索效率，可采用Elasticsea
2025-06-13 23:15:01
784
笔尖AI如何制定西安3天2夜美食之旅？预算控制与实时推荐 笔尖AI通过分析用户口味偏好、预算范围和实时数据，生成个性化西安3天2夜美食行程。1.首先根据用户喜欢肉夹馍或羊肉泡馍、辣味或清淡等偏好分类；2.再按预算划分平价小吃、特色餐馆、高端餐厅；3.结合排队情况、评价、当日菜品动态调整推荐，优化路线；4.整合含地址、营业时间、消费、推荐菜的行程表，并支持手动修改。同时，AI通过用户反馈评分、评论关键词训练模型，提升推荐精准度，例如依据“麻辣口味”、“手工面”细化推荐。对于信息更新，AI定期爬取、审核新店、菜单及价格变动，确保数据准确。在预算有限情况下，
2025-06-13 23:12:01
533
艾为重磅推出车规级射频开关 赋能智能网联汽车通信安全 在汽车智能化、网联化浪潮迅猛发展的今天，艾为电子作为电子元器件领域的创新引领者，始终紧随时代脉搏，专注于为汽车产业提供高性能、高可靠性的解决方案。经过研发团队长时间的攻坚克难与反复验证，我们荣幸地向全球市场推出全新一代车规级射频开关产品。产品概述此次发布的AW13612PFDR-Q1与AW12022TQNR-Q1车规射频开关，是艾为电子依托多年在射频技术方面的深厚积淀，并结合对汽车行业需求的深入理解而精心打造的成果。该系列产品专为应对汽车电子系统复杂严苛的工作环境而设计，具备出色的电气性能和稳定
2025-06-13 23:06:02
169
天津经开区举行集成电路产业链上游企业座谈会 6月12日，天津经开区集成电路产业链上游企业座谈会在宝信大厦顺利召开，来自集成电路材料、制造领域的企业代表及行业协会的40余位嘉宾齐聚泰达，共话产业发展新趋势，共绘未来蓝图。会议期间，电子化工新材料产业联盟、恩智浦、山东圣泉电子材料、信联电子材料等单位分别就集成电路行业现状与发展趋势、中国半导体材料市场分析与发展路径、封装材料领域发展情况以及半导体产业配套能力等内容进行了深入分享。在企业交流环节中，中芯国际、中环半导体、伯芯微电子、诺思微系统、中电科46所、天津市集成电路协会以及中电四院、大连科
2025-06-13 22:56:00
994
大唐移动起诉小米，两家中国公司专利纠纷，为何去德国打官司？ 【编者按】本文首发于三言Pro，爱集微经授权转发。2025年6月12日，慕尼黑地方法院的一名发言人证实，大唐移动在德国法院对小米发起了三项专利诉讼。此次涉及的专利均为4G/LTE技术，分别是：EP2237607（用于实现小区切换的方法和装置），EP3713313（上行功率控制方法，以及移动通信终端）；EP2315369（自适应调制和编码的方法和装置）。这也是继去年联想在英国起诉中兴通讯，希望就许可费率进行法院裁决之后，中国企业又一次选择在域外司法管辖区解决有关标准必要专利许可的案件。去年联想在英
2025-06-13 22:14:01
790
美光通知客户DDR4将停产，预计2-3季内陆续停止出货 近日，美光科技向客户发布正式通告，宣布DDR4内存将进入停产（EOL）阶段，并预计在未来2至3个季度内逐步停止出货，这意味着DDR4时代正走向终结。美光执行副总裁兼首席商务官SumitSadana指出，目前DDR4内存仍处于“严重缺货”状态。此次停产主要涉及PC和数据中心领域的DDR4/LPDDR4产品。按照规划，未来三个季度内，美光将在消费电子、个人电脑以及数据中心应用方面逐步缩减DDR4DRAM的产能。需要强调的是，美光并未全面放弃DDR4产品线。公司表示，将继续为“汽车、工业及网络通信”等
2025-06-13 22:02:01
179
哪吒汽车回应重整声明：仅为处置方案之一，非最终方案 6月13日，针对网络流传的“哪吒汽车重整声明”，哪吒汽车相关负责人表示，该声明内容并非来自官方渠道，仅为公司拟定的多个应对方案之一，并不代表最终决策。据悉，6月12日晚间，一张题为“哪吒汽车重整声明”的图片在网络传播，其中提到哪吒汽车母公司合众新能源汽车股份有限公司将进入重整流程，流程将在浙江省嘉兴市中级人民法院监管下展开，目标是解决债务问题、引入战略投资并完善管理体系。同时，声明还称原管理团队将重组，新任CEO将由具有跨国车企背景的专业人士接任。对此，哪吒汽车方面表示，相关内容并未通过公司正式
2025-06-13 21:54:01
477
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
app下载
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部