微信公众号 讲师中心
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机/移动开发 手机游戏
最近更新
搜索
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程
自媒体 新闻
首页 > 新闻 > IT新闻 > 正文

全球首个“纯 AMD”训练 MoE 大模型 ZAYA1 发布

花韻仙語
发布： 2025-11-25 18:46:15
原创
896人浏览过

amd联合ibm及ai新锐zyphra推出zaya1——全球首款完全基于amd硬件训练的moe基础模型，完成14t tokens预训练，整体表现媲美qwen3系列，数学与stem推理能力在未进行指令微调的情况下已接近qwen3专业版本。

全球首个“纯 AMD”训练 MoE 大模型 ZAYA1 发布

训练配置

  • 集群架构：IBM Cloud平台部署128节点，每节点搭载8块AMD Instinct MI300X，总计1024张加速卡；采用InfinityFabric互联技术与ROCm软件栈，实现峰值算力750PFLOPs
  • 训练数据：涵盖14万亿tokens，采用课程学习策略，逐步聚焦于数学、代码与复杂推理任务；后续将发布进一步优化的后训练版本

架构亮点

  • CCA注意力机制：融合卷积操作与压缩嵌入注意力头设计，显存消耗降低32%，长序列处理吞吐提升18%
  • 线性路由MoE结构：细化专家粒度并引入负载均衡正则化，Top-2路由准确率提高2.3个百分点，在70%稀疏度下仍维持高效资源利用

性能表现

Clipfly
Clipfly

一站式AI视频生成和编辑平台，提供多种AI视频处理、AI图像处理工具。

Clipfly 129
查看详情 Clipfly

ZAYA1-Base（非指令调优版）在MMLU-Redux、GSM-8K、MATH、ScienceQA等多项评测中与Qwen3-Base相当；在CMATH与OCW-Math任务上表现更优，凸显其在科学与数学领域的强大潜力。Zyphra透露，指令微调及RLHF增强版本计划于2026年第一季度上线，并将开放API接口与模型权重下载。

AMD指出，本次合作成功验证了MI300X搭配ROCm在超大规模MoE模型训练中的稳定性与竞争力，未来将携手更多云服务商推广“全AMD”训练集群方案，目标在2026年实现训练超百亿参数MoE模型时，总体拥有成本（TCO）与NVIDIA方案持平。

源码地址：点击下载

以上就是全球首个“纯 AMD”训练 MoE 大模型 ZAYA1 发布的详细内容，更多请关注php中文网其它相关文章！

相关标签：
云服务 nvidia 栈 ai amd 路由 大模型 red qwen 架构 math 接口 栈 负载均衡

大家都在看：

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

下载
来源：php中文网
收藏 点赞
上一篇：Visual Studio 采用“年更”模式：每年 11 月发布年度大版本更新 下一篇：没有了
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
作者最新文章
最新问题
印度软件巨头印孚瑟斯联合创始人穆尔西力挺“996”：只要你清醒就该工作 11月25日消息，印度知名软件企业印孚瑟斯（Infosys）联合创始人纳拉亚纳・穆尔西近期再次引发热议，他在原有主张的基础上进一步提出，每周应工作72小时，并公开称赞“996工作制”是一种值得推崇的工作模式。▲图源印孚瑟斯官网据外媒Techspot当地时间11月24日报道，穆尔西多年来一直坚持认为，年轻人应当将大量时间投入工作，以实现个人成就并推动国家经济进步。他此前就曾倡导每周工作70小时，而如今更将其标准上调至72小时，相当于每天从早9点工作到晚9点，每周工作
2025-11-25 17:48:01
147
腾讯混元开源 HunyuanOCR 模型，1B 参数斩获多项 SOTA 腾讯正式发布其全新开源OCR模型HunyuanOCR，模型参数规模仅为1B。该模型基于腾讯自主研发的混元多模态架构，在多项行业标准的OCR任务中实现了SOTA（State-of-the-Art）性能突破。据官方介绍，HunyuanOCR采用“端到端”设计，所有功能模块可在单次前向推理中高效完成，显著提升处理速度与准确率。HunyuanOCR主要由三大核心部分组成：原生分辨率视觉编码器、自适应视觉适配机制以及轻量化的混元语言模型。与现有主流OCR模型不同，HunyuanOCR实现了全流
2025-11-25 17:44:33
946
谷歌开发统一桌面平台“Aluminium OS”：以 AI 为核心、整合 Android 和 ChromeOS 据AndroidAuthority报道，谷歌正积极推进ChromeOS与Android的深度融合，打造一个代号为“AluminiumOS”的全新桌面级操作系统，并计划于2026年正式发布。该系统将以Android为基础，专为PC设备优化，并深度集成谷歌的AI技术，成为其核心功能支柱。长远来看，AluminiumOS将逐步取代现有的ChromeOS。新系统不仅支持传统笔记本设备，还将覆盖可拆卸平板、平板电脑以及小型主机（mini-PC）等多种形态。产品布局方面，谷歌规划
2025-11-25 17:39:02
619
苹果罕见裁员：数十名销售员工面临转岗或解雇 感谢网友补药吖的线索投递！11月25日消息，彭博社昨日（11月24日）发布博文，报道称苹果公司正在对其销售部门进行重组，导致数十名员工面临转岗或裁员风险，主要涉及服务企业、教育机构及政府客户的销售岗位。据知情人士透露，此次调整虽规模不及科技行业其他公司动辄数千人的裁员，但因苹果极少采取此类行动而引发广泛关注。过去几周内，管理层已陆续通知受影响员工，部分团队受到的冲击尤为显著。针对此事，苹果公司回应称，此次变动是为了“更有效地触达客户”，并对销售团队结构进行优化，强调此次调整仅影响少数职位。
2025-11-25 17:19:10
314
Angular v21 发布 Angularv21现已正式上线。官方表示，随着这一版本的推出，Angular将更好地成为你日常开发中的得力助手——不仅延续了框架一贯的稳定性，还助力开发者构建出更具可扩展性、人人可用的卓越AI应用。本次更新引入了一系列全新工具，无论你是依赖智能编码助手，还是更习惯在IDE中独立完成代码编写、调试与测试，都能获得更加流畅高效的开发体验。“我们为此次发布感到由衷自豪，但这只是Angular演进道路上的一个里程碑。我们正持续关注Web应用开发领域的各种前沿趋势。”本版本主要亮点包括：即将
2025-11-25 17:09:02
852
南洋理工开源 PhysX-Anything，单图生成可仿真 3D 资产 南洋理工大学联合上海人工智能实验室推出全新开源框架PhysX-Anything，仅需输入一张RGB图像，即可生成包含精确几何结构、关节信息及物理参数的完整3D资产，支持直接导入MuJoCo、IsaacSim等主流仿真平台，用于机器人策略训练。核心创新分阶段精细化流程：采用“由粗到细”的生成策略，首先预测物体整体物理特性（如质量、质心、摩擦系数），再逐部件优化几何形态与关节运动范围，有效避免传统方法因“视觉优先”带来的物理不一致问题。高效紧凑的3D表示方法：提出一种新型压缩表达方式，将面片结
2025-11-25 16:59:38
232
马斯克放出豪言：特斯拉AI芯片年产量要超所有对手总和 据科技媒体Wccftech报道，特斯拉CEO埃隆·马斯克近日通过其社交平台X发表了一项惊人的言论。他宣称，为了在“真实世界AI”的竞赛中取得最终胜利，特斯拉未来的AI芯片年产量，必须超过英伟达、AMD及所有其他科技巨头的总和。 马斯克在推文中指出，很多人并不知道特斯拉早已拥有一支先进的AI芯片及电路板工程团队。多年来，该团队已经成功设计并部署了数百万颗用于特斯拉汽车和数据中心
2025-11-25 16:47:24
271
OpenAI联手苹果前设计总监，神秘AI硬件原型已诞生，两年内投产 据最新消息，OpenAI与苹果公司的前首席设计官乔尼·艾维（Jony Ive）联手打造的神秘AI硬件项目，已取得了重大进展。在一场公开活动中，双方透露了该款硬件的最新动态。
2025-11-25 16:42:27
895
AI编程进入“超人时代”！Claude Opus 4.5深夜突袭，编程测试碾压人类 在大模型“下饺子”般密集发布的近期，继Gemini 3 Pro之后，Anthropic公司的Claude Opus 4.5，也于近日深夜，正式发布。 Anthropic官方宣称，Opus 4.5在编程、构建Agent（智能体）以及操控电脑等“系统级任务”上，依然保持着全球顶尖的水平。
2025-11-25 16:40:02
930
黑芝麻智能发布SesameX机器人平台，开启具身智能商业化新征程 2025年11月20日，黑芝麻智能举办了其机器人平台产品发布会，正式推出了业界首个专为机器人商业化部署而设计的平台——SesameX多维具身智能计算平台。此次发布，标志着黑芝麻智能在巩固其智能汽车领域地位的同时，正式向机器人产业进行战略拓展。
2025-11-25 16:36:53
867
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部