微信公众号 讲师中心
首页
文章
web3.0 后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 JavaScript 后端开发 数据库 移动端 运维开发 UI设计 计算机基础 XML Web Services
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机/移动开发 手机游戏
最近更新
搜索
web3.0 后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程
游戏教程 自媒体 新闻
首页 > 新闻 > IT新闻 > 正文

Omni-Infer v0.5.0 发布，超大规模 MoE 模型推理加速技术

碧海醫心
发布： 2025-09-23 20:26:26
原创
854人浏览过

omni-infer v0.5.0 发布，超大规模 moe 模型推理加速技术

Omni-Infer v0.5.0 已经发布，超大规模 MoE 模型推理加速技术。

v0.5.0

核心特性

  • 支持VeRL

其它优化

  • 基于5P8-1D32@A3，2K+2K，Deepseek R1性能达到QPM500，TTFT
  • 基于1P16-1D32@A2，2K+2K，Deepseek R1单卡Decode峰值性能达到400 TPS，TPOT

支持模型列表

模型 硬件 精度类型 部署形态
DeepSeek-R1 A3 INT8 PD分离
DeepSeek-R1 A3 W4A8C16 PD分离
DeepSeek-R1 A3 BF16 PD分离
DeepSeek-R1 A2 INT8 PD分离
Qwen2.5-7B A3 INT8 混布（TP>=1 DP=1）
Qwen2.5-7B A2 INT8 混布（TP>=1 DP=1）
QwQ A3 BF16 PD分离
Qwen3-32B A3 BF16 PD分离
Qwen3-235B A3 INT8 PD分离
Kimi-K2 A3 W4A8C16 PD分离

安装包

硬件 架构 镜像文件 Tar包
A3 arm docker pull swr.cn-east-4.myhuaweicloud.com/omni/omni_infer-a3-arm:release_v0.5.0 omni_infer-a3-arm:v0.5.0
A3 x86 docker pull swr.cn-east-4.myhuaweicloud.com/omni/omni_infer-a3-x86:release_v0.5.0 omni_infer-a3-x86:v0.5.0
A2 arm docker pull swr.cn-east-4.myhuaweicloud.com/omni/omni_infer-a2-arm:release_v0.5.0 omni_infer-a2-arm:v0.5.0
A2 x86 docker pull swr.cn-east-4.myhuaweicloud.com/omni/omni_infer-a2-x86:release_v0.5.0 omni_infer-a2-x86:v0.5.0

详情查看：https://gitee.com/omniai/omniinfer/releases/v0.5.0

可图大模型
可图大模型

可图大模型（Kolors）是快手大模型团队自研打造的文生图AI大模型

可图大模型32
查看详情 可图大模型

源码地址：点击下载

以上就是Omni-Infer v0.5.0 发布，超大规模 MoE 模型推理加速技术的详细内容，更多请关注php中文网其它相关文章！

相关标签：
deepseek

大家都在看：

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

下载
来源：php中文网
收藏 点赞
上一篇：阿里通义开源 Qwen3-ASR-Toolkit，音视频转录 Python 命令行工具 下一篇：甲骨文云基础设施总裁和行业总裁接任联席 CEO
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
最新问题
中国信通院人工智能所联合发布《大模型一体机应用研究报告（2025年）》 中国信息通信研究院（简称“中国信通院”）人工智能研究所与中国人工智能产业发展联盟联合发布了《大模型一体机应用研究报告（2025年）》。该报告系统梳理并深入剖析了大模型一体机的技术演进路径、产业现状及实际应用情况，全面分析其典型应用场景、选型策略与落地实施方法，旨在为各行业企业部署和使用大模型一体机提供权威参考。同时，报告展望了我国大模型一体机在技术产业化方面的发展新趋势，助力打造自主可控、安全高效的人工智能生态体系。报告核心内容1.发展概况：融合算力、算法与行业方案，加速AI规模化落地报告明确了
2025-10-31 17:13:00
485
十多辆婚车公路上组队“蛇形”占道 交警：已传唤全部驾驶员 10月31日消息，结婚是人生中的喜事，追求仪式感可以理解，但若以违反法律法规为代价，则得不偿失。近日，在广东茂名，多辆婚车在城市主干道上进行“蛇形”行驶，长时间占据多个车道，引发公众关注。网传视频显示，现场约有十余辆轿车组成的车队，以“S”形路线缓慢前行，完全占据了四条车道，严重影响了其他车辆的正常通行。该行为在网络上引发热议，目前当地交警已介入处理，并传唤了涉事当天的所有驾驶员前往交警部门配合调查。根据《道路交通安全法》第三十六条规定，机动车应在指定车道内行驶。婚车车队通过“蛇形走位”方式占用
2025-10-31 17:08:01
992
苹果库克亲口证实 延宕的Apple Intelligence功能有望2026年推出 苹果执行长提姆·库克（TimCook）近日透露，备受期待、由AppleIntelligence驱动的新版Siri将如期于2026年正式登场。此番表态暗示苹果此前受阻的AI计划已重回正轨。库克在近期接受外媒采访时明确表示，AppleIntelligence相关功能正按既定时间表推进，预计将在2026年陆续上线。这一发言引发广泛关注，因过去在多次开发遇挫后，苹果一度对未发布AI功能保持缄默，不再提供具体推出时程。告别「冰川速度」？新时程暗示开发瓶颈已解尽管“2026年”并非精确到月的具体日期，但这一
2025-10-31 17:02:16
423
USB 电源插座、电热油汀等有了国家标准，11 月起实施 10月31日消息，国家市场监管总局宣布，自11月1日起，一批涉及新兴产业、民生保障和公共安全的重要国家标准将正式实施。这些标准涵盖商用电动汽车换电安全、建筑防水涂料、敏感个人信息处理、带USB电源的插座、电热油汀、牙刷、汽车租赁服务、人防工程环境卫生以及重大火灾隐患判定等多个领域，旨在推动产业规范发展、提升消费环境质量、守护人民群众生命财产安全。以下是本次实施的主要标准内容：商用电动汽车换电安全新规范《电动汽车换电安全要求第2部分：商用车辆》（GB/T40032.2—2025）作为
2025-10-31 17:02:11
406
你的IG你做主！Instagram启动演算法微调测试 供用户内容选择权 透过「兴趣主题」自定义内容推荐社群平台Instagram正进行一项新功能测试，赋予部分用户更精细地调控Reels短影音与探索（Explore）页面内容推荐演算法的能力。这项尝试旨在强化使用者对自身资讯流的掌控，使其能更精准地筛选所接收的内容。Instagram负责人AdamMosseri于其个人Threads账号上公布了此次测试。他说明：「我们今天启动了一项新功能的测试，让用户能够通过添加或删除特定的兴趣主题，来调整他们在Instagram上的演算法推荐内容。」从被动影响到主动设定该功能初期将优
2025-10-31 16:55:33
605
文远知行 CFO 李璇炮轰小马智行港股路演书造假 10月30日晚间，文远知行首席财务官李璇在分析师交流群中发布lengthy声明，公开质疑小马智行在其面向香港投资者的路演文件中，包含针对文远知行的多项失实陈述，并逐一进行澄清与反驳。李璇从四个核心维度对小马智行的说法提出异议。运营区域不实：文远知行官方App明确显示，公司已在广州、北京等地提供全无人驾驶Robotaxi服务。所谓“仅在北京一个地区运营”的说法，严重歪曲事实，涉嫌对投资方进行误导与欺骗。运营数据失真：文远知行拥有超过700辆Robotaxi的车队规模，累计公共道路运
2025-10-31 16:51:17
646
​Meta 研究人员揭开大语言模型黑箱，修复 AI 推理缺陷 Meta的人工智能研究团队联合爱丁堡大学，推出了一项创新技术，能够判断大型语言模型（LLM）在推理过程中是否出错，并在发现问题时主动进行修正。该方法被称为电路基础推理验证（CRV），其核心理念是深入探查LLM内部的“推理电路”，实时监控模型在解决问题时是否存在计算偏差。研究显示，CRV通过构建并分析模型内部激活状态的计算图，能以很高的准确率识别出推理错误。这一进展使得研究人员可以基于模型深层内部信息，对错误的推理过程实施精准干预。尽管链式思维推理（CoT）已被广泛用于提升LLM在复杂任务中的表现
2025-10-31 16:49:12
745
智元牵手上海电气，组建全国首个机器人租赁联盟 10月30日，智元机器人、飞阔科技与上海电气联合宣布，正式组建全国首个机器人租赁联盟，致力于打造“产品+运营+金融”一体化的全新生态模式。在该合作框架下，智元机器人负责提供核心产品与技术支持，飞阔科技主导运营服务与内容创新，上海电气则发挥其在金融服务领域的优势，为联盟提供资金保障。近年来，随着文娱演出、展览展示等场景对机器人应用需求的不断上升，机器人租赁市场潜力逐步释放。然而，当前市场仍处于分散化、低效运作的初级阶段。租赁企业不仅需要自行开拓客户渠道，还需直接对接厂商采购设备。而购入机器人后，往
2025-10-31 16:49:01
378
亚马逊裁员 1.4 万 亚马逊高级副总裁BethGaletti最近在一封内部邮件中证实，公司将裁撤约1.4万名全职岗位，约占其全球35万员工总数的4%。此次人员调整是亚马逊“大规模组织优化计划”的关键一环，重点波及零售与物流业务线。首批受影响的7500人中，多数为职级处于L5至L7的中层管理者。公司承诺将为被裁员工提供为期90天的内部优先转岗机会，并配套发放遣散补偿、职业过渡辅导以及延续性的医疗保险支持。尽管裁员消息传出，亚马逊股价当日反而上涨1%。部分员工对此表达不满，指出公司在财务表现强劲的背景下仍推进裁员，显得缺
2025-10-31 16:43:09
236
月之暗面发布混合线性注意力架构：Kimi Linear 月之暗面近日推出了名为“KimiLinear”的新型混合线性注意力架构，宣称在短序列、长序列以及强化学习（RL）等多种扩展任务中表现优于传统的全注意力机制。该架构的核心组件是KimiDeltaAttention（KDA），它是GatedDeltaNet的升级版本，通过引入更高效的门控结构，优化了有限状态RNN中记忆信息的利用效率。KimiLinear由三个KimiDeltaAttention（KDA）模块与一个全局MLA模块组合而成。其中，KDA在原有GatedDeltaNet基础上进行了
2025-10-31 16:23:19
358
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新 English
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部