讲师中心 微信公众号
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机游戏
最近更新
首页 > 新闻 > IT新闻 > 正文

Omni-Infer v0.5.0 发布，超大规模 MoE 模型推理加速技术

碧海醫心
发布： 2025-09-23 20:26:26
原创
866人浏览过

omni-infer v0.5.0 发布，超大规模 moe 模型推理加速技术

Omni-Infer v0.5.0 已经发布，超大规模 MoE 模型推理加速技术。

v0.5.0

核心特性

  • 支持VeRL

其它优化

  • 基于5P8-1D32@A3，2K+2K，Deepseek R1性能达到QPM500，TTFT
  • 基于1P16-1D32@A2，2K+2K，Deepseek R1单卡Decode峰值性能达到400 TPS，TPOT

支持模型列表

模型 硬件 精度类型 部署形态
DeepSeek-R1 A3 INT8 PD分离
DeepSeek-R1 A3 W4A8C16 PD分离
DeepSeek-R1 A3 BF16 PD分离
DeepSeek-R1 A2 INT8 PD分离
Qwen2.5-7B A3 INT8 混布（TP>=1 DP=1）
Qwen2.5-7B A2 INT8 混布（TP>=1 DP=1）
QwQ A3 BF16 PD分离
Qwen3-32B A3 BF16 PD分离
Qwen3-235B A3 INT8 PD分离
Kimi-K2 A3 W4A8C16 PD分离

安装包

硬件 架构 镜像文件 Tar包
A3 arm docker pull swr.cn-east-4.myhuaweicloud.com/omni/omni_infer-a3-arm:release_v0.5.0 omni_infer-a3-arm:v0.5.0
A3 x86 docker pull swr.cn-east-4.myhuaweicloud.com/omni/omni_infer-a3-x86:release_v0.5.0 omni_infer-a3-x86:v0.5.0
A2 arm docker pull swr.cn-east-4.myhuaweicloud.com/omni/omni_infer-a2-arm:release_v0.5.0 omni_infer-a2-arm:v0.5.0
A2 x86 docker pull swr.cn-east-4.myhuaweicloud.com/omni/omni_infer-a2-x86:release_v0.5.0 omni_infer-a2-x86:v0.5.0

详情查看：https://gitee.com/omniai/omniinfer/releases/v0.5.0

Find JSON Path Online
Find JSON Path Online

Easily find JSON paths within JSON objects using our intuitive Json Path Finder

Find JSON Path Online 193
查看详情 Find JSON Path Online

源码地址：点击下载

以上就是Omni-Infer v0.5.0 发布，超大规模 MoE 模型推理加速技术的详细内容，更多请关注php中文网其它相关文章！

相关标签：
deepseek

大家都在看：

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

下载
来源：php中文网
收藏 点赞
上一篇：阿里通义开源 Qwen3-ASR-Toolkit，音视频转录 Python 命令行工具 下一篇：甲骨文云基础设施总裁和行业总裁接任联席 CEO
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
作者最新文章
最新问题
火山引擎总裁谭待：大模型市场未来将迎十倍增长 今日，火山引擎在FORCE原动力大会期间正式宣布：截至今年12月，豆包大模型的日均Tokens调用量已突破50万亿，稳居中国首位、全球第三。截至目前，已有超100家企业依托火山引擎平台，累计Tokens使用量迈过一万亿大关。在被问及豆包大模型本年度整体表现时，火山引擎总裁谭待回应称，整体成果值得肯定，尤其在国内市场优势显著；但放眼全球，OpenAI与Gemini等头部模型同样实力强劲，因此我们仍需持续加码投入。值得指出的是，火山引擎自研的Seedance与Seedream
2025-12-18 20:28:02
642
蚂蚁开源 AEnvironment，面向 Agentic RL 的统一环境平台 蚂蚁集团百灵大模型团队正式开源AEnvironment——一个专为AgenticRL时代打造的统一环境平台，秉持“万物皆可为环境（EverythingasEnvironment）”的核心理念。该平台基于标准化MCP协议进行深度扩展，面向环境提供商、算法研究人员及Agent开发者，提供即开即用的底层基础设施，大幅降低环境构建门槛，助力各方聚焦于Agent核心能力的研发与优化。AEnvironment核心特性包括：超强规模承载能力：已验证支持万亿参数级大模型训练，可在超长上下文场景下高效执行Agen
2025-12-18 20:26:02
226
智能知识管理系统 SKC V0.1.5 发布（支持推荐阅读） SKC智能知识库：致力于打造高性能的知识管理与智能检索平台，深度融合人工智能技术，显著提升信息组织、理解与获取效率，广泛适配教育机构、科研单位及各类企业场景。依托大语言模型与结构化知识管理体系的协同演进，为用户提供从知识生成到精准检索的一站式智能服务。V0.1.5新增“智能推荐阅读”功能重构首页界面布局，支持用户自主配置外部应用入口，实现个性化应用集成。上线“推荐阅读”模块，可在首页指定区域展示带跳转链接的图文组合内容。新增“最新知识”快捷入口区，便于用户即时触达最新入库内容。新增“常用知识”快
2025-12-18 20:15:07
998
字节跳动正式发布豆包大模型1.8 在今日举办的火山引擎Force原动力大会上，字节跳动正式推出全新升级的豆包大模型1.8版本。多项权威评测结果表明，该模型在多模态理解与生成、智能体（Agent）能力等关键维度上，已跻身行业第一梯队。据悉，豆包大模型1.8（Doubao-Seed-1.8）专为多模态智能体应用场景深度优化。其工具调用精准度、复杂指令解析与执行能力，以及操作系统级Agent（OSAgent）功能均实现显著跃升，极大强化了模型在高阶任务中的自主规划与协同执行能力。在多项主流公开基准测试中，豆包1.8于视觉推理、通用视觉
2025-12-18 20:12:08
1017
商汤旗下大晓机器人发布 ACE 具身研发范式、开悟世界模型 3.0 等 商汤科技旗下大晓机器人正式推出ACE具身智能研发范式、业界首个开源并已实现商业落地的开悟世界模型3.0（Kairos3.0），以及具身超级大脑模组A1。据官方介绍，ACE具身研发范式坚持“以人为中心（Human-centric）”理念，其核心——环境式数据采集能力，可在一年内完成千万小时级真实交互数据积累；而开悟世界模型3.0则持续释放真实数据潜能，等效支撑上亿小时规模的数据训练效果。以环境式数据采集为驱动引擎，ACE构建起覆盖“环境式数据采集—开悟世界模型3.0—具身交互”的端到端技术闭环。
2025-12-18 19:27:07
912
Adobe 被诉用盗版书籍训练 AI 模型，SlimLM 陷版权风波 俄勒冈州作家伊丽莎白·莱昂（ElizabethLyon）已对Adobe公司发起集体诉讼，指控其在训练名为SlimLM的轻量级语言模型过程中，非法使用了含有其受版权保护作品的盗版数据集。SlimLM是Adobe推出的一套面向移动端文档处理场景（包括文本摘要、内容重写与智能问答等）优化的小型语言模型。据Adobe官方披露，该模型基于SlimPajama-627B数据集完成预训练——该语料库由AI芯片企业Cerebras于2023年6月开源发布，标榜为“去重、多源整合、公开可用”的训练资源。
2025-12-18 19:23:02
661
Meta：不限制员工使用 Gemini 和 GPT 等三方 AI 模型 据BusinessInsider报道，Meta正在放宽内部限制，扩大员工对Google、OpenAI等竞品AI工具的使用权限。内部文件及公司内部通讯显示，Meta正大力推动将人工智能工具深度融入日常工作的各个环节，并全面推行“AI优先”战略。目前，Meta员工已被授权接入并使用包括Google的Gemini3Pro、OpenAI的GPT-5在内的多个第三方大模型，以提升工作效率。与此同时，Meta已将其核心办公套件迁移至GoogleWorkspace，旨在“释放
2025-12-18 18:50:04
177
腾讯回应 “元宝” 身份质疑：一个完全由 AI 生成内容的助手 腾讯旗下AI助手“元宝”近日引发用户广泛讨论，不少人在互动中反复追问：“你到底是AI还是人？”对此，腾讯官方正式回应，明确指出元宝是一款完全基于人工智能技术构建的助手，所有内容均由模型自主生成，全程无人工干预或后台润色。根据官方说明，元宝被定位为具备高感知力与高情商的智能体，不仅能高效理解语义，还能兼顾语气、分寸与情感表达，从而实现自然流畅的对话体验。正因回复质量接近甚至超越部分真人水平，反而触发了用户的“真实性怀疑”——有人调侃式发问：“元宝你回尿床吗？”元宝仅以一个“？”作答；也有人试探性别
2025-12-18 18:49:14
171
OpenAI 开放 ChatGPT 第三方应用提交通道 OpenAI正式启用第三方应用入驻ChatGPT的提交通道，面向全球开发者开放。经平台审核通过后，基于OpenAI模型开发的工具可直接集成至ChatGPT，无需用户手动下载或安装。该机制融合自动化检测与人工复核流程，审核达标的应用将原生嵌入ChatGPT界面，实现“即点即用”。当前重点招募方向涵盖生产力增强类、学术研究支持类、创意生成辅助类及垂直行业智能体等应用场景，致力于构建以自然语言对话为交互核心的AI应用生态体系。在ChatGPT的“应用（BETA）”专区中，OpenAI已
2025-12-18 18:49:02
743
索尼诉腾讯《荒野起源》侵权案达成和解，长达半年的游戏官司终于画上句号 感谢网友guser的线索提供！12月18日，美国加州北区联邦地方法院发布的一份官方文件，为本年度全球游戏行业最受瞩目的跨国知识产权纠纷划上了终止符。公开信息显示，索尼已正式向法院提交撤诉申请，终结其针对腾讯旗下新作《荒野起源》所发起的侵权诉讼。目前，双方已达成具有法律约束力的保密和解协议，约定不再就本案发表任何公开声明，并表达了对未来深化协作的积极意愿。从今年7月硝烟弥漫的司法对抗，到12月悄然落幕的庭外握手，这场风波在短短五个月内完成了由法律攻防到商业关系重构的关键跃迁。置于全球游戏产业演进的
2025-12-18 18:32:07
148
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部