讲师中心 微信公众号
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机游戏
最近更新
首页 > 新闻 > IT新闻 > 正文

Omni-Infer v0.7.0 已经发布，超大规模 MoE 模型推理加速技术

聖光之護
发布： 2025-12-12 17:43:01
原创
840人浏览过

omni-infer v0.7.0 已经发布，超大规模 moe 模型推理加速技术

Omni-Infer v0.7.0 正式上线，带来面向超大规模混合专家（MoE）模型的高效推理加速能力。

v0.7.0

核心亮点

  • Omni Cache 新增对 MLA（Multi-Head Latent Attention）与 GQA（Grouped-Query Attention）架构的支持
  • 引入 chunk prefill 混合调度机制，实现更优的计算图融合与内存复用
  • 全面兼容 SGLang 接口协议，提升复杂推理流程的灵活性与易用性

性能提升

  • 在 2P8-1D32@A3 硬件配置下，支持 3.5K+1K 输入长度场景，Deepseek R1 实测 QPM 达 186，首字延迟（TTFT）显著优化
  • 在 2P2-1D4@A3 配置下，openPangu-72B 单卡解码吞吐峰值达 1560 TPS，平均单 Token 延迟（TPOT）表现优异

已验证模型清单

模型 硬件平台 量化精度 部署模式
openPangu-Ultra-MoE-718B A3 INT8 PD分离
openPangu-Ultra-MoE-718B A2 INT8 PD分离
openPangu-72B A3 INT8 PD分离
openPangu-38B A3 INT8 混布
openPangu-38B A2 INT8 混布
openPangu-7B A3 BF16 混布
openPangu-7B A2 BF16 混布
openPangu-7BVL A3 BF16 混布
DeepSeek-R1 A3 INT8 PD分离
DeepSeek-R1 A3 W4A8C16 PD分离
DeepSeek-R1 A3 BF16 PD分离
DeepSeek-R1 A2 INT8 PD分离
DeepSeek-V3.1 A3 INT8 PD分离
DeepSeek-V3.2 A3 INT8 PD分离
DeepSeek-OCR A2 BF16 混布
Qwen2.5-7B A3 INT8 混布（TP>=1 DP=1）
Qwen2.5-7B A2 INT8 混布（TP>=1 DP=1）
QwQ A3 BF16 PD分离
QwQ A2 BF16 PD分离
Qwen3-235B A3 INT8 PD分离
Qwen3-235B A2 BF16 PD分离
Qwen3-32B A3 BF16 PD分离
Qwen3-32B A3 INT8 PD分离
Qwen3-30B A3 BF16 PD分离
Kimi-K2 A3 W4A8C16 PD分离
Kimi-K2 Thinking A3 W4A8C16 PD分离
Longcat-flash A3 BF16 PD分离
Ling-1T A3 BF16 PD分离
GPT-OSS120B A3 INT8 PD分离
GPT-OSS120B A2 INT8 PD分离
GPT-OSS20B A3 INT8 PD分离
GPT-OSS20B A2 INT8 PD分离

安装方式

硬件平台 CPU架构 Docker镜像地址 Tar包名称
A3 arm docker pull swr.cn-east-4.myhuaweicloud.com/omni/omniinfer-a3-arm:release\_v0.7.0-vllm omni\_infer-a3-arm:v0.7.0\_vllm
A3 x86 docker pull swr.cn-east-4.myhuaweicloud.com/omni/omniinfer-a3-x86:release\_v0.7.0-vllm omni\_infer-a3-x86:v0.7.0\_vllm
A2 arm docker pull swr.cn-east-4.myhuaweicloud.com/omni/omniinfer-a2-arm:release\_v0.7.0-vllm omni\_infer-a2-arm:v0.7.0\_vllm
A2 x86 docker pull swr.cn-east-4.myhuaweicloud.com/omni/omniinfer-a2-x86:release\_v0.7.0-vllm omni\_infer-a2-x86:v0.7.0\_vllm

更多详情请参阅：https://www.php.cn/link/9f78e8aa1530b26c85f555017d89e745

Procys
Procys

AI驱动的发票数据处理

Procys 102
查看详情 Procys

源码获取：点击下载

以上就是Omni-Infer v0.7.0 已经发布，超大规模 MoE 模型推理加速技术的详细内容，更多请关注php中文网其它相关文章！

相关标签：
git docker ai gpt gitee ultra deepseek qwen 架构 Token 接口 docker ocr https gitee gpt

大家都在看：

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

下载
来源：php中文网
收藏 点赞
上一篇：通义千问保持 AI 模型领先地位，阿里云 CTO 周靖人晋升阿里合伙人 下一篇：无人机“谁能飞”“谁在飞”？两项强制性国家标准发布，明年 5 月起实施
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
作者最新文章
最新问题
李开复在《金融时报》发文：中国开源 AI 是一项国家优势 北京时间12月9日，零一万物CEO李开复在英国《金融时报》发表署名文章指出，开源AI正成为中国在人工智能领域的一项战略性优势。他将这一模式形象地比喻为“集体备考、共同提分”，而非依赖个别天才的单打独斗。李开复###以下是文章全文：今年1月，DeepSeek正式推出R1大语言模型，随即引发市场震动——美国纳斯达克指数当日下挫3%。这款模型在多项关键性能指标上已可比肩美国一线AI系统，却仅需远低于对手的算力投入。这预示着，美国在生成式AI领域的先发壁垒正在加速消融。尤为关键的是，R1以完全开源方式发
2025-12-12 20:47:18
309
Firefox 146.0 发布，为 Windows 10 带来备份工具并强化多平台体验​ Mozilla近日正式发布了Firefox146.0版本，现已面向Windows、macOS和Linux等主流平台开放下载。用户可通过Mozilla官方FTP站点获取安装包，后续也将通过浏览器内置更新通道及官网渠道分批向全球用户推送。本次升级特别为Windows10用户带来了全新的本地浏览数据自动备份功能，同时在macOS与Linux平台也同步优化了系统稳定性与交互体验。在Windows10上，用户可启用浏览器数据备份选项，将密码、书签及其他常用浏览信息按天自动
2025-12-12 20:43:01
718
PaddlePaddle 3.2.2 发布 PaddlePaddle3.2.2正式上线，本次版本围绕分布式并行能力、算子实现机制以及硬件兼容性三大方向进行了多项关键优化与功能增强，显著提升了框架的整体运行效率与系统可靠性。1.分布式训练能力升级重构FlexCheckpoint的重切分通信逻辑，提升检查点保存与恢复效率；为paddle.nn.Layer类新增full方法，支持便捷获取模型全部参数；增强对HuggingFace标准Checkpoint格式的原生加载支持。(#76249,#76291)在group_sha
2025-12-12 20:39:32
995
Linux 基金会宣布成立 Agentic AI 基金会 Linux基金会正式宣布成立AgenticAI基金会（AAIF），该基金会致力于构建一个中立、开放的协作平台，推动AgenticAI技术以透明、可信且共建共享的方式持续演进。目前，亚马逊AWS、Anthropic、Block、彭博社、Cloudflare、谷歌、微软与OpenAI已确认成为AAIF的白金级会员。首批纳入AAIF的开源项目涵盖多个前沿实践：Anthropic提出的模型上下文协议（MCP）、Block推出的goose框架，以及OpenAI发布的AGEN
2025-12-12 19:35:45
252
苹果和谷歌联手合作，简化 iPhone 与 Android 双向迁移数据流程 据科技媒体9to5Google报道，谷歌与苹果联合打造的“跨平台换机工具”已初现端倪，其早期形态已集成于最新发布的AndroidCanary开发者预览版中，并有望在即将推出的iOS26开发者测试版中同步上线。过去，Android与iOS用户在切换操作系统时，往往需借助第三方迁移应用，或分别使用苹果官方的“转移到iOS”与谷歌提供的“SwitchtoAndroid”等独立工具。尽管这些方案支持基础数据（如通讯录、相册、日历）的转移，但在迁移范围、操作流畅度以及跨系统兼容性方面仍显
2025-12-12 19:23:50
782
中兴通讯：公司反对一切腐败行为，正与美国司法部就有关事项进行沟通 感谢网友某咸鱼的小号、小星_14、会弹琴的九号、啊俊的线索提供！12月11日消息，中兴通讯股份有限公司当日发布一则重大事项公告，明确指出：公司坚决抵制任何形式的腐败行为，当前正就相关事宜与美国司法部保持沟通。公告全文如下：中兴通讯股份有限公司（以下简称“公司”）董事会已关注到近期媒体关于公司可能涉及美国《反海外腐败法》合规性调查的报道。公司正与美国司法部就此事进行积极沟通，并将依法依规采取一切必要措施，坚定捍卫自身合法权益。公司持续深入推进合规管理体系建设，全力构建具备行业标杆水准的合规治理
2025-12-12 19:22:20
872
京东：未来 5 年投 220 亿，新供应 15 万套“小哥之家” 感谢网友啊俊的线索提供！12月12日消息，京东今日正式对外宣布：未来五年内将斥资220亿元，通过租赁、自建及住房保障基金支持等多种渠道，建设并运营共计15万套“小哥之家”，预计将覆盖并惠及不少于20万名一线员工，持续提升快递员、外卖骑手等基层劳动者的居住品质。与此同时，京东还将同步升级一线员工的福利体系与职业技能培训机制。京东透露，随着最新一批全职骑手顺利入住位于北京通州区的“京东小哥之家”，目前京东已为一线员工累计提供住房达2.8万套，服务范围遍及全国145座城市。据京东介
2025-12-12 19:20:02
336
摩尔线程科创板上市股价暴涨 723%，官方提示新产品量产仍需时日 感谢网友啊俊、某咸鱼的小号的线索提供！12月11日消息，摩尔线程今日发布股票交易风险提示公告。公告指出，公司已于2025年12月5日正式登陆上海证券交易所科创板。截至2025年12月11日，公司股票收盘价较发行价累计上涨723.49%，涨幅明显偏高。该涨幅显著超出科创综指、科创50等主要科创类指数同期表现。据公告披露，2025年前三季度，摩尔线程实现营业收入7.85亿元，归属于母公司所有者的净利润为-7.24亿元。公司预计2025全年归属于母公司股东的净
2025-12-12 19:01:57
508
阿里通义实验室开源 Qwen-Image-i2L 阿里通义实验室正式发布Qwen-Image-i2L，支持将任意单张图像即时转换为可训练、可迁移的LoRA（Low-RankAdaptation）模型。无需依赖大规模图像数据集或高性能计算设备，用户仅需上传一张图片，系统即可自动生成轻量级LoRA适配模块，并可直接嵌入主流生成式AI模型中，快速实现“一图定风格”的高效迁移效果。Qwen-Image-i2L的技术核心在于其创新的图像语义解耦架构。该模型融合SigLIP2、DINOv3与Qwen-VL等先进多模态编码器，对输入图像进行深度解析，自动
2025-12-12 18:56:18
978
马斯克：希望下个月毫无保留地开源 X 平台全部代码 12月6日消息，北京时间今日凌晨，马斯克在X平台发布动态表示，X平台在向用户推送“令人着迷的内容”方面正快速推进，预计下个月即可全面开源X的全部源代码，做到彻底公开、不留保留。该表态系对科技博主RobertScoble一条长帖的回应。原帖核心内容整理如下：X平台的整体氛围正在悄然转变。我近期与xAI团队内部成员有过交流。据透露，全新升级的“完整版”推荐算法预计还需数周时间正式上线，将由新一代Grok模型驱动。而下面这份观察报告，让我对X的未来充满期待。随着新系统分阶段部署，平台生态已开始显现变化
2025-12-12 18:37:02
139
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部