微信公众号 讲师中心
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机/移动开发 手机游戏
搜索
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程
自媒体 新闻
首页 > 新闻 > IT新闻 > 正文

Omni-Infer v0.4.2 已经发布，超大规模 MoE 模型推理加速技术

花韻仙語
发布： 2025-09-30 11:30:47
原创
983人浏览过

omni-infer v0.4.2 已经发布，超大规模 moe 模型推理加速技术

Omni-Infer v0.4.2 正式上线，带来面向超大规模 MoE 模型的高效推理加速方案

本次版本主要更新亮点如下：

核心功能升级

  • 新增对 DeepSeek-v3.2-EXP with DSA 的全面支持
  • 推出 Omni Proxy，实现高性能的 Prefill 与 Decode 分离调度（PD分离）
  • 引入 KV offload 技术，结合主机内存扩展的 KVM 机制，使 MLA 场景下的 KV blocks 容量提升超过百倍，显著增强长上下文及多轮对话处理能力

已支持模型清单

模型 硬件 精度类型 部署形态
支持DeepSeek-v3.2-Exp A3 BF16 PD分离
支持DeepSeek-v3.2-Exp A3 W8A8C16 PD分离
支持DeepSeek-v3.2-Exp A3 Prefill W4A8C16，Decode W8A8C16 PD分离

性能实测数据

BF16 1P32-1D32 单机BS TPOT(ms) 单条请求TTFT(s)
64K-1K 2 32 3.37
32K-1K 6 34 1.70
16K-1K 8 34 0.97
INT8 2P16-1D32 单机BS TPOT(ms) 单条请求TTFT(s)
128K-1K 2 32 7.834
64K-1K 4 30 3.736
32K-1K 6 28 1.88
16K-1K 8 27 0.979
Prefill INT4/Decode INT8 4P8-1D32 单机BS TPOT(ms) 单条请求TTFT(s)
64K-1K 4 31 6.10
32K-1K 8 29 3.05
16K-1K 8 30 1.51

可下载安装包信息

硬件 架构 镜像文件 Tar包
A3 arm docker pull swr.cn-east-4.myhuaweicloud.com/omni/omni\_infer-a3-arm:release\_v0.4.2 omni\_infer-a3-arm:v0.4.2

模型权重获取方式

提供以下量化版本权重下载： DeepSeek-V3.2-Exp-BF16
DeepSeek-V3.2-Exp-INT8
DeepSeek-V3.2-Exp-INT4

提取码：omniinfer

可图大模型
可图大模型

可图大模型（Kolors）是快手大模型团队自研打造的文生图AI大模型

可图大模型 32
查看详情 可图大模型

部署与配置说明

  • Deepseek-v3.2-Exp 安装部署操作手册
  • Deepseek-v3.2-Exp 权重量化使用指南

性能压测脚本资源

包含完整测试流程的性能评估脚本：
Deepseek-v3.2-Exp 性能测试脚本

更多详情请访问：https://www.php.cn/link/37107d39373c202221d6672722f514cf

源码下载地址：点击获取

以上就是Omni-Infer v0.4.2 已经发布，超大规模 MoE 模型推理加速技术的详细内容，更多请关注php中文网其它相关文章！

相关标签：
git docker ai proxy gitee 性能测试 deepseek 架构 docker https gitee
最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

下载
来源：php中文网
收藏 点赞
上一篇：因网络攻击导致停产，捷豹路虎称部分制造业务将于数日内逐步恢复 下一篇：百度谢天：小度想想2.0正式面向汽车行业全面开放 助推汽车AI Agent革新
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
作者最新文章
最新问题
AI解决企业七大痛点！旭联科技：数位科技推动人才终身学习 AI与国家实力紧密相连，也正成为企业与人才转型的核心驱动力。根据1111人力银行最新调查，近八成（79.8%）台湾企业已导入AI技术，其中19.85%认为「AI提升整体营运效能」、18.6%表示「营运效率显著改善」、另有6.3%已将AI全面融入各项业务流程，显示AI应用正从局部试点迈向系统化部署，其应用广度与成熟度持续攀升。AI能有效应对企业在效率、营销、人力资源、决策支持、研发创新、风险管控及永续发展等七大关键挑战。因应此趋势，数位教育领导品牌——旭联科技将于11/18举办AI数位学习平台新品
2025-11-14 09:08:02
456
支持 DeepResearch | minRAG v0.1.2 发布 让RAG变得前所未有的简单minRAG是一个从零构建的轻量级RAG系统，专注于极简设计与强大功能的结合，代码总量控制在1万行以内，无需复杂安装，双击即可运行。支持多种主流AI平台，包括OpenAI、GiteeAI、百度千帆、腾讯云LKE、阿里云百炼、字节火山引擎等。快速入门指南：立即下载体验：https://gitee.com/minrag/minrag/releases界面展示最新更新内容：OpenAIChatGenerator组件现已支持多轮深度推理与迭代分析爬虫模块新增
2025-11-13 22:35:02
996
东北大学开源多语言翻译模型 NiuTrans.LMT 东北大学“小牛翻译”团队近期正式对外开源其全新大规模多语言翻译模型——NiuTrans.LMT（Large-scaleMultilingualTranslation），成功实现对60种语言、共计234个翻译方向的全面覆盖。该模型以中文和英文为双核心，构建起连接全球语言的高效桥梁，尤其在藏语、阿姆哈拉语等29种低资源语言翻译上取得重大突破。与主流依赖英语作为唯一枢纽语言的翻译系统不同，NiuTrans.LMT创新性地采用中-英双中心架构，支持中文↔58种语言、英文↔59种语言之间的直接翻译，有效规
2025-11-13 21:23:18
130
Doris MCP Server v0.6.0 正式发布 ?DorisMCPServerv0.6.0全新登场！本次发布的v0.6.0版本标志着产品迈入全新阶段，从基础数据库连接工具全面进化为支持企业级认证与数据库管理的综合平台。主要升级亮点如下：企业级多模式认证体系：全面支持Token、JWT与OAuth认证机制，创新实现Token与数据库配置绑定功能，Doris-MCP-Server与Doris原生权限深度集成。每个Token可携带专属数据库连接参数，真正达成多租户间的数据隔离，由管理员统一分配权限，杜绝敏感信息外泄风险。无
2025-11-13 21:16:01
470
中国联通 400 客服热线（4000600611）将停止服务 感谢网友微软去哦怕的线索投递！11月13日消息，中国联通于11月6日发布通知，为优化服务架构、提升用户体验，自2025年12月26日起，中国联通400客服热线（4000600611）将正式停止运营。此后，用户可拨打统一客服热线10010或通过联通App内的“通通助手”进行业务咨询与办理。据了解，号码4000600611原为中国联通在线客服支撑服务中心及联通智家业务的专属服务热线，此次调整后，相关服务功能将全面整合至10010客服体系，实现服务入口的集中化与
2025-11-13 21:11:32
147
李飞飞团队推出首款商用世界模型 Marble 据科技媒体TechCrunch报道，人工智能领域专家李飞飞联合创办的WorldLabs公司近日正式推出其首款商业化“世界模型”产品——Marble，标志着AI在空间智能方向取得关键进展。该产品支持文本、图像与视频等多模态输入方式，能够生成可编辑、可下载的3D环境，目前已上线免费增值及多种付费订阅模式。此次发布距离该公司结束“隐身状态”并完成2.3亿美元融资不足一年，迅速确立了其在行业中的领先地位。相较之下，Decart和Odyssey目前仅提供免费演示版本，而谷歌的Genie仍处于受限的研究预览
2025-11-13 21:11:02
693
百度搜索推出 “猎户座” AI 引擎 百度正式发布“百度猎户座”AI引擎，首次全面开放其25年积淀的搜索技术与领先的AI能力。猎户座不仅仅是一个基础大模型，更融合了搜索AIAPI、MCP（多模态计算平台）以及多项行业专属能力，为开发者和企业提供了强大且灵活的技术支持。通过简单的接入方式，企业和开发者即可直接调用猎户座的核心功能，快速打造个性化的AI应用。该引擎致力于降低AI使用门槛，让不同规模的企业都能轻松部署智能解决方案，提升运营效率与用户体验。据悉，百度猎户座不仅可用于搜索引擎优化，在金融、医疗、教育、电商等多个垂直领域也具备广
2025-11-13 21:10:29
340
腾讯 27 周年“考古”：马化腾当过客服、设计“群聊”产品是为了约饭…… 11月11日，腾讯迎来了27周岁生日，当天公司回应了多个流传已久的“内部秘闻”。关于QQ群的起源，坊间一直有说法称这一功能最初是为了方便员工约饭而开发的。腾讯官方此次正式确认：“属实！”据介绍，“QQ群的诞生，其实是为了解决‘中午吃什么’这个千古难题。”当年，团队常通过邮件讨论午餐去向，效率低下且意见纷杂。一位产品经理忍无可忍，提出：“能不能在QQ上建个固定群组，让大家实时聊天？”这个源于“吃饭焦虑”的创意，最终演变为风靡多年的QQ群功能。值得一提的是，腾讯最早的logo
2025-11-13 21:10:22
255
AMD苏姿丰：2030年资料中心市场规模达1兆美元 获利可翻3倍 AMD于11日公布令人瞩目的财务预测，预计未来五年内其资料中心芯片的年营收将攀升至高达1兆美元，并预期公司整体获利将在同期增长超过三倍。在暌违三年后再度举行的分析师日活动中，CEO苏姿丰明确指出，AI技术将是驱动资料中心市场迈向1兆美元规模的核心动力。2030年资料中心市场有望达1兆美元苏姿丰在纽约举办的分析师大会上表示，AMD预估到2030年，其资料中心芯片所处的市场规模将达到1兆美元。「毫无疑问，资料中心是当前最具潜力的成长引擎，而AMD正处于极为有利的竞争位置。」她所指的市场范畴包含AMD
2025-11-13 21:09:31
320
马斯克：Grok 将能够每天解读 1 亿条 X 帖子 马斯克近日在社交平台X上回应网友对平台算法改进的称赞时，透露了一项重要进展：预计下个月，Grok将能够每天查看并理解约1亿条X平台上的帖子。这些内容不仅包含文字，还涵盖图像和视频等多种形式。无论发布者账户大小，Grok都将基于内容本身的内在质量进行分析与推荐。作为由大量GPU驱动的高级AI系统，Grok旨在通过深度理解内容来优化用户的动态信息流。马斯克指出，这项技术将显著提升每个人的浏览体验，并让优质内容获得更公平的曝光机会。这意味着未来的内容分发机制将不再过度依赖粉丝数量或账号影响力，而是更加
2025-11-13 21:06:15
894
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部