deepseek团队近期发布了一篇题为《mhc: manifold-constrained hyper-connections》(《mhc:流形约束超连接》)的论文,正式推出全新网络架构——mhc(流形约束超连接)。该设计聚焦于缓解大规模模型训练过程中普遍存在的不稳定性难题,有望为未来基础模型架构的升级提供关键思路。
论文作者名单中,DeepSeek创始人兼CEO梁文锋位列联合作者,核心研发工作由解振达(Zhenda Xie)、韦毅轩(Yixuan Wei)与曹焕琪(Huanqi Cao)主导完成。

论文链接:https://www.php.cn/link/df4940468534f2c23ad26a7e9c1aba46
据论文披露,mHC通过引入严格的数学约束机制(例如双随机矩阵所定义的流形结构),将传统超连接(HC)模块中潜在的信号放大效应从高达3000倍大幅压缩至仅约1.6倍,在根本上抑制梯度爆炸与数值震荡,从而显著增强训练鲁棒性,同时不牺牲模型表达能力。实测表明,在27B参数规模模型上,采用mHC后推理准确率提升约7%,而训练耗时仅增加6.7%,达成“低开销、高回报”的协同优化目标。
结合文中提到的“内部多轮大规模验证”以及DeepSeek过往产品迭代节奏,业界普遍预期其下一代旗舰模型V4或将支持长达100万token的上下文窗口,深度适配国产AI加速芯片,并初步集成多模态理解与生成能力。发布时间预计锁定在2026年2月初,借势春节用户活跃高峰集中展示技术突破。
源码地址:点击下载











