微信公众号 讲师中心
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机/移动开发 手机游戏
搜索
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程
自媒体 新闻
首页 > 科技周边 > 人工智能 > 正文

字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%

DDD
发布： 2024-11-07 18:31:25
转载
829人浏览过
字节跳动豆包大模型团队于近日提出超连接（Hyper-Connections），一种简单有效的残差连接替代方案。面向残差连接的主要变体的局限问题，超连接可通过动态调整不同层之间的连接权重，解决梯度消失和表示崩溃（Representation Collapse）之间的权衡困境。在 Dense 模型和 MoE 模型预训练中，超连接方案展示出显著的性能提升效果，使收敛速度最高可加速 80%。

自从 ResNet 提出后，残差连接已成为深度学习模型的基础组成部分。其主要作用是 —— 缓解梯度消失问题，使得网络的训练更加稳定。

但是，现有残差连接变体在梯度消失和表示崩溃之间存在一种 “跷跷板式” 的权衡，无法同时解决。

为此，字节豆包大模型 Foundation 团队于近日提出超连接（Hyper-Connections），针对上述 “跷跷板式” 困境，实现了显著提升。

该方法适用于大规模语言模型（LLMs）的预训练，在面向 Dense 模型和 MoE 模型的实验中，展示了显著性能提升效果，使预训练收敛速度最高可加速 80%。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
研究团队还发现，超连接在两个小型的视觉任务中表现同样优异，这表明，该方法在多个领域有广泛的应用前景。
字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
  • 论文标题：Hyper-Connections
  • 论文链接：https://arxiv.org/pdf/2409.19606

1. 超连接的核心思想

前文提及，残差连接的两种主要变体 Pre-Norm 和 Post-Norm 各自都有其局限性，具体体现如下：

  • Pre-Norm：在每个残差块之前进行归一化操作，可有效减少梯度消失问题。然而，Pre-Norm 在较深网络中容易导致表示崩溃，即深层隐藏表示过于相似，从而削弱了模型学习能力。
  • Post-Norm：在残差块之后进行归一化操作，有助于减少表示崩溃问题，但也重新引入梯度消失问题。在 LLM 中，通常不会采用此方法。

超连接的核心思路在于 —— 引入可学习的深度连接（Depth-connections）和宽度连接（Width-connections）。

从理论上，这使得模型不仅能够动态调整不同层之间的连接强度，甚至能重新排列网络层次结构，弥补了残差连接在梯度消失和表示崩溃（Representation Collapse）之间的权衡困境。

深度连接与宽度连接

起初，该方法会将网络输入扩展为 n 个隐向量（n 称作 Expansion rate）。之后每一层的输入都会是 n 个隐向量，超连接会对这些隐向量建立以下两类连接：

  • 深度连接（Depth-Connections）：这些连接类似于残差连接，只为输入与输出之间的连接分配权重，允许网络学习不同层之间的连接强度。
  • 宽度连接（Width-Connections）：这些连接使得每一层多个隐藏向量之间可进行信息交换，从而提高模型表示能力。
字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
静态与动态超连接

超连接可以是静态的，也可以是动态的。

其中，静态超连接（Static Hyper-Connections, SHC）意味着连接权重在训练结束后固定不变。而动态超连接（Dynamic Hyper-Connections, DHC）则对应连接权重可根据输入动态调整。实验表明，动态超连接效果更好。

2. 技术细节

超连接（Hyper-connections）

首先，考虑第 k 层的输入隐藏向量字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%，网络的初始输入为字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%，并将其复制 n 次，形成初始的超隐藏矩阵（Hyper Hidden Matrix）：
字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
这里，n 称为扩展率（Expansion Rate）。在第 k 层，输入是上一层的超隐藏矩阵字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%，即：
字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
对最后一层的超隐藏矩阵逐行求和，得到所需的隐藏向量，并通过一个投影层输出网络最终的结果（在 Transformer 中即为归一化层和解嵌入层）。

为了简化后续分析的符号表示，作者省略层索引，直接将超隐藏矩阵表示为：
字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
超连接可以用一个矩阵来表示，对于扩展率为 n 的情况，超连接矩阵 HC 如下：
字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
考虑一层网络字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%，它可能是 Transformer 中的 attention 层或者是 FFN 层。超连接的输出 字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%可以简单地表示为：
字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
也就是说，用 字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%作为权重对输入 字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%进行加权求和，得到当前层的输入字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%：
字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%同时，字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%用于将 字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%映射到残差超隐藏矩阵字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%，表示如下：
字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
最终的输出表达式为：
字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
伪代码如下:
字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
动态超连接的实现

超连接矩阵 字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%的元素可以动态依赖于输入 字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%，动态超连接的矩阵表示为：
字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
同样，给定层 字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%和输入字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%，可以得到动态超连接的输出：
字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
在实际操作中，团队结合了静态和动态矩阵来实现动态超连接，动态参数通过线性变换获得。

为了稳定训练过程，团队在线性变换前引入归一化，并在其后应用 tanh 激活函数，通过一个可学习的小因子进行缩放。动态参数的计算公式如下：
字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
实验表明，动态超连接在语言建模任务中优于静态超连接。

3. 为什么使用超连接（Hyper-Connections）

研究团队认为，残差连接的两种变体，即前归一化（Pre-Norm）和后归一化（Post-Norm），可以被视为不可训练的超连接。

随后，团队引入了顺序 - 并行二象性概念，展示了超连接如何动态优化层的排列以提升网络性能。

残差连接是不可训练的超连接

前归一化和后归一化的残差连接可以表示为以下扩展率为 字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%的超连接矩阵：
字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
其中，字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%和 字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80% 分别表示神经网络层输入和输出的标准差，字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%表示它们之间的协方差。

对于 Pre-Norm，其超连接矩阵是一个 字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%的矩阵，右下三角部分填充为 1，其余部分为占位符 0。对于 Post-Norm，权重依赖于输入和输出的方差及协方差，形成一个 字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%的矩阵。因此，它们的超连接矩阵是不可训练的。

而本工作提出的方法的超连接矩阵是 字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%矩阵，且权重是可训练的，甚至可以基于输入进行动态预测。

顺序 - 并行二象性

给定一系列神经网络模块，我们可以将它们顺序排列或并行排列。作者认为，超连接可以学习如何将这些层重新排列，形成顺序和并行配置的混合。
字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
在不失一般性的情况下，可以将扩展率设置为 n=2。如果超连接以如下矩阵形式学习，神经网络将被顺序排列：
字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
在这种情况下，深度连接退化为残差连接，如图 (a) 所示。

当奇数层和偶数层的超连接矩阵分别定义为以下形式时，神经网络每两层将被并行排列，类似于 Transformer 中的 parallel transformer block 的排列方式，如图 (b) 所示。
字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
因此，通过学习不同形式的超连接矩阵，网络层的排列可以超越传统的顺序和并行配置，形成软混合甚至动态排列。对于静态超连接，网络中的层排列在训练后保持固定；而对于动态超连接，排列可以根据每个输入动态调整。

4. 实验结果

实验主要集中在大规模语言模型的预训练上，涵盖了 Dense 模型和 MoE 模型。

实验结果表明，使用超连接的模型显著优于使用残差连接的模型。

1B Dense 模型实验
字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
只要扩展率 > 1，效果就十分显著，且训练更稳定，消掉了训练 loss 的 spikes。

7B Dense 模型实验

团队甚至 Scale 到了 7B 模型，效果也十分亮眼，同时可以看到有超连接的网络训练更稳定。
字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
7B 候选激活 1.3B 的 MoE 模型实验
字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
可以看到，下游指标全涨，在 ARC-Challenge 上甚至涨了 6 个百分点。
字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
综上，研究团队介绍了超连接（Hyper-Connections），它解决了残差连接在梯度消失和表示崩溃之间的权衡问题。实验结果表明，超连接在大规模语言模型的预训练以及视觉任务中都表现出显著的性能提升。

值得注意的是，超连接的引入几乎不增加额外的计算开销或参数量，团队认为，该成果具有广泛的应用潜力，可以推广到文音视图模态的不同任务上，包括多模态理解、生成基座模型等。

5. 写在最后

团队关注底层问题，尤其在 LLMs 和多模态方面，期望实现更多突破。

更多团队技术研究进展，可以进入「豆包大模型团队」技术解读栏目了解。

以上就是字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%的详细内容，更多请关注php中文网其它相关文章！

相关标签：
字节跳动 豆包大模型 排列 豆包 抖音豆包 豆包app 人工智能豆包 Static transformer https Foundation

大家都在看：

AI工具
AI工具

AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型，支持联网搜索。

下载
来源：机器之心网
收藏 点赞
上一篇：不靠更复杂的策略，仅凭和大模型训练对齐，零样本零经验单LLM调用，成为网络任务智能体新SOTA 下一篇：三星亮相进博会，AI显示“玩”出新花样
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
作者最新文章
最新问题
天宫AI如何做知识问答_天宫AI知识库构建与问答优化方法 优化天宫AI问答需四步：一、构建高质量知识库，整合权威数据并转为结构化知识图谱；二、优化语义匹配算法，采用BERT和双塔模型提升意图理解；三、部署多跳推理机制，通过知识图谱路径推理解决复杂问题；四、实施动态缓存策略，利用Redis缓存高频问题结果以提升响应速度。
2025-11-15 08:05:39
919
松鼠AI怎么开启每日打卡_松鼠AI学习打卡功能开启与设置教程 要开启松鼠AI每日打卡功能，需先配置习惯追踪模块：一、进入习惯打卡界面，登录账号后点击“学习任务”或“习惯养成”，选择“新建习惯”进入设置页；二、配置打卡内容与提醒时间，填写学习任务名称，设定每日固定提醒时间及重复周期并保存；三、启用打卡记录与奖励机制，开启连续打卡计数，设定阶段性目标如7天解锁徽章，并在“家长通”App中同步奖励通知以增强激励。
2025-11-15 06:21:28
335
讯飞火星AI如何进行视频脚本创作_讯飞火星AI短视频脚本自动生成与优化方法 讯飞火星AI可通过智能生成、语音转写、脚本优化和画面匹配四步高效创作短视频脚本：1、输入主题并设置受众与风格后生成结构完整初稿；2、上传口播音频自动转写为文字并优化表达；3、利用语义分析提升语言感染力与节奏感，强化开场吸引力；4、添加多模态画面提示如产品特写、转场与字幕指令，输出可直接拍摄的带备注脚本。
2025-11-15 06:17:15
573
腾讯AI语音翻译怎么实现同声传译_腾讯AI实时语音翻译教程 腾讯AI语音翻译可通过开通服务、集成SDK、启动实时翻译、优化准确率及部署边缘计算实现同声传译效果，支持多语种实时转写与翻译，适用于会议等跨语言交流场景。
2025-11-15 05:45:21
576
天宫AI能做音乐吗_天宫AI音乐创作与音频生成功能 天宫AI具备音乐创作功能，通过集成的天工SkyMusic工具可实现AI作曲。用户需进入平台点击【AI音乐】入口，输入主题或歌词并选择AI写词功能，设定风格参数后生成完整歌曲；支持多模态结构控制，使用【前奏】【主歌】等标签规范段落，结合情感描述词优化表现力；提供方言演唱与参考音频学习功能；生成后可试听多个版本，进行智能优化与时长调整，最终导出MP3或WAV格式并分享至社区。
2025-11-15 05:33:12
246
松鼠ai官方学习网址入口_松鼠ai官网主页直达访问链接 松鼠AI官方学习网址入口是https://s.51yxedu.com/Admin/login/utype/3.html，该平台提供小学全学科知识点学习、智能测评、名师视频讲解和错题档案库等功能，依托人工智能算法为学生定制个性化学习路径。
2025-11-15 01:49:35
730
天宫AI官方网站入口地址_天宫AI官网链接直达在线平台 天宫AI官网入口为https://search.tiangong.cn/，该平台具备强大的中文语义解析、多模态内容生成及智能化知识检索功能，支持文本、图像、语音和PPT等多样化内容创作与高效信息整合。
2025-11-15 00:43:17
998
秘塔AI翻译入口app 秘塔AI免费翻译入口app登录链接 秘塔AI翻译入口在官网https://metaso.cn/，用户可通过该链接登录使用其具备高效精准文本处理、多语言互译及历史记录保存等功能的翻译服务。
2025-11-14 22:39:05
307
即梦如何屏蔽不想要的内容_即梦内容屏蔽操作方法 进入设置页面开启内容过滤功能，添加关键词或分类可屏蔽即梦中不想要的内容，系统将自动过滤相关信息以提升浏览体验。
2025-11-14 22:38:02
415
哩布哩布ai最新官方主页网址_哩布哩布ai官网链接直达入口 哩布哩布AI最新官方主页网址是https://www.liblib.art/，该平台提供一站式AI创作服务，涵盖多种风格化模型与自定义LORA上传功能，支持Checkpoint模型管理，并拥有活跃的社区资源共享机制，推荐使用Chrome浏览器访问以确保兼容性。
2025-11-14 22:35:02
212
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部