Kimi 开源又放大招！20 秒更新万亿参数的中间件来了

kimi 再次引爆技术圈，开源项目再出王炸！

这次，一个名为 checkpoint-engine 的中间件，让 Kimi K2 的万亿级模型参数迈入“秒级更新”新时代。

它不仅能将更新后的权重从单一节点瞬间同步至全部节点，还支持灵活的点对点动态参数刷新。

网友们直呼大开眼界，惊叹声不断。

接下来，我们就来深入解析这个关键中间件背后的黑科技。

该组件名为 checkpoint-engine（检查点引擎），核心用途是强化学习流程中的关键环节——在大模型推理过程中高效更新模型权重。

借助这一利器，Kimi-K2 仅需约 20 秒，即可完成在数千张 GPU 上对万亿参数的全面刷新。

与前代 Kimi-k1.5 类似，K2 在同步强化学习训练中采用混合共置架构：训练引擎与推理引擎部署在同一组计算节点上。

当其中一个引擎运行时，另一个会主动释放 GPU 资源，实现资源动态调配。

每轮强化学习迭代中，中央控制器首先调用推理引擎生成新一批数据，随后切换至训练引擎进行学习，并将更新后的参数传回推理引擎，用于下一轮推理。

因此，两个引擎均针对高吞吐性能进行了深度优化。

但随着模型规模跃升至 K2 级别，引擎切换和故障恢复带来的延迟问题愈发突出。

于是，研究团队开始思考：如何更高效地完成参数更新？

在 rollout 阶段，训练引擎的参数会被卸载到 DRAM 中，因此重启训练只需一次 H2D（主机到设备）数据传输即可完成。

然而，推理引擎的启动则复杂得多——它需要从训练引擎获取最新参数，而两者的参数分片策略并不一致。

考虑到 K2 模型的巨大体量和庞大的硬件集群规模，若通过传统网络文件系统重新切分并广播参数，所需带宽高达每秒数 PB，系统开销难以承受。

正是在此背景下，检查点引擎横空出世。

团队选择在训练节点上部署分布式检查点引擎，统一管理参数状态。

参数更新时，每个检查点工作节点先从训练引擎获取本地参数副本，然后将完整参数集广播至所有检查点节点。

推理引擎只需从中拉取自身所需的分片即可完成加载。

为支撑万亿参数级别的更新效率，团队采用了逐分片流水线更新机制，最大限度降低内存占用。

理论上可行的三阶段流水线如下：

• H2D 阶段：异步将某一分片权重复制到 H2D 缓冲区；
• 广播阶段：复制完成后，将其送入 IPC 缓冲区并向所有 GPU 广播；
• 重载阶段：推理引擎同时从另一 IPC 缓冲区加载参数。

不过，目前这一理想化的三阶段方案尚未落地。K2 实际采用的是更为简洁的两阶段设计：

所有设备先同步执行一次 H2D 传输；

零一万物开放平台

零一万物大模型开放平台

0

查看详情

随后，广播与重载操作并行展开。

团队决定将完整参数集直接广播至整个集群，而不考虑各推理节点的具体分片方式。

虽然这会导致传输总量略高于理论最优值，但却极大简化了系统架构，减少了对训练与推理引擎的侵入性。

研究人员认为，这种微小的带宽代价换来的是训练与推理模块的完全解耦，显著降低了维护与测试难度。

此外，对于 Kimi K2 这类超大规模模型而言，启动速度同样至关重要。

在启动训练引擎时，每个节点可以选择性地读取部分或不读磁盘参数，再通过节点间通信补全缺失部分。

这种方式确保整个集群只需整体读取一次检查点，有效规避了高昂的磁盘 IO 成本。

同时，由于推理引擎为独立副本，团队希望避免在其间引入额外同步屏障。

因此，在初始化阶段复用了检查点引擎的能力：

由检查点引擎统一从磁盘读取检查点数据（类似训练引擎启动过程），然后用于初始化尚未启动的推理实例。

值得一提的是，得益于专用检查点引擎的设计，系统具备更强的容错能力——任一推理副本可独立重启，无需与其他副本协调，彻底摆脱单点故障风险。

由此可见，这个看似低调的中间件，实则在 Kimi K2 的整体架构中扮演着举足轻重的角色。

参考链接：

[ 1 ] https://www.php.cn/link/53afd7ab97449cdbb682b6b7e335c524

[ 2 ] https://www.php.cn/link/7921d90348e08272240aeed482095bae

[ 3 ] https://www.php.cn/link/ac358cbed52f811a87ccf33be3e5b5bb

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

— 完 —

专属 AI 产品从业者的实名社群，只聊 AI 产品最落地的真问题 扫码添加小助手，发送「姓名 + 公司 + 职位」申请入群～

进群后，你将直接获得：

最新最专业的 AI 产品信息及分析

不定期发放的热门产品内测码

内部专属内容与专业讨论

点亮星标

科技前沿进展每日见

以上就是Kimi 开源又放大招！20 秒更新万亿参数的中间件来了的详细内容，更多请关注php中文网其它相关文章！