华为 UCM 推理记忆管理技术正式开源

近日，华为正式宣布开源其在ai推理加速领域的核心技术——ucm（unified cache manager）推理记忆数据管理方案。

UCM聚焦KV Cache的多级缓存与推理记忆管理，通过推理框架、算力资源与存储系统的三层协同机制，有效应对长序列推理过程中效率低下与成本高昂的挑战，助力企业构建更高效的AI推理体系。

该技术整合多种缓存加速算法与工具，支持对推理中生成的KV Cache记忆数据进行分级管理。UCM整体架构由多个协同运作的核心模块构成，具体包括：

• UCM稀疏化模块 (UcmSparseBase)：作为统一基类，兼容多种稀疏化算法，负责稀疏KV Cache Block的卸载、加载及计算处理，实现“无感接入”的插件式稀疏化能力。在不干扰原有推理流程的基础上，灵活适配各类稀疏策略，提升推理速度。
• 稀疏化KV管理器 (SparseKVManager)：作为算法层面的KV Cache分配控制器，各稀疏算法以多态子类形式注入其分配逻辑，实现算法策略与推理引擎的解耦，满足多样化场景下的定制需求。
• KV Cache存储组件 (UcmKVStoreBase)：提供标准化接口用于对接外部存储系统，使稀疏算法与底层存储解耦，可无缝集成各类存储后端，并支持前缀缓存功能，增强数据存储的灵活性与扩展性。

UCM连接器 (UC Connector)：作为桥梁，连接KV Cache存储组件与推理引擎，确保数据在各模块间高效流转，同时保障前缀缓存的高可用性与稳定性。

完整的UCM产品架构如下图所示：

Get笔记

Get笔记，一款AI驱动的知识管理产品

125

查看详情

依托上述设计，UCM目前已实现四大核心能力：稀疏注意力机制、前缀缓存支持、预填充阶段卸载优化以及异构PD解耦架构。实际应用中，首Token延迟最高降低90%，系统吞吐量提升达22倍，上下文窗口可扩展至原来的10倍以上，显著优化了大模型推理性能。

目前，UCM的基础框架与配套工具链已面向全球开发者开放，托管于ModelEngine社区，欢迎访问获取源码及相关技术文档。

Github地址：https://www.php.cn/link/f3cfc5cb5f8aadbfd8b7e9328fc0f0d1

以上就是华为 UCM 推理记忆管理技术正式开源的详细内容，更多请关注php中文网其它相关文章！