在人工智能领域，大语言模型的训练与推理开销长期制约着技术的广泛应用。近期，北京大学人工智能研究院助理教授张牧涵领衔的团队，在鲲鹏昇腾科教创新卓越中心（简称“卓越中心”）提供的强大算力支持下，成功构建了一套高效的大模型训练与推理架构，实现百万tokens输入成本低至1元，为行业提供了高性能、低成本的新范式。
该研究取得了三项核心技术突破。其一，当前主流的相对位置编码机制存在显著稀疏问题。团队创新性地将注意力头中的位置信息与非位置信息进行分离处理，对位置编码实施低秩压缩，在仅保留3%位置信息的情况下仍能保持原有的表达能力。该方案结合昇腾硬件优化的flash-attention算子，大幅提升了注意力头参数的利用效率。
其二，传统模型中非位置编码部分往往处于被压制状态。通过分离位置与非位置成分，非位置编码获得了更大的压缩潜力。研究团队采用联合KV的低秩压缩策略，仅需保留12.5%的KVCache即可维持模型性能。这一方法有效释放了昇腾芯片强大的计算潜能，缓解内存访问瓶颈，显著增强了推理吞吐能力。
其三，依托昇腾平台卓越的并行计算能力，团队研发出RecurrentDecoding（RD）技术，替代传统LM-head结构，从而提升训练数据利用率并加速推理过程。在训练阶段，RD通过对比解码生成的多个tokens与目标tokens，实现更高效的训练数据利用；在推理阶段，结合投机采样机制，显著提高token生成的命中率，进一步加快输出速度。
此项成果已引发学术界高度关注，不仅为后续研究提供了可复现的高效架构模板，也极大降低了大模型在企业场景中的部署门槛。自2023年6月成立以来，北京大学与华为持续深化在前沿技术领域的协同攻关，此次突破充分验证了昇腾算力平台支撑高水平科研的能力。未来，卓越中心将持续推进大模型关键技术的创新探索，助力构建自主可控的技术生态体系。
