在人工智能领域，大语言模型的训练与推理开销长期制约着技术的广泛应用。近日，北京大学人工智能研究院助理教授张牧涵领衔的团队，在鲲鹏昇腾科教创新卓越中心（简称“卓越中心”）提供的强大算力支持下，成功构建了一套高效的大模型训练与推理架构，实现百万tokens输入成本低至1元，为行业提供了高性能、低成本的全新解决方案。
该研究实现了三项核心技术突破。其一，当前主流的相对位置编码机制存在显著稀疏性问题。团队创新性地将注意力头中的位置信息与非位置信息解耦，对位置编码实施低秩压缩，在仅保留3%位置信息的情况下，仍能保持原有的表达能力。通过优化昇腾硬件上的flash-attention算子，有效提升了注意力头参数的利用效率。
其二，传统模型中非位置编码部分往往处于被压制状态。通过分离位置与非位置信息，团队为非位置编码开辟了更大的压缩空间。采用联合KV的低秩压缩策略，仅需保留12.5%的KV Cache即可维持模型性能。该方法充分发挥了昇腾芯片高效的并行计算优势，显著降低内存访问压力，大幅提升推理吞吐。
其三，依托昇腾平台卓越的并行处理能力，团队提出了Recurrent Decoding（RD）技术，替代传统LM-head结构，显著提升训练效率与推理速度。在训练过程中，RD通过对比解码生成的多个tokens与目标序列，提高数据利用率；在推理阶段，结合投机采样机制，大幅提高token生成的通过率，从而加快整体输出速度。
这项成果已引发学术界高度关注，不仅为后续研究提供了可复用的高效架构模板，也显著降低了大模型在企业场景中的部署门槛。自2023年6月成立以来，北京大学与华为持续在产业前沿技术领域开展深度合作，此次成果充分验证了昇腾算力平台支撑高水平科研的能力。未来，卓越中心将持续推进大模型关键技术攻关，助力中国自主人工智能生态建设。
以上就是北大张牧涵团队依托昇腾突破推理效率瓶颈 大模型推理百万tokens 成本仅 1 元的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
广告
收藏
收藏
收藏
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
834
