REFRAG— Meta推出的高效解码框架-人工智能-PHP中文网

REFRAG— Meta推出的高效解码框架

聖光之護

发布： 2025-09-10 10:35:01

原创

244人浏览过

REFRAG是什么

refrag是meta超级智能实验室推出的针对检索增强生成（rag）任务的高效解码框架，通过“压缩（compress）、感知（sense）、扩展（expand）”的流程优化大型语言模型（llm）处理外部知识的方式。refrag将检索到的长文本切分为多个“块”，为每个“块”生成紧凑的向量表示，缩短输入序列长度，降低计算量。模型用强化学习策略网络智能判断关键信息，保留重要文本块的原始文本。框架在显著提高首字生成延迟（最高加速30倍）的同时，保持与完整上下文模型相当的性能，有效解决大模型处理长上下文时的效率问题。

Shopxp购物系统Html版

一个经过完善设计的经典网上购物系统，适用于各种服务器环境的高效网上购物系统解决方案，shopxp购物系统Html版是我们首次推出的免费购物系统源码，完整可用。我们的系统是免费的不需要购买，该系统经过全面测试完整可用，如果碰到问题，先检查一下本地的配置或到官方网站提交问题求助。网站管理地址：http://你的网址/admin/login.asp 用户名：admin 密码：admin 提示：如果您

查看详情

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

REFRAG的主要功能

显著降低首字生成延迟（TTFT）：通过优化解码过程，REFRAG将首字生成延迟最高加速30倍，显著提升系统的实时交互性能。
保持或提升生成内容质量：在加速的同时，REFRAG在困惑度和多种下游任务的准确率上与使用完整上下文的基线模型相比没有性能损失，且在某些任务上表现更好。
扩展上下文窗口：REFRAG通过压缩技术，使模型能在同等计算预算下处理更多的上下文信息，上下文窗口等效扩大16倍，有助于提升模型在需要长上下文信息的任务中的表现。
适应多种应用场景：REFRAG适用于RAG任务，能应用在多轮对话、长文档摘要等其他需要处理长上下文信息的任务，具有广泛的适用性。

REFRAG的技术原理

压缩（Compress）：将检索到的长篇参考资料切分为多个“块”（chunks），为每个“块”生成一个紧凑的向量表示“块嵌入”（chunk embedding），缩短输入序列长度，降低后续计算量，避免了重复的编码计算。
感知（Sense）：通过训练基于强化学习（RL）的策略网络，分析所有的“块嵌入”和用户问题，判断哪些文本块包含最核心的信息，需要用原始文本的形式呈现给LLM，确保关键信息不会因压缩丢失。
扩展（Expand）：最终输入到主LLM的是混合序列，包含大部分上下文的“块嵌入”和少量被判断为关键的“原始文本块”。LLM基于经过优化的输入材料生成答案，保留关键信息，最大限度地降低计算负载。
利用注意力机制的稀疏性：REFRAG观察到RAG任务中模型的注意力机制呈现出“块对角”（block-diagonal）的稀疏模式，即模型的注意力主要集中在单个文档内部以及各文档与用户问题之间的关联上。REFRAG通过选择性地压缩和扩展上下文，减少不必要的计算，提高效率。