本文详细介绍了如何在langserve中构建一个支持动态输入的问题回答（rag）应用。通过集成langchain的`runnable`接口，我们展示了如何将用户在运行时提供的查询问题和目标语言参数，动态地传递给检索器和语言模型，从而实现高度交互性和灵活性的rag服务部署。
随着大型语言模型（LLM）应用的普及，检索增强生成（RAG）已成为一种强大的范式，它通过结合外部知识库来提升LLM的准确性和相关性。Langchain作为构建LLM应用的框架，提供了丰富的工具和抽象。而Langserve则进一步简化了Langchain应用的部署，使其能够轻松地通过HTTP API对外提供服务。
然而，在开发RAG应用时，一个常见的需求是允许用户在运行时动态地提供输入，例如查询问题和输出语言。原始的示例代码中，检索器的查询和提示词中的语言参数是硬编码的，这大大限制了应用的灵活性和交互性。本教程旨在解决这一问题，指导您如何在Langserve中构建一个能够接收动态输入的RAG应用。
在传统的Langchain链中，如果我们将查询问题直接写入retriever.get_relevant_documents("What does finance accounts contain?")，或者将语言参数固定在prompt = ChatPromptTemplate.from_template("...strictly in {lang}")中，那么每次需要改变这些参数时，都必须修改代码并重新部署。这对于一个需要与用户交互的应用来说是不可接受的。
我们的目标是：
Langserve应用基于FastAPI，其核心思想是将Langchain的Runnable对象封装成HTTP端点。Runnable对象可以定义其期望的输入类型。当Langserve接收到HTTP请求时，它会解析请求体中的数据，并将其作为输入传递给相应的Runnable链。
要实现动态输入，关键在于：
我们将逐步构建一个支持动态问题和语言输入的RAG链。
首先，我们需要一个检索器（Retriever）和一个语言模型（LLM）。为了演示，我们将使用一些模拟数据和OpenAI模型。
import os
from fastapi import FastAPI
from langserve import add_routes
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough, RunnableLambda
from langchain_core.output_parsers import StrOutputParser
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import OpenAIEmbeddings
from langchain_core.documents import Document
from langchain_openai import ChatOpenAI
import uvicorn
# 设置OpenAI API密钥 (请替换为您的实际密钥或从环境变量加载)
# os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"
# 1. 模拟检索器设置
# 在实际应用中，您会从数据库或文件加载文档，并使用更复杂的嵌入模型和向量存储
docs_content = [
"财务账户通常包含财务交易记录，包括资产、负债、权益、收入和支出。它们用于编制资产负债表和损益表等财务报表。",
"资产负债表在特定时间点提供公司财务状况的快照，列出资产、负债和所有者权益。",
"损益表，也称为利润和亏损表，总结了公司在一段时间内的收入、支出以及利润或亏损。",
"财务报表对于投资者、债权人和管理层评估公司的业绩和财务状况至关重要。"
]
documents = [Document(page_content=d) for d in docs_content]
embeddings = OpenAIEmbeddings() # 使用OpenAI嵌入模型
vectorstore = FAISS.from_documents(documents, embeddings)
retriever = vectorstore.as_retriever()
# 2. LLM设置
llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0.7) # 使用GPT-3.5 Turbo模型检索器返回的是Document对象列表，我们需要将其转换为字符串，以便注入到提示词中。
def format_docs(docs):
"""将检索到的文档列表格式化为单个字符串。"""
return "\n\n".join(doc.page_content for doc in docs)这是核心部分。我们将使用RunnablePassthrough和RunnableLambda来处理动态输入。链的输入将被假定为一个字典，包含"question"和"lang"键。
# 3. 构建RAG链，支持动态输入
# 链的输入预期是一个字典，例如：{"question": "...", "lang": "..."}
rag_chain = (
# 步骤1: 从输入中提取问题，并并行地执行检索
# RunnablePassthrough.assign 允许我们添加新的键到输入字典中，而不改变原始输入
# 'context' 键的值将是检索器根据 'question' 检索到的文档
RunnablePassthrough.assign(
context=lambda x: retriever.invoke(x["question"]) | RunnableLambda(format_docs)
)
# 步骤2: 创建聊天提示模板
# 模板将使用动态的 'context'、'question' 和 'lang'
| ChatPromptTemplate.from_template(
"根据以下上下文信息:\n{context}\n\n请回答问题: {question}，并严格使用{lang}语言。"
)
# 步骤3: 调用语言模型生成答案
| llm
# 步骤4: 解析LLM的输出为字符串
| StrOutputParser()
)链的解释：
现在，我们将使用Langserve来部署这个动态RAG链。
# 4. Langserve应用设置
app = FastAPI(
title="动态RAG应用",
version="1.0",
description="一个Langserve应用，支持动态问题和语言输入的RAG功能。"
)
# 5. 添加路由
# 注意：input_type 参数明确定义了链的预期输入结构
add_routes(
app,
rag_chain,
path="/dynamic_rag",
input_type={"question": str, "lang": str}, # 明确定义输入Schema
output_type=str # 定义输出Schema
)
# 6. 运行Langserve应用
if __name__ == "__main__":
uvicorn.run(app, host="localhost", port=8000)运行应用：
pip install langchain langchain-openai langserve uvicorn "fastapi[all]" python-dotenv faiss-cpu
python app.py
测试应用：
打开浏览器访问 http://localhost:8000/dynamic_rag/playground/。您将看到Langserve Playground界面。
在左侧的“Input”区域，您会看到两个输入框：question (string) 和 lang (string)。
您将看到LLM根据检索到的上下文，用中文回答了您的问题。您可以尝试不同的问题和语言，验证动态输入的效果。
通过本教程，我们成功地将一个静态的RAG应用改造为一个支持动态输入的Langserve服务。我们学习了如何利用Langchain的Runnable接口和Langserve的部署能力，使RAG应用能够接收用户在运行时提供的查询问题和目标语言。这种动态化的方法极大地增强了应用的灵活性、交互性和实用性，为构建更智能、更用户友好的LLM应用奠定了基础。
以上就是构建Langserve动态RAG应用：实现运行时问题与语言输入的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
561
收藏
