Langchain对话检索链中聊天历史与内存的深度解析与实践

import os
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import VertexAIEmbeddings
from langchain.text_splitter import RecursiveCharacterTextSplitter, Language

# 配置嵌入模型
EMBEDDING_QPM = 100
EMBEDDING_NUM_BATCH = 5
embeddings = VertexAIEmbeddings(
    requests_per_minute=EMBEDDING_QPM,
    num_instances_per_batch=EMBEDDING_NUM_BATCH,
    model_name="textembedding-gecko",
    max_output_tokens=512,
    temperature=0.1,
    top_p=0.8,
    top_k=40
)

# 文本分割器
text_splitter = RecursiveCharacterTextSplitter.from_language(
    language=Language.PYTHON, chunk_size=2000, chunk_overlap=500
)

# 加载训练数据并创建文档
docs = []
training_data_path = "training/facts/" # 假设训练数据文件在此目录
trainingData = os.listdir(training_data_path)

for training_file in trainingData:
    with open(os.path.join(training_data_path, training_file), 'r', encoding='utf-8') as f:
        print(f"Add {f.name} to dataset")
        texts = text_splitter.create_documents([f.read()])
        docs.extend(texts)

# 从文档创建FAISS向量存储并保存到本地
store = FAISS.from_documents(docs, embeddings)
store.save_local("faiss_index")
print("FAISS index created and saved.")

from langchain.chains import ConversationalRetrievalChain
from langchain.memory import ConversationBufferMemory
from langchain_community.llms import VertexAI # 假设使用VertexAI作为LLM
from langchain_core.prompts import ChatPromptTemplate, SystemMessagePromptTemplate, HumanMessagePromptTemplate
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import VertexAIEmbeddings

# 假设LLM和embeddings已经初始化
# code_llm = VertexAI(...) # 初始化你的LLM
# embeddings = VertexAIEmbeddings(...) # 初始化你的embeddings

# 1. 加载FAISS索引并创建检索器
# 确保faiss_index目录和embeddings模型与创建索引时一致
store = FAISS.load_local("faiss_index", embeddings, allow_dangerous_deserialization=True) # 注意：如果索引来自不可信来源，此参数需谨慎
retriever = store.as_retriever(
    search_type="similarity",
    search_kwargs={"k": 2},
)

# 2. 初始化对话内存
# memory_key='chat_history' 是关键，它定义了内存内容在提示中被引用的变量名
memory = ConversationBufferMemory(
    memory_key='chat_history', return_messages=True, output_key='answer'
)

# 3. 定义自定义提示模板
# 注意：提示模板中必须包含 {context}, {chat_history}, {question} 占位符
promptTemplate = """请根据提供的上下文和聊天历史回答用户问题。

上下文:
{context}

聊天历史:
{chat_history}

用户问题:
{question}
"""

messages = [
    SystemMessagePromptTemplate.from_template(promptTemplate),
    HumanMessagePromptTemplate.from_template("{question}") # 这里的{question}是实际的用户输入
]
qa_prompt = ChatPromptTemplate.from_messages(messages)

# 4. 初始化LLM
code_llm = VertexAI(
    model_name="gemini-pro", # 或者其他适合你的模型
    max_output_tokens=512,
    temperature=0.1,
    top_p=0.8,
    top_k=40
)

# 5. 构建ConversationalRetrievalChain
# get_chat_history=lambda h : h 是核心，它告诉链从输入字典中直接获取 'chat_history'
# combine_docs_chain_kwargs={"prompt": qa_prompt} 将我们自定义的提示模板注入到文档组合链中
qa_chain = ConversationalRetrievalChain.from_llm(
    llm=code_llm,
    retriever=retriever,
    memory=memory,
    get_chat_history=lambda h: h,
    combine_docs_chain_kwargs={"prompt": qa_prompt}
)

# 6. 维护外部聊天历史并调用链
# 外部维护的history列表用于满足 get_chat_history 的要求
history = []

def chat_with_bot(question: str):
    global history # 声明使用全局的history列表

    # 调用链时，显式传入 'question' 和 'chat_history'
    # 'chat_history' 会通过 get_chat_history 传递给提示模板
    # 同时，ConversationBufferMemory 也会利用这些信息更新其内部状态
    response = qa_chain({"question": question, "chat_history": history})

    answer = response['answer']
    # 更新外部历史列表，用于下一次调用
    history.append((question, answer))
    return answer

# 示例对话
print(chat_with_bot("什么是FAISS？"))
print(chat_with_bot("它有什么作用？"))
print(chat_with_bot("如何使用Python加载它？"))