持久化ChromaDB向量嵌入：避免重复计算的教程

from langchain_community.embeddings import OpenAIEmbeddings
from langchain_community.vectorstores import Chroma
from langchain.text_splitter import CharacterTextSplitter
from langchain_community.document_loaders import TextLoader

# 假设您有一些文档数据
# 为了演示，我们创建一个简单的文档列表
# 实际应用中，您可以从PDF、文本文件等加载
documents_raw = [
    "人工智能（AI）正在改变世界，从自动驾驶汽车到智能家居。",
    "机器学习是人工智能的一个子领域，专注于让计算机从数据中学习。",
    "深度学习是机器学习的一个分支，使用神经网络来处理复杂模式。",
    "自然语言处理（NLP）是AI的另一个领域，涉及计算机理解和生成人类语言。"
]

# 假设您有一个文本加载器和分词器
# 这里我们直接使用原始文本作为documents
# 如果是实际文件，您会使用 TextLoader 等
# 假设我们已经有了处理好的文档对象
# For demonstration, let's create simple Document objects
from langchain_core.documents import Document
documents = [Document(page_content=doc_content) for doc_content in documents_raw]


# 定义持久化目录
persist_directory = 'chroma_db_store'

# 初始化嵌入模型
# 请确保您已配置好OpenAI API密钥
embedding = OpenAIEmbeddings()

# 从文档创建ChromaDB向量数据库，并指定持久化目录
# 这将计算文档的嵌入，并将结果存储到 'chroma_db_store' 目录中
print(f"正在创建并持久化ChromaDB到：{persist_directory}")
vectordb = Chroma.from_documents(
    documents=documents,
    embedding=embedding,
    persist_directory=persist_directory
)
print("ChromaDB数据库已创建并成功持久化。")

# 可以在这里执行一些查询来验证
query = "什么是AI？"
docs = vectordb.similarity_search(query)
print(f"\n查询 '{query}' 的结果:")
for doc in docs:
    print(f"- {doc.page_content}")

from langchain_community.embeddings import OpenAIEmbeddings
from langchain_community.vectorstores import Chroma

# 定义之前使用的持久化目录
persist_directory = 'chroma_db_store'

# 初始化嵌入模型
# 加载时也需要提供相同的embedding_function，ChromaDB会用它来处理查询
embedding = OpenAIEmbeddings()

# 从持久化目录加载ChromaDB向量数据库
print(f"正在从 {persist_directory} 加载ChromaDB数据库...")
vectordb_loaded = Chroma(
    persist_directory=persist_directory,
    embedding_function=embedding
)
print("ChromaDB数据库已成功加载。")

# 现在可以直接对加载的数据库执行查询
query = "深度学习的特点是什么？"
docs = vectordb_loaded.similarity_search(query)
print(f"\n查询 '{query}' 的结果:")
for doc in docs:
    print(f"- {doc.page_content}")

query_new = "关于语言处理的AI领域是什么？"
docs_new = vectordb_loaded.similarity_search(query_new)
print(f"\n查询 '{query_new}' 的结果:")
for doc in docs_new:
    print(f"- {doc.page_content}")