LangChain本地部署Llama模型：构建离线AI应用的详细教程

git lfs install

git clone https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF

pip install langchain-community
pip install llama-cpp-python

from langchain_community.llms import LlamaCpp
from langchain.prompts import PromptTemplate
from langchain.chains import LLMChain
import os

def run_local_llama_chatbot():
    """
    使用LangChain和本地Llama模型运行一个简单的聊天机器人。
    """

    # 定义模型文件的相对路径
    # 请根据您实际的模型存放路径进行调整
    # 例如：如果您的模型在项目根目录下的 models/Llama-2-7B-Chat-GGUF/llama-2-7b-chat.Q4_0.gguf
    model_dir = "models/Llama-2-7B-Chat-GGUF"
    model_filename = "llama-2-7b-chat.Q4_0.gguf"
    model_path = os.path.join(model_dir, model_filename)

    # 检查模型文件是否存在
    if not os.path.exists(model_path):
        print(f"错误：模型文件未找到，请检查路径：{model_path}")
        print("请确保已按照教程下载模型并放置在正确的位置。")
        return

    print(f"正在加载本地模型：{model_path}")

    # 初始化LlamaCpp模型
    # model_path: 模型文件的完整路径
    # n_gpu_layers: 卸载到GPU的层数。-1表示尽可能多，0表示完全在CPU上运行。
    # n_batch: 每次推理处理的批次大小。
    # verbose: 是否输出详细日志。
    llm = LlamaCpp(
        model_path=model_path,
        n_gpu_layers=40,  # 根据您的GPU显存调整，若无GPU可设为0
        n_batch=512,
        verbose=True,
        temperature=0.7, # 采样温度
        max_tokens=2048, # 最大生成token数
        top_p=1,
    )

    # 定义提示模板
    template = """问题: {question}

    回答: 让我们一步一步来思考，确保得到正确的答案。"""

    prompt = PromptTemplate(template=template, input_variables=["question"])

    # 创建LLMChain
    llm_chain = LLMChain(prompt=prompt, llm=llm)

    # 提出问题并获取答案
    question = "Bjarne Stroustrup是谁？他与编程有什么关系？"
    print("\n--- 提问 ---")
    print(f"问题: {question}")
    print("\n--- 模型回答 ---")
    response = llm_chain.run(question)
    print(response)

    print("\n--- 另一个问题 ---")
    question_2 = "请简要解释一下Python的GIL（全局解释器锁）是什么？"
    print(f"问题: {question_2}")
    print("\n--- 模型回答 ---")
    response_2 = llm_chain.run(question_2)
    print(response_2)

if __name__ == "__main__":
    run_local_llama_chatbot()

正在加载本地模型：models/Llama-2-7B-Chat-GGUF/llama-2-7b-chat.Q4_0.gguf
... (Llama.cpp加载日志) ...

--- 提问 ---
问题: Bjarne Stroustrup是谁？他与编程有什么关系？

--- 模型回答 ---
1. Bjarne Stroustrup是一位丹麦计算机科学家，他创建了C++。
   - 他于1950年8月5日出生在丹麦奥胡斯，并于1983年在剑桥大学获得博士学位。
   - 1979年，他开始开发编程语言C++，最初被称为“带类的C”。
   - C++于1983年首次发布，此后已成为当今最流行的编程语言之一。
2. Bjarne Stroustrup以其在C编程语言及其扩展到C++方面的工作而闻名。
   - 他撰写了《C程序设计语言》一书，该书帮助C语言确立了广泛使用的地位。
   - 他还撰写了《C++的设计与演变》，详细解释了他如何创建C++以及他做出某些设计选择的原因。

--- 另一个问题 ---
问题: 请简要解释一下Python的GIL（全局解释器锁）是什么？

--- 模型回答 ---
让我们一步一步来思考，确保得到正确的答案。
1. **什么是GIL？** GIL，即全局解释器锁（Global Interpreter Lock），是Python解释器（特指CPython）中的一个互斥锁。它确保在任何给定时刻，只有一个线程可以执行Python字节码。这意味着即使在多核CPU上，Python的多线程程序也无法真正并行执行CPU密集型任务。
2. **为什么存在GIL？** GIL的主要目的是简化CPython解释器内部的内存管理和线程安全。它避免了许多复杂的锁机制，使得垃圾回收和对共享数据结构的访问变得更容易实现和维护。
3. **GIL的影响：**
   - **CPU密集型任务：** 对于需要大量CPU计算的任务，GIL会成为性能瓶颈，因为只有一个线程能运行，无法充分利用多核优势。
   - **I/O密集型任务：** 对于涉及文件读写、网络请求等I/O操作的任务，GIL的影响较小。当一个线程在等待I/O完成时，它会释放GIL，允许其他线程运行。
4. **如何绕过GIL的限制？**
   - **多进程（multiprocessing）：** 这是最常用的方法。每个进程都有自己的Python解释器和GIL，因此可以实现真正的并行。
   - **使用C扩展：** 编写C/C++扩展模块，这些模块在执行时可以释放GIL，从而允许其他Python线程运行。
   - **异步编程（asyncio）：** 适用于I/O密集型任务，通过协作式多任务实现并发，而不是并行。
   - **选择其他Python解释器：** 例如Jython（JVM上）或IronPython（.NET上）没有GIL。