在 CPU 上运行任何量化的 GGUF 模型进行本地推理的教程-Python教程-PHP中文网

在 CPU 上运行任何量化的 GGUF 模型进行本地推理的教程

霞舞

发布： 2025-10-01 20:39:12

原创

1016人浏览过

在 cpu 上运行任何量化的 gguf 模型进行本地推理的教程

本文档旨在指导读者如何在 CPU 上使用 llama-cpp-python 库运行任何量化的 GGUF 格式的开源 LLM 模型，例如 Llama 3、Mistral 或 Zephyr 等，而无需依赖 ctransformers 库支持。本教程涵盖了环境配置、模型下载、推理代码编写以及一些实用技巧，帮助读者快速上手并解决常见问题。

使用 llama-cpp-python 进行 CPU 推理

llama-cpp-python 是一个流行的 Python 库，它基于 llama.cpp，允许在 CPU 上运行量化的 LLM 模型。它易于使用，并且通常是第一个支持新型号量化版本的库之一。

1. 环境配置

首先，需要安装 llama-cpp-python 和 huggingface_hub。 llama-cpp-python 用于加载和运行模型，而 huggingface_hub 用于从 Hugging Face Model Hub 下载模型。

在终端中运行以下命令：

pip install llama-cpp-python
pip install huggingface_hub

登录后复制

请注意，上述命令安装的是 CPU 版本的 llama-cpp-python。如果您想使用 GPU 加速，则需要进行额外的配置，具体步骤不在本文档的讨论范围内。

2. 模型下载

使用 huggingface_hub 从 Hugging Face Model Hub 下载 GGUF 模型。以下代码示例演示了如何下载 Mixtral-8x7B-Instruct-v0.1 模型：

from huggingface_hub import hf_hub_download

model_name = "TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF"
model_file = "mixtral-8x7b-instruct-v0.1.Q4_K_M.gguf"
model_path = hf_hub_download(model_name, filename=model_file)

print(f"Model downloaded to: {model_path}")

登录后复制

这段代码将下载 mixtral-8x7b-instruct-v0.1.Q4_K_M.gguf 文件到本地。 Q4_K_M 表示 4-bit 量化模型，您可以根据需要选择其他量化级别。

3. 模型加载与推理

下载模型后，可以使用 llama-cpp-python 加载并运行模型。以下代码示例展示了如何加载模型并生成文本：

千帆大模型平台

面向企业开发者的一站式大模型开发及服务运行平台

查看详情

from llama_cpp import Llama

llm = Llama(
    model_path=model_path,
    n_ctx=16000,  # Context length to use
    n_threads=32,  # Number of CPU threads to use
    n_gpu_layers=0  # Number of model layers to offload to GPU
)

generation_kwargs = {
    "max_tokens": 20000,
    "stop": ["</s>"],
    "echo": False,  # Echo the prompt in the output
    "top_k": 1  # This is essentially greedy decoding, since the model will always return the highest-probability token. Set this value > 1 for sampling decoding
}

prompt = "The meaning of life is "
res = llm(prompt, **generation_kwargs)

print(res["choices"][0]["text"])

登录后复制

这段代码首先使用 Llama 类加载模型，并设置上下文长度 (n_ctx)、线程数 (n_threads) 和 GPU 层数 (n_gpu_layers)。由于我们要在 CPU 上运行模型，因此将 n_gpu_layers 设置为 0。

然后，定义生成参数 generation_kwargs，例如最大 token 数 (max_tokens)、停止词 (stop)、是否回显提示 (echo) 和 top-k 值 (top_k)。

最后，使用 llm 对象运行推理，并将结果打印到控制台。

4. 模型选择

Mixtral-8x7B 是一个相对较大的模型，可能需要大量的内存才能运行。如果您的计算机内存有限，可以尝试使用较小的模型，例如 Llama-2-13B 或 Mistral-7B。

以下是一些较小模型的示例：

model_name="TheBloke/Llama-2-13B-chat-GGUF"; model_file="llama-2-13b-chat.Q4_K_M.gguf"
model_name="TheBloke/Mistral-7B-OpenOrca-GGUF"; model_file="mistral-7b-openorca.Q4_K_M.gguf"