在 CPU 上运行任意量化 GGUF 模型进行本地推理-Python教程-PHP中文网

在 CPU 上运行任意量化 GGUF 模型进行本地推理

DDD

发布： 2025-10-02 08:05:01

原创

207人浏览过

在 cpu 上运行任意量化 gguf 模型进行本地推理

本文档旨在指导用户如何使用 llama-cpp-python 库在 CPU 上进行本地推理，以运行任意开源量化 GGUF 格式的大语言模型（LLM），例如 Llama 3、Mistral、Zephyr 等。我们将详细介绍安装步骤、模型下载以及推理代码示例，并提供选择合适模型的建议，帮助读者轻松上手。

使用 llama-cpp-python 进行 CPU 推理

llama-cpp-python 是一个易于使用且能够快速支持新型号量化版本的库，非常适合在 CPU 上运行 GGUF 模型。

1. 安装必要的库

首先，需要安装 llama-cpp-python 和 huggingface_hub。llama-cpp-python 用于加载和运行模型，huggingface_hub 用于从 Hugging Face Model Hub 下载模型。

pip install llama-cpp-python
pip install huggingface_hub

登录后复制

注意：这里安装的是 CPU 版本的 llama-cpp-python。如果需要 GPU 支持，安装过程会更复杂，不在本文档的讨论范围之内。

2. 下载 GGUF 模型

使用 huggingface_hub 下载所需的 GGUF 模型。以下代码演示了如何下载 Mixtral-8x7B-Instruct-v0.1 模型的 Q4_K_M 量化版本。

from huggingface_hub import hf_hub_download

model_name = "TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF"
model_file = "mixtral-8x7b-instruct-v0.1.Q4_K_M.gguf"  # 选择特定的量化模型文件
model_path = hf_hub_download(model_name, filename=model_file)

登录后复制

请根据您的需求选择合适的模型和量化版本。Hugging Face Model Hub 上提供了多种量化级别，例如 Q4_K_M、Q5_K_M 等。量化级别越高，模型体积越大，精度也越高，但对硬件的要求也更高。

3. 加载模型并进行推理

下载模型后，使用 llama-cpp-python 加载模型并进行推理。

蚂上有创意

支付宝推出的AI创意设计平台，专注于电商行业

查看详情

from llama_cpp import Llama

# 实例化模型
llm = Llama(
    model_path=model_path,
    n_ctx=16000,  # 设置上下文长度
    n_threads=32,  # 设置 CPU 线程数
    n_gpu_layers=0  # 确保模型在 CPU 上运行
)

# 设置生成参数
generation_kwargs = {
    "max_tokens": 20000,
    "stop": ["</s>"],
    "echo": False,  # 是否在输出中显示提示词
    "top_k": 1  # 使用贪婪解码，始终选择概率最高的token
}

# 运行推理
prompt = "The meaning of life is "
res = llm(prompt, **generation_kwargs)  # res 是一个字典

# 从结果中提取生成的文本并打印
print(res["choices"][0]["text"])

登录后复制

上述代码首先实例化了 Llama 类，并传入模型路径、上下文长度、CPU 线程数和 GPU 层数等参数。n_gpu_layers=0 确保模型完全在 CPU 上运行。

然后，定义了生成参数，包括最大 token 数、停止词、是否显示提示词以及 top_k 值。top_k=1 意味着使用贪婪解码，始终选择概率最高的 token。可以根据需要调整这些参数。

最后，使用 llm() 函数运行推理，并将提示词和生成参数传入。推理结果存储在 res 字典中，可以从中提取生成的文本并打印。

4. 选择合适的模型

Mixtral-8x7B 是一个相对较大的模型，需要至少 25GB 的 RAM。如果您的设备内存有限，可以选择较小的模型，例如 Llama-2-13B 或 Mistral-7B。以下是一些推荐的模型：

Llama-2-13B-chat-GGUF: model_name="TheBloke/Llama-2-13B-chat-GGUF"; model_file="llama-2-13b-chat.Q4_K_M.gguf"
Mistral-7B-OpenOrca-GGUF: model_name="TheBloke/Mistral-7B-OpenOrca-GGUF"; model_file="mistral-7b-openorca.Q4_K_M.gguf"

注意事项

内存需求: 确保您的设备有足够的 RAM 来加载和运行模型。
量化级别: 选择合适的量化级别，以平衡模型大小和精度。
CPU 线程数: 根据您的 CPU 核心数设置 n_threads 参数，以充分利用 CPU 资源。
上下文长度: 根据您的应用场景设置 n_ctx 参数。更大的上下文长度可以处理更长的输入，但也需要更多的内存。
解码策略: 调整 top_k、top_p 等参数，以控制生成文本的质量和多样性。

总结

本文档介绍了如何使用 llama-cpp-python 库在 CPU 上运行任意量化 GGUF 模型进行本地推理。通过安装必要的库、下载模型、加载模型并进行推理，您可以轻松地在自己的设备上运行各种开源 LLM。请根据您的需求选择合适的模型和参数，并根据实际情况进行调整。希望本文档能够帮助您成功上手。

以上就是在 CPU 上运行任意量化 GGUF 模型进行本地推理的详细内容，更多请关注php中文网其它相关文章！