我有一个集群，虽然有一种可用的权重存储库，但未连接到互联网。我需要对其运行 LLM 推理。
到目前为止，我发现的唯一选择是使用 transformers 和 langchain 模块的组合，但我不想调整模型的超参数。我遇到了 ollama 软件，但我无法在集群上安装任何东西，除了 python 库之外。所以，我自然想知道，运行 LLM 推理有哪些选择？还有一些问题。
您实际上不必安装 ollama。相反，您可以直接本地运行 llm，例如 mistral 模型
llm = gpt4all(
model="/home/jeff/.cache/huggingface/hub/gpt4all/mistral-7b-openorca.q4_0.gguf",
device='gpu', n_threads=8,
callbacks=callbacks, verbose=true)
或者对于 falcon
from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
import torch
model_id = "tiiuae/falcon-7b-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
pipeline = pipeline(
"text-generation",
model=model_id,
tokenizer=tokenizer,
torch_dtype=torch.bfloat16,
# trust_remote_code=True,
device_map="auto",
max_new_tokens=100,
# max_length=200,
)
from langchain_community.llms.huggingface_pipeline import HuggingFacePipeline
llm = HuggingFacePipeline(pipeline=pipeline)
我的笔记本电脑上安装了 16g 内存 nvidia 4090，可以支持上述 2 个型号本地运行。
以上就是使用预训练权重在本地运行法学硕士有哪些选择？的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
广告![ThinkPHP5快速开发企业站点[全程实录]](https://img.php.cn/upload/course/000/000/068/6253d918a3ce7278.png)
收藏
收藏
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
814
