首先需将PyTorch模型转为TorchScript格式，再通过LibTorch在C++中加载并推理。具体步骤包括：使用torch.jit.trace或torch.jit.script导出模型为.pt文件；配置LibTorch开发环境，包含下载库、设置CMake并链接依赖；在C++中调用torch::jit::load()加载模型，构建输入张量并执行前向推理；注意保持预处理一致性和启用module.eval()与NoGradGuard优化性能。多线程部署时应为每个线程创建独立Module实例以避免竞争。该方法适用于低延迟及嵌入式场景。
在C++中使用LibTorch加载PyTorch模型，是将训练好的深度学习模型部署到生产环境中的常见方式。整个流程包括模型导出、C++环境配置、模型加载与推理执行。下面详细介绍如何实现。
模型导出：从PyTorch到TorchScript
LibTorch只能加载TorchScript格式的模型，因此需要先将Python中训练好的PyTorch模型转换为TorchScript。有两种主要方式：追踪（Tracing）和脚本化（Scripting）。
以一个简单的模型为例：
import torch import torchvision加载预训练模型
model = torchvision.models.resnet18(pretrained=True) model.eval()
使用trace方式导出
example = torch.rand(1, 3, 224, 224) traced_script_module = torch.jit.trace(model, example)
保存为.pt文件
traced_script_module.save("resnet18_model.pt")
立即学习“C++免费学习笔记（深入）”；
这会生成一个名为 resnet18_model.pt 的文件，可在C++中加载。
配置C++开发环境
要使用LibTorch，需完成以下步骤：
- 从PyTorch官网下载LibTorch库（支持CPU或CUDA版本）
- 解压后配置编译环境，如使用CMake链接库文件
- 确保C++编译器支持C++14及以上标准
示例CMakeLists.txt内容：
cmake_minimum_required(VERSION 3.0) project(libtorch_example)set(CMAKE_CXX_STANDARD 14)
指向LibTorch解压路径
set(LIBTORCH /path/to/libtorch)
find_package(Torch REQUIRED)
add_executable(main main.cpp) target_link_libraries(main ${TORCH_LIBRARIES}) set_property(TARGET main PROPERTY CXX_STANDARD 14)
在C++中加载并运行模型
使用 torch::jit::load() 函数加载模型，并传入输入张量进行推理。
示例代码：
#include#include int main() { // 加载模型 try { torch::jit::script::Module module = torch::jit::load("resnet18_model.pt"); std::cout << "模型加载成功！\n"; } catch (const c10::Error& e) { std::cerr << "模型加载失败: " << e.msg() << "\n"; return -1; }
// 创建输入张量 std::vectorzuojiankuohaophpcntorch::jit::IValueyoujiankuohaophpcn inputs; inputs.push_back(torch::randn({1, 3, 224, 224})); // 执行推理 at::Tensor output = module.forward(inputs).toTensor(); std::cout zuojiankuohaophpcnzuojiankuohaophpcn "输出维度: " zuojiankuohaophpcnzuojiankuohaophpcn output.sizes() zuojiankuohaophpcnzuojiankuohaophpcn "\n"; std::cout zuojiankuohaophpcnzuojiankuohaophpcn "预测结果: " zuojiankuohaophpcnzuojiankuohaophpcn output.argmax(1) zuojiankuohaophpcnzuojiankuohaophpcn "\n"; return 0;}
注意：输入数据通常需要做与训练时相同的预处理，如归一化、Resize等，可借助OpenCV读取图像并转换为Tensor。
常见问题与优化建议
实际使用中可能遇到的问题：
-
模型不支持trace：某些动态结构（如if判断、循环）需改用
torch.jit.script - 输入预处理不一致：确保C++端图像处理与Python训练时保持一致
-
性能优化：启用优化选项，如设置
module.eval()和使用torch::NoGradGuard - 多线程加载：每个线程应持有独立的Module副本，避免竞争
基本上就这些。只要模型正确导出，C++端配置无误，LibTorch能稳定高效地运行PyTorch模型。适合对延迟敏感或嵌入式部署场景。
