c++怎么使用ONNX Runtime来运行一个AI模型_C++与ONNX Runtime集成运行AI模型实践

首先配置ONNX Runtime环境并加载模型，然后创建会话、准备输入张量、执行推理并获取输出。具体包括：下载对应平台库文件，配置头文件和链接库路径；使用Ort::Env和Ort::Session初始化会话；根据模型输入形状创建Ort::Value张量，注意数据布局为行优先及CHW格式；调用Run方法传入输入输出名称进行推理；最后从输出张量中提取结果数据并处理。整个流程需确保内存管理正确、模型输入输出匹配，并建议使用高opset版本导出经验证的ONNX模型。

要在C++中使用ONNX Runtime运行AI模型，关键在于正确配置环境、加载模型并处理输入输出张量。整个过程不复杂，但需要注意内存管理与数据布局的细节。

安装ONNX Runtime库

ONNX Runtime官方提供了预编译的C++库，支持Windows、Linux和macOS。你可以从GitHub发布页下载对应平台的动态库或静态库。

以Windows为例，下载onnxruntime-win-x64-gpu（若使用GPU）或onnxruntime-win-x64（仅CPU），解压后获得include、lib和dll文件。

在项目中配置：

立即学习“C++免费学习笔记（深入）”；

• 将include目录加入编译器头文件搜索路径
• 将lib目录加入链接器路径，并链接onnxruntime.lib
• 确保运行时能找到onnxruntime.dll（放在exe同目录或系统PATH中）

加载模型并创建会话

使用ONNX Runtime C++ API的第一步是初始化环境和会话。

示例代码：

#include 
Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "test");
Ort::SessionOptions session_options;
session_options.SetIntraOpNumThreads(1);
session_options.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_ALL);
// Windows下使用wchar_t，Linux用const char
Ort::Session session(env, L"model.onnx", session_options);

这里创建了一个优化开启的会话，可根据实际需求调整线程数或关闭某些图优化。

360智图

AI驱动的图片版权查询平台

下载

准备输入张量

你需要根据模型输入定义创建对应的Ort::Value对象。

假设模型输入为[1, 3, 224, 224]的float类型图像数据：

const int input_shape[] = {1, 3, 224, 224};
auto memory_info = Ort::MemoryInfo::CreateCpu(OrtDeviceAllocator, OrtMemTypeDefault);
std::vector input_tensor_values(1 * 3 * 224 * 224); // 填充你的数据
Ort::Value input_tensor = Ort::Value::CreateTensor(
memory_info, input_tensor_values.data(),
input_tensor_values.size()  sizeof(float),
const_cast>(input_shape), 4, ONNX_TENSOR_ELEMENT_DATA_TYPE_FLOAT
);

注意：数据必须按行优先（row-major）排列，如果是图像，通常需要将HWC转为CHW，并归一化。

const char* input_names[] = {"input"};     // 替换为模型实际输入名
const char* output_names[] = {"output"};   // 替换为实际输出名
Ort::RunOptions run_options;
auto output_tensors = session.Run(run_options,
input_names, &input_tensor, 1,
output_names, 1
);
// 获取输出数据
Ort::Value& output_tensor = output_tensors[0];
float* float_output = output_tensor.GetTensorMutableData();
int64_t num_outputs = output_tensor.GetTensorElementCount();
for (int i = 0; i < std::min(10LL, num_outputs); ++i) {
printf("Output[%d] = %f\n", i, float_output[i]);
}