c++怎么使用ONNX Runtime来运行一个AI模型_C++与ONNX Runtime集成运行AI模型实践-C++-PHP中文网

c++怎么使用ONNX Runtime来运行一个AI模型_C++与ONNX Runtime集成运行AI模型实践

穿越時空

发布： 2025-11-24 12:41:08

原创

792人浏览过

首先配置ONNX Runtime环境并加载模型，然后创建会话、准备输入张量、执行推理并获取输出。具体包括：下载对应平台库文件，配置头文件和链接库路径；使用Ort::Env和Ort::Session初始化会话；根据模型输入形状创建Ort::Value张量，注意数据布局为行优先及CHW格式；调用Run方法传入输入输出名称进行推理；最后从输出张量中提取结果数据并处理。整个流程需确保内存管理正确、模型输入输出匹配，并建议使用高opset版本导出经验证的ONNX模型。

c++怎么使用onnx runtime来运行一个ai模型_c++与onnx runtime集成运行ai模型实践

要在C++中使用ONNX Runtime运行AI模型，关键在于正确配置环境、加载模型并处理输入输出张量。整个过程不复杂，但需要注意内存管理与数据布局的细节。

安装ONNX Runtime库

ONNX Runtime官方提供了预编译的C++库，支持Windows、Linux和macOS。你可以从GitHub发布页下载对应平台的动态库或静态库。

以Windows为例，下载onnxruntime-win-x64-gpu（若使用GPU）或onnxruntime-win-x64（仅CPU），解压后获得include、lib和dll文件。

在项目中配置：

立即学习“C++免费学习笔记（深入）”；

将include目录加入编译器头文件搜索路径
将lib目录加入链接器路径，并链接onnxruntime.lib
确保运行时能找到onnxruntime.dll（放在exe同目录或系统PATH中）

加载模型并创建会话

使用ONNX Runtime C++ API的第一步是初始化环境和会话。

示例代码：

#include <onnxruntime/core/session/onnxruntime_cxx_api.h>
<p>Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "test");
Ort::SessionOptions session_options;
session_options.SetIntraOpNumThreads(1);
session_options.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_ALL);</p><p>// Windows下使用wchar_t<em>，Linux用const char</em>
Ort::Session session(env, L"model.onnx", session_options);

登录后复制

这里创建了一个优化开启的会话，可根据实际需求调整线程数或关闭某些图优化。

AI帮个忙

多功能AI小工具，帮你快速生成周报、日报、邮、简历等

116

查看详情

准备输入张量

你需要根据模型输入定义创建对应的Ort::Value对象。

假设模型输入为[1, 3, 224, 224]的float类型图像数据：

const int input_shape[] = {1, 3, 224, 224};
auto memory_info = Ort::MemoryInfo::CreateCpu(OrtDeviceAllocator, OrtMemTypeDefault);
std::vector<float> input_tensor_values(1 * 3 * 224 * 224); // 填充你的数据
<p>Ort::Value input_tensor = Ort::Value::CreateTensor(
memory_info, input_tensor_values.data(),
input_tensor_values.size() <em> sizeof(float),
const_cast<int64_t</em>>(input_shape), 4, ONNX_TENSOR_ELEMENT_DATA_TYPE_FLOAT
);

登录后复制

注意：数据必须按行优先（row-major）排列，如果是图像，通常需要将HWC转为CHW，并归一化。

执行推理并获取输出

调用Run方法执行推理：

const char* input_names[] = {"input"};     // 替换为模型实际输入名
const char* output_names[] = {"output"};   // 替换为实际输出名
<p>Ort::RunOptions run_options;
auto output_tensors = session.Run(run_options,
input_names, &input_tensor, 1,
output_names, 1
);</p><p>// 获取输出数据
Ort::Value& output_tensor = output_tensors[0];
float* float_output = output_tensor.GetTensorMutableData<float>();
int64_t num_outputs = output_tensor.GetTensorElementCount();</p><p>for (int i = 0; i < std::min(10LL, num_outputs); ++i) {
printf("Output[%d] = %f\n", i, float_output[i]);
}

登录后复制

输出张量的内容取决于模型结构，可能是分类概率、检测框或特征向量。

基本上就这些。只要模型输入输出维度和类型匹配，推理流程很稳定。建议先用Python导出ONNX模型时加上opset_version=12以上，并使用onnx.checker验证模型有效性，避免运行时报格式错误。

以上就是c++++怎么使用ONNX Runtime来运行一个AI模型_C++与ONNX Runtime集成运行AI模型实践的详细内容，更多请关注php中文网其它相关文章！