OpenVINO 异步推理：图像列表输入实践指南-Python教程-PHP中文网

OpenVINO 异步推理：图像列表输入实践指南

DDD

发布： 2025-08-03 18:22:10

原创

1028人浏览过

openvino 异步推理：图像列表输入实践指南

本文档旨在指导开发者如何在 OpenVINO 中使用异步推理 API 处理图像列表输入，替代传统的视频流输入方式。我们将介绍如何利用 OpenVINO 提供的图像分类异步示例，并重点讲解如何修改和应用该示例，使其能够高效地处理图像队列或消费者提供的图像数据，实现高性能的异步图像推理。

OpenVINO 异步推理处理图像列表

OpenVINO 提供了强大的异步推理 API，允许开发者在推理过程中同时处理多个请求，从而提高整体吞吐量。传统的 OpenVINO 异步推理示例通常以视频流作为输入，但在实际应用中，我们可能需要处理从图像队列（如 RabbitMQ）或消费者获取的图像列表。本文将介绍如何将视频流输入转换为图像列表输入，并提供一个可行的解决方案。

利用 OpenVINO 图像分类异步示例

OpenVINO 官方提供了一个图像分类异步 Python 示例，该示例可以直接处理图像文件路径列表，非常适合处理图像队列或消费者提供的图像数据。

你可以从 OpenVINO 仓库获取该示例的代码：Image Classification Async Python Sample.

这个示例的关键在于它接受一个图像文件路径列表作为输入，并使用异步推理 API 并行处理这些图像。

爱图表

AI驱动的智能化图表创作平台

查看详情

修改和应用示例

要将此示例应用于您的场景，您需要进行一些修改：

图像数据获取： 将示例中的图像文件路径列表替换为您的图像数据获取方式。例如，如果您从 RabbitMQ 队列获取图像，您需要编写代码从队列中读取图像数据，并将其转换为 OpenVINO 可以处理的格式（例如 NumPy 数组）。
数据预处理： 根据您的模型需求，对图像数据进行预处理，例如缩放、裁剪、归一化等。
异步推理： 使用 OpenVINO 的异步推理 API 将预处理后的图像数据传递给推理引擎。
结果处理： 在推理完成后，处理推理结果，例如将分类结果写入数据库或返回给客户端。

以下是一个简化的代码片段，展示了如何从图像列表中进行异步推理：

import cv2
import numpy as np
import openvino.runtime as ov

def async_inference_image_list(image_paths, model_path, device="CPU"):
    """
    使用 OpenVINO 异步推理处理图像列表。

    Args:
        image_paths: 图像文件路径列表。
        model_path: OpenVINO 模型文件路径。
        device: 推理设备，例如 "CPU" 或 "GPU"。
    """

    # 1. 加载 OpenVINO 模型
    core = ov.Core()
    model = core.read_model(model_path)
    compiled_model = core.compile_model(model, device)

    # 2. 获取输入和输出节点
    input_layer = compiled_model.input(0)
    output_layer = compiled_model.output(0)

    # 3. 获取输入形状
    input_shape = input_layer.shape

    # 4. 创建推理请求
    infer_requests = [compiled_model.create_infer_request() for _ in range(2)] # 使用两个推理请求实现异步

    # 5. 准备图像数据
    images = []
    for image_path in image_paths:
        image = cv2.imread(image_path)
        resized_image = cv2.resize(image, (input_shape[3], input_shape[2])) # 注意：形状是 NHWC 格式
        input_data = np.expand_dims(resized_image.transpose(2, 0, 1), 0) # 转换为 NCHW 格式
        images.append(input_data)

    # 6. 异步推理
    results = []
    for i in range(len(images)):
        current_request_id = i % 2 # 在两个请求之间循环使用
        infer_request = infer_requests[current_request_id]
        infer_request.infer({input_layer: images[i]}) # 直接使用 infer() 方法进行推理
        results.append(infer_request.get_output_tensor(output_layer).data)


    return results

登录后复制

注意事项：

图像格式： 确保图像格式与模型的输入格式匹配。
输入形状： 确保图像的尺寸与模型的输入形状匹配。
异步请求数量： 异步请求的数量会影响性能。通常，使用两个或三个异步请求可以获得较好的性能。您可以根据您的硬件和模型进行调整。
错误处理： 在实际应用中，需要添加错误处理机制，例如处理图像读取失败或推理失败的情况。
设备选择： 根据您的硬件配置选择合适的推理设备。

总结

通过利用 OpenVINO 提供的图像分类异步示例，您可以轻松地实现图像列表的异步推理。这种方法可以显著提高推理吞吐量，尤其是在处理大量图像数据时。记住，根据您的具体应用场景，您可能需要修改示例代码以适应您的数据获取、预处理和结果处理流程。通过合理配置异步请求的数量和选择合适的推理设备，您可以充分利用 OpenVINO 的异步推理 API，实现高性能的图像处理应用。

以上就是OpenVINO 异步推理：图像列表输入实践指南的详细内容，更多请关注php中文网其它相关文章！