在Jetson Nano上部署并运行自定义训练的YOLOv8模型

本文详细介绍了在NVIDIA Jetson Nano上成功部署和运行自定义训练的YOLOv8模型的方法。核心策略是采用非官方的Ubuntu 20.04镜像来解决兼容性问题，并指导安装Ultralytics库。文章提供了运行模型的具体步骤和代码示例，同时强调了模型运行时可能遇到的高内存占用问题（2GB+），并分析了其对系统性能的影响，为开发者提供了实用的解决方案和注意事项。

在NVIDIA Jetson Nano这类边缘AI设备上部署深度学习模型，尤其是自定义训练的YOLOv8模型，常常面临操作系统兼容性和资源限制的挑战。官方提供的Ubuntu 18.04镜像可能导致一系列依赖冲突。本教程将指导您如何在Jetson Nano上成功运行您的YOLOv8n模型，并指出需要注意的关键性能瓶颈。

1. 准备Jetson Nano操作系统环境

成功运行YOLOv8模型的第一步是确保Jetson Nano拥有一个兼容且稳定的操作系统环境。由于官方Ubuntu 18.04镜像可能存在兼容性问题，推荐使用由社区维护的非官方Ubuntu 20.04镜像。

推荐镜像： 可以考虑使用如Qengineering提供的Jetson Nano Ubuntu 20.04镜像。这类镜像通常已经针对Jetson Nano的硬件进行了优化，并提供了更现代的软件环境，有助于解决Ultralytics YOLOv8的依赖问题。

安装步骤：

1. 从可靠来源下载Ubuntu 20.04镜像文件（通常为.img或.zip格式）。
2. 使用Balena Etcher、Rufus或dd命令等工具，将镜像烧录到高速SD卡中。
3. 将烧录好的SD卡插入Jetson Nano，连接电源和显示器，启动设备并完成初始设置。

2. 安装Ultralytics YOLOv8

操作系统环境准备就绪后，下一步是安装Ultralytics库，它是运行YOLOv8模型的官方框架。

通过pip安装： 打开Jetson Nano的终端，执行以下命令安装Ultralytics：

pip install ultralytics

注意事项：

• 确保您的Jetson Nano已连接到互联网。
• 如果遇到权限问题，可以尝试在命令前加上sudo，例如sudo pip install ultralytics。
• 安装过程可能需要一段时间，因为它会下载所有必要的依赖项，包括PyTorch（如果系统中尚未安装）。Jetson Nano上的PyTorch安装可能需要特定版本，Ultralytics通常会尝试安装兼容版本，但如果遇到问题，可能需要手动安装针对Jetson优化的PyTorch版本。

3. 运行自定义训练的YOLOv8模型

安装Ultralytics后，您就可以轻松地加载并运行您的自定义训练YOLOv8模型（通常是.pt文件）。Ultralytics提供了命令行界面（CLI）和Python API两种方式来执行推理。

使用命令行界面（CLI）运行：

笔魂AI

笔魂AI绘画-在线AI绘画、AI画图、AI设计工具软件

403

查看详情

这是最直接的运行方式，适用于快速测试或脚本化任务。

yolo predict model=your_model.pt source=your_image_or_video.jpg conf=0.25 iou=0.7 show=True

• your_model.pt: 替换为您的自定义训练模型文件的路径。
• your_image_or_video.jpg: 替换为您要进行推理的图像文件、视频文件或摄像头流（例如0代表默认摄像头）的路径。
• conf=0.25: 设置检测置信度阈值。
• iou=0.7: 设置非极大值抑制（NMS）的IoU阈值。
• show=True: 如果在桌面环境运行，显示推理结果窗口。

使用Python API运行：

对于更复杂的集成或自定义逻辑，可以使用Python API。

from ultralytics import YOLO

# 加载自定义训练模型
model = YOLO('your_model.pt')

# 对图像进行推理
results = model.predict(source='your_image.jpg', conf=0.25, iou=0.7, save=True)

# 打印结果（可选）
for r in results:
    print(f"检测到 {len(r.boxes)} 个目标")
    # r.boxes 包含检测框信息
    # r.masks 包含分割掩码信息 (如果模型支持)
    # r.keypoints 包含关键点信息 (如果模型支持)

# 对视频或摄像头进行推理
# results = model.predict(source='your_video.mp4', show=True, conf=0.25)
# results = model.predict(source=0, show=True, conf=0.25) # 摄像头

4. 性能考量与内存占用问题

尽管YOLOv8n模型可以在Jetson Nano上成功运行，但根据实际测试，它可能面临显著的内存占用问题。

高内存消耗： 运行YOLOv8n模型时，即使通过CLI执行简单的预测任务，程序也可能占用2GB或更多的系统内存。Jetson Nano的总内存通常为4GB，这意味着模型运行后，系统可用内存将大幅减少。

影响：

• 多任务处理受限： 当模型运行时，由于内存资源紧张，Jetson Nano几乎无法同时执行其他内存密集型任务。
• 系统稳定性： 内存不足可能导致系统响应变慢，甚至引发程序崩溃或系统不稳定。
• 资源瓶颈： 这使得Jetson Nano在需要同时运行多个AI模型或执行复杂后台任务的场景中，其应用范围受到限制。

建议与优化方向：

1. 监控内存使用： 在运行模型时，使用htop或jtop等工具实时监控Jetson Nano的内存使用情况，以便更好地了解资源消耗。
2. 优化模型大小： 考虑使用更小、更轻量级的模型架构，或者对模型进行量化（例如INT8量化），以减少其内存足迹和计算需求。Ultralytics支持导出为ONNX、TensorRT等格式，这些格式通常能提供更好的性能和更低的资源消耗。
3. 调整推理参数： 尝试降低输入图像的分辨率，或者减少批处理大小（如果适用），这可能会略微降低内存使用。
4. 关闭不必要的服务： 在运行模型前，关闭Jetson Nano上所有不必要的后台服务和应用程序，以释放更多内存。

总结

在Jetson Nano上运行自定义训练的YOLOv8模型是可行的，关键在于选择合适的操作系统环境（如Ubuntu 20.04非官方镜像）并正确安装Ultralytics。然而，开发者必须充分认识到模型运行时可能带来的高内存占用问题。虽然模型能够正常工作，但其对系统资源的显著需求可能会限制Jetson Nano作为多功能边缘计算设备的潜力。在实际部署中，建议结合模型优化、系统资源管理和性能监控，以实现最佳的运行效率和系统稳定性。

以上就是在Jetson Nano上部署并运行自定义训练的YOLOv8模型的详细内容，更多请关注php中文网其它相关文章！