【AI达人创造营第二期】基于jetsonnano部署的手势乐器--模型部署

P粉084495128
发布: 2025-07-16 14:42:55
原创
751人浏览过
该项目利用Jetson Nano结合PaddleDetection训练的模型,经Tensorrt加速实现手势检测,通过Arduino控制外设输出音阶。8种手势对应14种音阶(含八度抬高),文中详述了设备连接、环境配置、模型部署及相关代码。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

【ai达人创造营第二期】基于jetsonnano部署的手势乐器--模型部署 - php中文网

0.简介

首先感谢百度Paddle为我提供的硬件设备,为每一个梦想插上了翅膀

一枚热爱技术的菜鸡,今天想做一个目标检测和嵌入式的结合体,做一个jetson nano乐器

【AI达人创造营第二期】基于jetsonnano部署的手势乐器--模型部署 - php中文网

方案:

使用paddledetection训练模型并使用paddleInference在jetson nano上部署目标检测网络,

使用Tensorrt进行Jetsonnano的加速,

达到一个令人满意的FPS,检测简单手势,

然后再通过nano控制beep等外设,来达到beep的变频输出

使用7种手势代表7种音阶

do、re、mi、fa、sol、la、si

且为了使得音调更加丰富,我使用了第八种手势,当第八种手势出现在画面中的时候,音阶就会上抬一个八度,于是我们获得了十四个音阶

do、re、mi、fa、sol、la、si、ddo、dre、dmi、dfa、dsol、dla、dsi

从左向右从上往下依次是12 .....最后一个是音阶抬高记号

【AI达人创造营第二期】基于jetsonnano部署的手势乐器--模型部署 - php中文网

视频演示

配料表:

Jetson nano x1 Arduino x1 摄像头 x1

电源、无线网卡、网线、风扇

如有外接显示器可以直接用外接显示器而不需要网线连SSH

【AI达人创造营第二期】基于jetsonnano部署的手势乐器--模型部署 - php中文网

1.JetsonNano的部署

我这里有一块上好的JetsonNano板,打算在同一局域网下使用ssh连接下面详述

1.Jetson nano的连接

首先如果你有屏幕可以直接用屏幕本条就可以直接忽略

但是如果你是像我一样没有屏幕的玩家,可以通过serial串口进行连接、ssh进行连接、或者VNC远程桌面连接

我是没有显示屏的,我采用的是先使用串口进行连接,使用笔记本电脑开启移动热点,然后使用nano命令行连接wifi,再查询ip地址,知道了ip地址就可以使用ssh连接或使用VNC远程桌面了

使用串口连接,连接

下面是jetson nano的引脚图

【AI达人创造营第二期】基于jetsonnano部署的手势乐器--模型部署 - php中文网

按照此引脚图进行连接

【AI达人创造营第二期】基于jetsonnano部署的手势乐器--模型部署 - php中文网

使用putty,采用对应的COM口,使用波特率115200

【AI达人创造营第二期】基于jetsonnano部署的手势乐器--模型部署 - php中文网

首先使用命令进行网络设备扫描

sudo nmcli dev
登录后复制

【AI达人创造营第二期】基于jetsonnano部署的手势乐器--模型部署 - php中文网

可图大模型
可图大模型

可图大模型(Kolors)是快手大模型团队自研打造的文生图AI大模型

可图大模型 32
查看详情 可图大模型

可以看见我有wlan0 作为wifi设备,这里我已经连接过了,所以显示connected

使用命令

sudo nmcli dev wifi connect "wifi名称" password "wifi密码" ifname wlan0
登录后复制

进行wifi的连接

然后我们可以使用ping命令检测网络的连通性,这里我直接ping百度了,可以看见是连通的

【AI达人创造营第二期】基于jetsonnano部署的手势乐器--模型部署 - php中文网

使用命令

ifconfig
登录后复制

命令查看ip地址,在wlan0后,显示了ip地址:划红线的地方

【AI达人创造营第二期】基于jetsonnano部署的手势乐器--模型部署 - php中文网

2.查看CUDA版本与jetpack版本以选择预测库

nvcc -V

来查看cuda版本

【AI达人创造营第二期】基于jetsonnano部署的手势乐器--模型部署 - php中文网

这里可以看到我的cuda是10.2的

使用命令

sudo apt-cache show nvidia-jetpack
登录后复制

【AI达人创造营第二期】基于jetsonnano部署的手势乐器--模型部署 - php中文网

由Filename可以看出

Filename: pool/main/n/nvidia-jetpack/nvidia-jetpack_4.4-b144_arm64.deb
登录后复制

我的jetpack版本为jetpack_4.4

3.部署安装paddle

这里我直接使用whl包安装对应的linux的预测库

预测库地址

按照上述的对应版本最终我选用了 Jetpack4.5(4.4): nv_jetson-cuda10.2-trt7-nano

4.部署paddledet

如同aistudio上部署一样,我们依然需要先git clone以下paddledetection的库这里不再赘述

git clone https://gitee.com/paddlepaddle/PaddleDetection.git

依然是

#进入文件夹cd PaddleDetection/#安装其他依赖pip3 install -r requirements.txt#编译安装paddledetcd PaddleDetection
python3 setup.py install
登录后复制

当命令行最后一行执行出现

Finished processing dependencies for paddledet==2.3.0

完成安装

通过后可以通过

python ppdet/modeling/tests/test_architectures.py

检测一下是否成功

出现下图时即可判定成功

按照官方给的教程来即可,或者好像可以直接pip安装包,连编译都不要

【AI达人创造营第二期】基于jetsonnano部署的手势乐器--模型部署 - php中文网

  • 没使用Tensorrt的板子算力就是弱,跑了我46秒多

这里可以看见报了个Warning,不过不用担心,只要不是Error就可以当作看不见

以上就是【AI达人创造营第二期】基于jetsonnano部署的手势乐器--模型部署的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号