【校园AI Day-AI workshop】基于PP-HUMAN的客流及属性统计

本地演示视频（手机版貌似看不到，在codelab里也没法直接看到，只有网页版的项目预览可以看到）

视频传送门

gitee仓库

一、项目背景

社区是城市的关键组成部分，社区治理是围绕社区场景下的人、地、物、情、事的管理与服务。

随着城市化的快速推进及人口流动的快速增加，传统社区治理在人员出入管控、安防巡逻、车辆停放管理等典型场景下都面临着人力不足、效率低下、响应不及时等诸多难题。而人工智能技术代替人力，实现人、车、事的精准治理，大幅降低人力、物质、时间等成本，以最低成本发挥最强大的管理效能，有效推动城市治理向更“数字化、自动化、智慧化”的方向演进。

传统社区视频监控80%都依靠人工实现，随着摄像头在社区中的大规模普及，日超千兆的视频图像数据、人员信息的日渐繁杂已远超人工的负荷。

1.1 技术实现

为解决以上问题，我们灵活应用飞桨行人分析PP-Human中的行人检测和属性分析模型，实时识别行人的性别、年龄、衣着打扮等26种属性并记录统计。

其中，属性分析包含26种不同属性：

- 性别：男、女- 年龄：小于18、18-60、大于60- 朝向：朝前、朝后、侧面- 配饰：眼镜、帽子、无- 正面持物：是、否- 包：双肩包、dan肩包、shou提包- 上衣风格：带条纹、带logo、带格子、拼接风格- 下装风格：带条纹、带图案- 短袖上衣：是、否- 长袖上衣：是、否- 长外套：是、否- 长裤：是、否- 短裤：是、否- 短裙&裙子：是、否- 穿靴：是、否

街道人员属性识别

PP-Human是基于飞桨深度学习框架的业界首个开源的实时行人分析工具，具有功能丰富，应用广泛和部署高效三大优势。PP-Human 支持图片/单镜头视频/多镜头视频多种输入方式，功能覆盖多目标跟踪、属性识别和行为分析。能够广泛应用于智慧交通、智慧社区、工业巡检等领域。支持服务器端部署及TensorRT加速，T4服务器上可达到实时。

       

详细文档可参考：https://github.com/PaddlePaddle/PaddleDetection/tree/develop/deploy/pphuman

1.2 技术方案

在本项目中，我们基于PP-HUMAN实现一套行人客流和人员属性统计系统，可以通过数据库查询，有可视化统计页面。

       

1.2.1.识别：使用PP-HUMAN的行人属性检测方案，对于视频流的行人属性识别需要用到MOT（多目标跟踪）模型和ATTR（行人属性识别）模型，由MOT模型识别并跟踪行人，由ATTR模型进行多分类识别行人属性。

1.2.2.后端：

Flask是一个轻量级的可定制框架，使用Python语言编写，较其他同类型框架更为灵活、轻便、安全且容易上手。它可以很好地结合MVC模式进行开发，开发人员分工合作，小型团队在短时间内就可以完成功能丰富的中小型网站或Web服务的实现。另外，Flask还有很强的定制性，用户可以根据自己的需求来添加相应的功能，在保持核心功能简单的同时实现功能的丰富与扩展，其强大的插件库可以让用户实现个性化的网站定制，开发出功能强大的网站。（百度百科） 总而言之flask用python编写，对于技术栈还不够全面和足够熟练的新手小队实现起来方便一些。

1.2.3.前端：

1.2.3.1.Ajax：

Asynchronous Javascript And XML（异步JavaScript和XML）是一种web数据交互方式，使用Ajax技术网页应用能够快速地将增量更新呈现在用户界面上，而不需要重载（刷新）整个页面，这使得程序能够更快地回应用户的操作。用来实时刷新数据。

1.2.3.2.ECharts：

ECharts是一款基于JavaScript的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。

1.2.4.数据库：

SQLite是一款轻型的数据库，是遵守ACID的关系型数据库管理系统，它包含在一个相对小的C库中。它的设计目标是嵌入式的，而且已经在很多嵌入式产品中使用了它，它占用资源非常的低，在嵌入式设备中，可能只需要几百K的内存就够了。技术成熟、资源占用少并且可以直接在python中import直接使用，有SQL知识基础的小伙伴上手很快。

1.3 数据集介绍

PETA （PEdesTrian Attribute）数据集包含了8705个行人，共19000张图像（分辨率跨度范围大，从17x39到169x365的大小都有）。每个行人标注了61个二值的和4个多类别的属性。

二、配置运行环境

环境要求： PaddleDetection版本 >= release/2.4 或 develop

• 通过以下命令获取PaddleDetection套件代码

git clone https://gitee.com/paddlepaddle/PaddleDetection.git

• 在这个项目中，我们预先准备了项目代码的压缩包，可以通过直接解压代替git clone的过程。

更换为修改过的pphuman文件夹

该zip中包含flask后端代码app.py、前端数据可视化代码index.html、前端js库以及整合适配后的推理相关代码。

三、如何构建模型

PPHuman中实现整个行人分析的工具和部署流程，包括检测、多目标跟踪、跨镜头跟踪、关键点检测、行为识别等多个模块。在这一部分中， 我们以关键点模型为例，展示将dark_hrnet_w32_256x192这一个模型从训练到导出至部署可用的模型的全流程。详细细节可以参考我们的Github文档。

3.1 模型训练

训练模型主要包括准备训练数据以及启动训练命令，可以按照下面的命令执行。

这里由于完整COCO数据集的训练耗时较长，我们准备了一个样例数据集，供执行流程参考使用。

完成训练后，我们的模型默认保存在output/dark_hrnet_w32_256x192/。

3.2 模型评估

在训练模型以后，我们可以通过运行评估命令来得到模型的精度，以确认训练的效果。评估可以参考以下命令执行。

这里使用了我们已经训练好的模型。如希望使用自己训练的模型，请对应将weights=后的值更改为对应模型.pdparams文件的存储路径。

创客贴设计

创客贴设计，一款智能在线设计工具，设计不求人，AI助你零基础完成专业设计！

51

查看详情

3.3 模型导出

.pdparams只包括了模型的参数数据，实际部署还需要执行导出步骤。导出步骤可以参考下面列举的步骤：

注意，这里使用了我们已经训练好的模型。如希望使用自己训练的模型，请对应将weights=后的值更改为对应模型.pdparams文件的存储路径。如果没有指定--output_dir，那么导出的模型将默认存储在output_inference/路径下。

至此，我们就完成了关键点模型的从训练到导出的过程。可以用于PPhuman的实际部署中了。

参考以上步骤，在我们PaddleDetection套件中，除了关键点检测以外，同样可以实现检测、跟踪模型的训练、评估及导出使用。

3.4 行为识别模型

行为识别模型从训练到到导出使用的全流程介绍及对应源码，细节请参考 PP-Human 行为识别模型。

如何自定义训练行为类型

行为识别模型本质上是一个分类模型，如果用户希望训练自定义的行为类型，可以参照以下步骤执行：

1. 数据准备

• 按照期望实现的自定义行为准备对应的动作视频或图片序列片段
• 使用关键点模型或人工标注的方式，将动作片段转化为关键点序列
• 在训练/测试数据中，正确设置动作的类别

2. 配置文件修改

• 在配置文件中，修改num_classes，通常为支持的动作类型数目 + 1
• 可选的，当动作的类型较多时，top1可能不能完全反应模型准确率，此时可以修改评估时的top_k项来额外评估模型的准确率（例如top5）。

3.5 下载本项目需要的模型

在这一步中，逐一下载上述我们事先为大家准备的各任务的导出模型，可以直接使用。如果您希望在自己的场景上进一步迭代优化，也可以参考前述如何构建模型部分，完成对应模块模型的训练到导出流程，得到部署需要的导出模型。

3.6 配置文件说明

PP-Human相关配置位于deploy/pphuman/config/infer_cfg.yml中，存放模型路径，完成不同功能需要设置不同的任务类型。

功能及任务类型对应表单如下：

本项目应用到的是：

• 社区人员信息留存：单镜头视频或图片输入的属性识别

3.7 执行模型预测

我们以一个视频文件来展示一下属性识别的实际使用方式。

在预测命令中，模型预测参数选择分为两部分：

• 功能选择：将对应参数设置为True
  • 属性识别：enable_attr
  • 行为识别：enable_action
• 模型路径修改：设置对应任务(DET, MOT, ATTR, KPT, ACTION)的模型路径，包括两种方式
  • 修改配置文件中对应模型的路径
  • 直接在命令行中指定各模型的路径

例如，我们可以增加下列命令，指定检测模型和属性识别模型的路径：

--model_dir det=output_inference/mot_ppyoloe_l_36e_pipeline/ attr=output_inference/strongbaseline_r50_30e_pa100k/

行人信息留存

支持开发者根据具体情况选择视频或单帧图片输入进行属性识别。

注意事项：

• --video_file or --image_dir后是输入视频or图片的路径，开发者可上传自己的数据集进行尝试

预测效果

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

使用TensorRT加速预测

NVIDIA TensorRT是一个高性能的深度学习预测库。PP-Human同样支持了使用TensorRT加速模型的预测，并且整个步骤十分简单快速。您可以参考以下步骤实现：

1. 安装适配TensorRT的Paddle, 通过下载链接直接下载对应环境的Paddle whl包进行安装。或是参照指导文档使用docker或自编译方式准备适配TensorRT的Paddle环境。
2. 在上述两个场景的Python预测命令中，直接增加--run_mode=trt_fp16即可。

四、部署踩坑指南：

(记录了一些踩的坑，菜菜遇到坑只会搜索)

1.: cannot connect to X server !

原因：在BML CodeLab中没有允许实时显示可视化视频的权限，故在BML CodeLab中只能注释掉PaddleDetection/deploy/pphuman/pipeline.py里的(已经注释掉，本地使用建议解开注释)

#在BML CodeLab中无法实时显示，故注释下面三行cv2.imshow('PPHuman', im)if cv2.waitKey(1) & 0xFF == ord('q'):    break

ctrl+f搜索，将两个位置的上面三行注释后再次运行即可运行对视频的检测。（本地的打开显示预测处理结果是没有问题的）

2.重新annaconda配置环境

3.遇到报错ERROR: Failed building wheel for pycocotools

4.发现系统没有cudnn，配置教程

5.cudnn库报错缺dll文件

6.mysql主键唯一键重复插入解决方法

7.视频流传输

五、运行后端服务

本地服务效果如图