公共场所吸烟检测与EasyEdge部署

 dataset/                        
 ├── annotations/    
 ├── images/

!pip install paddlex==1.3.11!pip install paddle2onnx

# 进行数据集解压!unzip -oq /home/aistudio/data/data102810/pp_smoke.zip -d /home/aistudio/dataset

# 这里修改.xml文件中的<path>元素!mkdir dataset/Annotations1   #创建目录 Annotations1import xml.dom.minidomimport os

path = r'dataset/Annotations'  # xml文件存放路径sv_path = r'dataset/Annotations1'  # 修改后的xml文件存放路径files = os.listdir(path)
cnt = 1for xmlFile in files:
    dom = xml.dom.minidom.parse(os.path.join(path, xmlFile))  # 打开xml文件，送到dom解析
    root = dom.documentElement  # 得到文档元素对象
    item = root.getElementsByTagName('path')  # 获取path这一node名字及相关属性值
    for i in item:
        i.firstChild.data = '/home/aistudio/dataset/JPEGImages/' + str(cnt).zfill(6) + '.jpg'  # xml文件对应的图片路径

    with open(os.path.join(sv_path, xmlFile), 'w') as fh:
        dom.writexml(fh)
    cnt += 1

# 这里修改.xml文件中的<failname>元素!mkdir dataset/Annotations2  #创建目录 Annotations2import xml.dom.minidomimport os

path = r'dataset/Annotations1'  # xml文件存放路径sv_path = r'dataset/Annotations2'  # 修改后的xml文件存放路径files = os.listdir(path)for xmlFile in files:
    dom = xml.dom.minidom.parse(os.path.join(path, xmlFile))  # 打开xml文件，送到dom解析
    root = dom.documentElement  # 得到文档元素对象
    names = root.getElementsByTagName('filename')
    a, b = os.path.splitext(xmlFile)  # 分离出文件名a
    for n in names:
        n.firstChild.data = a + '.jpg'
    with open(os.path.join(sv_path, xmlFile), 'w') as fh:
        dom.writexml(fh)

# 这里修改.xml文件中的<name>元素!mkdir dataset/Annotations3  #创建目录 Annotations3#!/usr/bin/env python2# -*- coding: utf-8 -*-
 import osimport xml.etree.ElementTree as ET
 
origin_ann_dir = '/home/aistudio/dataset/Annotations2/'# 设置原始标签路径为 Annosnew_ann_dir = '/home/aistudio/dataset/Annotations3/'# 设置新标签路径 Annotationsfor dirpaths, dirnames, filenames in os.walk(origin_ann_dir):   # os.walk游走遍历目录名
  for filename in filenames:    # if os.path.isfile(r'%s%s' %(origin_ann_dir, filename)):   # 获取原始xml文件绝对路径，isfile()检测是否为文件 isdir检测是否为目录
    origin_ann_path = os.path.join(origin_ann_dir, filename)   # 如果是，获取绝对路径（重复代码）
    new_ann_path = os.path.join(new_ann_dir, filename)
    tree = ET.parse(origin_ann_path)  # ET是一个xml文件解析库，ET.parse（）打开xml文件。parse--"解析"
    root = tree.getroot()   # 获取根节点
    for object in root.findall('object'):   # 找到根节点下所有“object”节点
        name = str(object.find('name').text)  # 找到object节点下name子节点的值（字符串）
        # 如果name等于str，则删除该节点
        if (name in ["smoke"]):        #   root.remove(object)
            pass

        # 如果name等于str，则修改name
        else:            object.find('name').text = "smoke"

        tree.write(new_ann_path)#tree为文件，write写入新的文件中。

#删除冗余文件并修改文件夹名字!rm -rf dataset/Annotations
!rm -rf dataset/Annotations1
!rm -rf dataset/Annotations2
!mv dataset/Annotations3 dataset/Annotations
!mv dataset/images dataset/JPEGImages

#在原始数据集中，存在.jpg文件和.xml文件匹配不对等的情况，这里我们根据.jpg文件名删除了在Annotations文件夹中无法匹配的.xml文件，#使得.jpg和.xml能够一一对应。import osimport shutil
path_annotations = 'dataset/Annotations'path_JPEGImage = 'dataset/JPEGImages'xml_path = os.listdir(path_annotations)
jpg_path = os.listdir(path_JPEGImage)for i in jpg_path:
    a = i.split('.')[0] + '.xml'
    if a in xml_path:        pass
    else:        print(i)
        os.remove(os.path.join(path_JPEGImage,i))

#划分数据集#基于PaddleX 自带的划分数据集的命令，数据集中训练集、验证集、测试集的比例为7:2:1（最常用的户划分方式）。!paddlex --split_dataset --format VOC --dataset_dir /home/aistudio/dataset/ --val_value 0.2 --test_value 0.1

#配置GPU环境import os
os.environ['CUDA_VISIBLE_DEVICES'] = "0"from paddlex.det import transformsimport paddlex as pdxfrom paddlex.det import transforms# 数据增强与数据预处理# API说明https://gitee.com/paddlepaddle/PaddleX/blob/develop/docs/apis/transforms/det_transforms.mdtrain_transforms = transforms.Compose([
    transforms.RandomHorizontalFlip(),
    transforms.Normalize(),
    transforms.ResizeByShort(short_size=512, max_size=512),
    transforms.Padding(coarsest_stride=32)
])

eval_transforms = transforms.Compose([
    transforms.Normalize(),
    transforms.ResizeByShort(short_size=512, max_size=512),
    transforms.Padding(coarsest_stride=32),
])# 定义训练和验证时的transforms# API说明 https://paddlex.readthedocs.io/zh_CN/develop/apis/transforms/det_transforms.htmltrain_transforms = transforms.Compose([
    transforms.MixupImage(mixup_epoch=350), transforms.RandomDistort(),
    transforms.RandomExpand(), transforms.RandomCrop(), transforms.Resize(
        target_size=608, interp='RANDOM'), transforms.RandomHorizontalFlip(),
    transforms.Normalize()
])

eval_transforms = transforms.Compose([
    transforms.Resize(
        target_size=608, interp='CUBIC'), transforms.Normalize()
])# 定义训练和验证所用的数据集# API说明：https://paddlex.readthedocs.io/zh_CN/develop/apis/datasets.html#paddlex-datasets-vocdetectiontrain_dataset = pdx.datasets.VOCDetection(
    data_dir='/home/aistudio/dataset',
    file_list='/home/aistudio/dataset/train_list.txt',
    label_list='/home/aistudio/dataset/labels.txt',
    transforms=train_transforms,
    parallel_method='thread',
    shuffle=True)
eval_dataset = pdx.datasets.VOCDetection(
    data_dir='/home/aistudio/dataset',
    file_list='/home/aistudio/dataset/val_list.txt',
    label_list='/home/aistudio/dataset/labels.txt',
    parallel_method='thread',
    transforms=eval_transforms)# 初始化模型，并进行训练# 可使用VisualDL查看训练指标，参考https://paddlex.readthedocs.io/zh_CN/develop/train/visualdl.htmlnum_classes = len(train_dataset.labels)# API说明: https://paddlex.readthedocs.io/zh_CN/release-1.3/apis/models/detection.html#paddlex-det-yolov3# 这里采用了yolov3移动版，用于后续部署APP，可以对应开发文档选用自己何时模型，从精度、速度、大小考虑。model = pdx.det.YOLOv3(num_classes=num_classes, backbone='MobileNetV3_large')# API说明: https://paddlex.readthedocs.io/zh_CN/develop/apis/models/detection.html#train# 各参数介绍与调整说明：https://paddlex.readthedocs.io/zh_CN/develop/appendix/parameters.htmlmodel.train(
    num_epochs=300, 
    train_dataset=train_dataset,
    train_batch_size=24,   # 跟随老师讲说，这里基本把显存拉到了30GB 留有2GB余量
    eval_dataset=eval_dataset,
    learning_rate=0.001 / 8,
    warmup_steps=1000,
    warmup_start_lr=0.0,
    save_interval_epochs=1,
    lr_decay_epochs=[240, 270],
    use_vdl= True,
    save_dir='output/yolov3_mobilenet')

#可视化 !visualdl --logdir home/aistudio/output/yolov3_mobilenet/vdl_log --port 8001

model.evaluate(eval_dataset, batch_size=1, epoch_id=None, return_details=False)

#把模型导出，下载本地，然后上传到EasyEdge!paddlex --export_inference --model_dir=/home/aistudio/output/yolov3_mobilenet/best_model --save_dir=./down_model