【AI达人特训营】岩石薄片分类

三、数据集预览

1. 数据集结构

2. 沉积岩

铝土矿         

部分沉积岩图片        

3. 变质岩

大理岩        

部分变质岩图片        

4. 火成岩

二辉橄榄岩         

部分火成岩图片        

四、PP-LCNet 模型介绍

本项目使用的的 PP-LCNet 模型，来自2021年的《PP-LCNet: A Lightweight CPU Convolutional Neural Network》。

原文地址：https://arxiv.org/abs/2109.15099

在文章中，作者说明了目前在启用 Intel® MKLDNN（Math Kernel Library for Deep Networks）的 Intel® CPU 上，主流的轻量级模型的推理速度并没有得到最大的提升，所以文章提出了 PP-LCNet，一种基于 MKLDNN 的轻量级 CPU 卷积神经网络。

作者着重思考了如下三个问题：

Subtxt

生成有意义的文本并编写完整的故事。

下载

1. 如何在不增加延迟的情况下促进网络学习更强的特性展示。
2. 在CPU上提高轻量级模型精度的要素是什么。
3. 如何有效结合不同的策略在CPU上设计轻量级模型。

PP-LCNet 模型，与其他主流模型的对比如图所示：         

PP-LCNet 的网络结构：        

具体方法：

• 使用 MobileNet V1 的 DepthSepConv 作为基础模块，并发现在 small model 中， additional、concat 等操作不会提升 accuracy，反而会增加 inference time。DepthSepConv 模块在加速库中被优化过，比 inverted-block 和 shufflenet-block 更快。所以作者基于 DepthSepConv 堆叠形成了 BaseNet。
• 使用 H-Swish 作为激活函数，EfficientNet 使用 Swish 获得了比 ReLU 更好的性能，MobileNet V3 使用 Hard Swish 获得了比 Swish 更好的性能，作者在 BaseNet 中使用 H-Swish 替换了原先的 ReLu，获得了更好的 accuracy，而且不增加 inference time。
• 合理的安排 SE 模块的位置，SE 虽然很有效，但是在 Intel® CPU 上，它会增加 inference time，经过实验，作者证明了 把 SE 模块放在 “near the tail of the network” 能在发挥 SE 模块作用的同时，尽可能的减小它对 inference time 的副作用。
• 使用更大的卷积核，MixNet 证明了使用不同大小的 kernel 的组合可以得到更好的效果，但这会显著地增加 inference time。所以作者采用与 SE 模块类似的做法，在 “near the tail of the network” 使用了一个 5×5 的 kernel 代替了 3×3 的 kernel，并达到了近似的效果。
• 在 GAP 后增加 1280 维的 1×1 卷积层，在经过 GAP 后的网络输出维数很小，为了使模型具有更强的拟合能力，在最后的 GAP 层之后增加了一个 1280 维的 1×1 卷积层，相当于 FC 层，这将 “ allow for more storage of the model with little increase of inference time.”

图像分类任务的对比：

目标检测任务对比：         

语义分割任务对比：         

消融实验：        

SE 模块在不同位置的影响：         

大卷积核在不同位置的影响：         

不同技术的影响：         

小结： PP-LCNet 带来了在轻量级 Intel® CPU 上更好的 accuracy-speed balance，并减少了NAS的搜索空间，也为更快地访问NAS的轻量级模型提供了可能。

参考资料：

1. 《PP-LCNet: A Lightweight CPU Convolutional Neural Network》
2. 冬日and暖阳的博客
3. 《超越MobileNetV3！这个轻量级网络PP-LCNet在CPU上快到起飞！》

五、模型训练

1. 准备工作

1. 解压处理后的数据集。
2. 安装 PaddleX，项目中使用的版本是 2.1.0。
3. 导入相关库。

# 解压数据集!ls /home/aistudio/data
!unzip /home/aistudio/data/data153329/D0001.zip -d /home/aistudio/data/data153329/Pic

# 安装PaddleX!pip install paddlex # 安装完后请重启内核

# 添加PaddleX安装路径，并导入相关库import sys 
sys.path.append('/home/aistudio/work/paddlex')import paddlex as pdxfrom paddlex import transforms as T

2. 定义数据集

1. 设定训练集与验证集的数据增强方案。
2. 进入数据集路径。
3. 定义训练集与验证集。

# 训练集数据增强train_transforms = T.Compose([
    T.ResizeByShort(),
    T.CenterCrop(crop_size=224),
    T.RandomHorizontalFlip(), 
    T.RandomVerticalFlip(),
    T.RandomBlur(prob=0.1),
    T.Normalize()
])# 验证集数据增强eval_transforms = T.Compose([
    T.ResizeByShort(),
    T.CenterCrop(crop_size=224),
    T.RandomHorizontalFlip(), 
    T.RandomVerticalFlip(),
    T.RandomBlur(prob=0.1),
    T.Normalize()
])

# 进入数据集路径（数据集划分的时候没写好，得到数据集目录下才能进行训练）%cd /home/aistudio/data/data153329/Pic/D0001/

# 定义训练集train_dataset = pdx.datasets.ImageNet(
    data_dir='',
    file_list='train_list.txt',
    label_list='labels.txt',
    transforms=train_transforms,
    shuffle=True)# 定义验证集  eval_dataset = pdx.datasets.ImageNet(
    data_dir='',
    file_list='val_list.txt',
    label_list='labels.txt',
    transforms=eval_transforms)

3. 开始训练

本项目使用 PPLCNet 作为网络结构，我们发现大概在 50-60 个 epoch 的时候就可以达到理想的精度（约 98%），数据集中一张图片会有 24 种不同的变形，所以 batch_size 设置为 24 ，训练输出保存在 /home/aistudio/output/PPLCNet 下。

num_classes = len(train_dataset.labels)
model = pdx.cls.PPLCNet(num_classes=num_classes)
model.train(num_epochs=50,
            train_dataset=train_dataset,
            eval_dataset=eval_dataset,
            learning_rate=0.00585938,
            train_batch_size=24,
            save_interval_epochs=2,
            save_dir='/home/aistudio/output/PPLCNet',
            use_vdl=True)

4.可视化训练结果

Metrics/Training(Step): Loss         

Metrics/Training(Step): ACC 1         

Metrics/Training(Step): Learning Rate         

Metrics/Eval(Epoch): ACC 1         

5. 测试结果

1. 导入模型
2. 测试 Igneous_Rock
3. 测试 Metamorphic_Rock
4. 测试 Sedimentary_Rock

# 导入模型model = pdx.load_model("/home/aistudio/output/PPLCNet/best_model/")

 # 测试 Igneous_Rock
 test_pic = "/home/aistudio/data/data153329/Pic/D0001/Igneous_Rock/Igneous_10_1-1.jpg"
 print(model.predict(test_pic))

[{'category_id': 0, 'category': 'Igneous_Rock', 'score': 0.9999058}]

# 测试 Metamorphic_Rocktest_pic = "/home/aistudio/data/data153329/Pic/D0001/Metamorphic_Rock/Metamorphic_13_2-3.jpg"print(model.predict(test_pic))

[{'category_id': 1, 'category': 'Metamorphic_Rock', 'score': 0.9999999}]

# 测试 Sedimentary_Rocktest_pic = "/home/aistudio/data/data153329/Pic/D0001/Sedimentary_Rock/Sedimentary_17_1-9.jpg"print(model.predict(test_pic))

[{'category_id': 2, 'category': 'Sedimentary_Rock', 'score': 1.0}]

6.模型导出

1. 导出 Paddle Inference 模型
2. 导出 Paddle Lite 模型

# 导出 Paddle Inference 模型!paddlex --export_inference --model_dir=./output/PPLCNet/best_model --save_dir=/home/aistudio/inference_model/paddle_inference

# 安装 Paddle Lite!pip install paddlelite # 安装完后请重启内核# 导出 Paddle Lite 模型!paddle_lite_opt \
    --model_file=/home/aistudio/inference_model/paddle_inference/inference_model/model.pdmodel \
    --param_file=/home/aistudio/inference_model/paddle_inference/inference_model/model.pdiparams \
    --optimize_out=./inference_model/paddlelite/model \
    --optimize_out_type=naive_buffer \
    --valid_targets=arm