【论文复现】STFPM-Paddle：基于Paddle实现用于异常检测的师生网络-人工智能-PHP中文网

本文介绍基于PaddlePaddle复现的STFPM算法，该算法通过师生网络特征金字塔匹配实现异常检测。教师网络预训练，学生网络学习无异常图像分布，多尺度特征匹配增强鲁棒性。在MvTec数据集实验中，image-level AUC均值0.937，pixel-level AUC均值0.967，优于参考项目，适用于工业缺陷检测等场景。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

【论文复现】stfpm-paddle：基于paddle实现用于异常检测的师生网络 - php中文网

STFPM-Paddle：基于Paddle实现用于异常检测的师生网络

1.1 简介

本项目利用 PaddlePaddle 复现了 BMVC 2021 论文:

Student-Teacher Feature Pyramid Matching for Anomaly Detection

【论文复现】STFPM-Paddle：基于Paddle实现用于异常检测的师生网络 - php中文网

STFPM算法由预先培训的教师网络和结构相同的学生网络组成。学生网络通过将特征与教师网络中的对应特征相匹配来学习无异常图像的分布。多尺度特征匹配用于增强鲁棒性。这种分层特征匹配使学生网络能够从特征金字塔接收多层次知识的混合，从而允许各种大小的异常检测。在推理过程中，比较了教师网络和学生网络的特征金字塔。差异越大，异常发生的概率越高。

本项目基于PaddlePaddle框架复现了STFPM，并在MvTec数据集上进行了实验。

论文：

[1] Wang, G. and Han, S. and Ding, E. and Huang, D. Student-Teacher Feature Pyramid Matching for Anomaly Detection

项目参考：

anomalib
STFPM

核心代码：很简单的思想，算teacher模型和student模型的不同尺度的特征差异。

def predict(teacher, student, img_path, transform):
    img = Image.open(img_path).convert('RGB')
    orishape = img.size
    img = transform(img)
    img = img.unsqueeze(0)
    teacher.eval()
    student.eval()
    with paddle.no_grad():
        t_feat = teacher(img)
        s_feat = student(img)
    score_map = 1.
    for j in range(len(t_feat)):
        t_feat[j] = F.normalize(t_feat[j], axis=1)
        s_feat[j] = F.normalize(s_feat[j], axis=1)
        sm = paddle.sum((t_feat[j] - s_feat[j]) ** 2, 1, keepdim=True) # core code
        sm = F.interpolate(sm, size=(64, 64), mode='bilinear', align_corners=False)
        # aggregate score map by element-wise product
        score_map = score_map * sm # layer map
    score_map = score_map.squeeze().cpu().numpy()
    anomaly_map = cv2.resize(score_map, (orishape[0],orishape[1]))
    return anomaly_map

登录后复制

1.2 复现精度

本项目在MvTec数据集的测试效果如下表。

Image-Level AUC

	Avg	Carpet	Grid	Leather	Tile	Wood	Bottle	Cable	Capsule	Hazelnut	Metal Nut	Pill	Screw	Toothbrush	Transistor	Zipper
论文参考项目anomalib(Pytorch)	0.893	0.954	0.982	0.989	0.949	0.961	0.979	0.838	0.759	0.999	0.956	0.705	0.835	0.997	0.853	0.645
本项目Paddle	0.937	0.972	0.988	0.999	0.992	0.993	1.000	0.933	0.817	1.000	0.984	0.933	0.856	0.772	0.946	0.866

Pixel-Level AUC

	Avg	Carpet	Grid	Leather	Tile	Wood	Bottle	Cable	Capsule	Hazelnut	Metal Nut	Pill	Screw	Toothbrush	Transistor	Zipper
论文参考项目anomalib(Pytorch)	0.951	0.986	0.988	0.991	0.946	0.949	0.971	0.898	0.962	0.981	0.942	0.878	0.983	0.983	0.838	0.972
本项目Paddle	0.967	0.992	0.988	0.994	0.959	0.954	0.988	0.954	0.979	0.987	0.974	0.970	0.982	0.989	0.817	0.982

image-level auc的Mean为0.937。 pixel-level auc的Mean为0.967。

1.3 数据集

数据集网站：MvTec数据集

AiStudio上的数据集：MVTec-AD

MVTec AD是MVtec公司提出的一个用于异常检测的数据集。与之前的异常检测数据集不同，该数据集模仿了工业实际生产场景，并且主要用于unsupervised anomaly detection。数据集为异常区域都提供了像素级标注，是一个全面的、包含多种物体、多种异常的数据集

吐槽大师

吐槽大师（Roast Master） - 终极 AI 吐槽生成器，适用于 Instagram，Facebook，Twitter，Threads 和 Linkedin

查看详情

数据集包含不同领域中的五种纹理以及十种物体，且训练集中只包含正常样本，测试集中包含正常样本与缺陷样本，因此需要使用无监督方法学习正常样本的特征表示，并用其检测缺陷样本。这是符合现实的做法，因为异常情况不可预知并无法归纳。下图分别展示了几类图片的正常样本与缺陷样本，以及缺陷样本中的缺陷特写：

【论文复现】STFPM-Paddle：基于Paddle实现用于异常检测的师生网络 - php中文网

快速开始

In [ ]

%cd /home/aistudio/data/
!tar xvf data116034/mvtec_anomaly_detection.tar.xz

登录后复制

2.1 依赖安装

In [ ]

!pip install scikit-image

登录后复制

2.2 训练

一共有15个类别，这里需要对15个类别分别训练，最后取平均值作为验证指标.随机数种子42,follow anomalib.

预训练模型在/home/aistudio/data/data138329/output.zip 可以解压到/home/aistudio/STFPM-main/output42目录下进行后续验证部分的直接验证

unzip /home/aistudio/data/data138329/output.zip
mv output42 /home/aistudio/STFPM-main/

登录后复制

In [ ]

%cd /home/aistudio/STFPM-main/
!python train.py train --mvtec_ad=/home/aistudio/data/ --category carpet  --train_val=True --model_save_path=./output_42 --seed 42

登录后复制

In [ ]

%cd /home/aistudio/STFPM-main/
!python train.py train --mvtec_ad=/home/aistudio/data/ --category grid --train_val=True --model_save_path=./output42 --seed 42

登录后复制

In [ ]

%cd /home/aistudio/STFPM-main/
!python train.py train --mvtec_ad=/home/aistudio/data/ --category leather --train_val=True --model_save_path=./output42 --seed 42

登录后复制

In [ ]

%cd /home/aistudio/STFPM-main/
!python train.py train --mvtec_ad=/home/aistudio/data/ --category tile --train_val=True --model_save_path=./output42 --seed 42

登录后复制

In [ ]

%cd /home/aistudio/STFPM-main/
!python train.py train --mvtec_ad=/home/aistudio/data/ --category wood --train_val=True --model_save_path=./output42 --seed 42

登录后复制

In [ ]

%cd /home/aistudio/STFPM-main/
!python train.py train --mvtec_ad=/home/aistudio/data/ --category bottle --epochs 100 --train_val=True --model_save_path=./output42 --seed 42

登录后复制

In [ ]

%cd /home/aistudio/STFPM-main/
!python train.py train --mvtec_ad=/home/aistudio/data/ --category cable --epochs 100 --train_val=True --model_save_path=./output42 --seed 42

登录后复制

In [ ]

%cd /home/aistudio/STFPM-main/
!python train.py train --mvtec_ad=/home/aistudio/data/ --category capsule --epochs 100 --train_val=True --model_save_path=./output42 --seed 42

登录后复制

In [ ]

%cd /home/aistudio/STFPM-main/
!python train.py train --mvtec_ad=/home/aistudio/data/ --category hazelnut --epochs 100 --train_val=True --model_save_path=./output42 --seed 42

登录后复制

In [ ]

%cd /home/aistudio/STFPM-main/
!python train.py train --mvtec_ad=/home/aistudio/data/ --category metal_nut --epochs 100 --train_val=True --model_save_path=./output42 --seed 42

登录后复制

In [ ]

%cd /home/aistudio/STFPM-main/
!python train.py train --mvtec_ad=/home/aistudio/data/ --category pill --epochs 100 --train_val=True --model_save_path=./output42 --seed 42

登录后复制

In [ ]

%cd /home/aistudio/STFPM-main/
!python train.py train --mvtec_ad=/home/aistudio/data/ --category screw --epochs 100 --train_val=True --model_save_path=./output42 --seed 42

登录后复制

In [ ]

%cd /home/aistudio/STFPM-main/
!python train.py train --mvtec_ad=/home/aistudio/data/ --category toothbrush --epochs 100 --train_val=True --model_save_path=./output42 --seed 42

登录后复制

In [ ]

%cd /home/aistudio/STFPM-main/
!python train.py train --mvtec_ad=/home/aistudio/data/ --category transistor --epochs 100 --train_val=True --model_save_path=./output42 --seed 42

登录后复制

In [ ]

%cd /home/aistudio/STFPM-main/
!python train.py train --mvtec_ad=/home/aistudio/data/ --category zipper --epochs 100 --train_val=True --model_save_path=./output

登录后复制

2.3 验证

In [ ]

!python val.py --depth=18 --mvtec_ad=/home/aistudio/data/ --category carpet --checkpoint=output42/carpet/best.pdparams

登录后复制

In [ ]

!python val.py --depth=18 --mvtec_ad=/home/aistudio/data/ --category grid --checkpoint=output42/grid/best.pdparams

登录后复制

In [ ]

!python val.py --depth=18 --mvtec_ad=/home/aistudio/data/ --category leather --checkpoint=output42/leather/best.pdparams

登录后复制

In [ ]

!python val.py --depth=18 --mvtec_ad=/home/aistudio/data/ --category tile --checkpoint=output42/tile/best.pdparams

登录后复制

In [ ]

!python val.py --depth=18 --mvtec_ad=/home/aistudio/data/ --category wood --checkpoint=output42/wood/best.pdparams

登录后复制

In [ ]

!python val.py --depth=18 --mvtec_ad=/home/aistudio/data/ --category bottle --checkpoint=output42/bottle/best.pdparams

登录后复制

In [ ]

!python val.py --depth=18 --mvtec_ad=/home/aistudio/data/ --category cable --checkpoint=output42/cable/best.pdparams

登录后复制

In [ ]

!python val.py --depth=18 --mvtec_ad=/home/aistudio/data/ --category capsule --checkpoint=output42/capsule/best.pdparams

登录后复制

In [ ]

!python val.py --depth=18 --mvtec_ad=/home/aistudio/data/ --category hazelnut --checkpoint=output42/hazelnut/best.pdparams

登录后复制

In [ ]

!python val.py --depth=18 --mvtec_ad=/home/aistudio/data/ --category metal_nut --checkpoint=output42/metal_nut/best.pdparams

登录后复制

In [ ]

!python val.py --depth=18 --mvtec_ad=/home/aistudio/data/ --category pill --checkpoint=output42/pill/best.pdparams

登录后复制

In [ ]

!python val.py --depth=18 --mvtec_ad=/home/aistudio/data/ --category screw --checkpoint=output42/screw/best.pdparams

登录后复制

In [ ]

!python val.py --depth=18 --mvtec_ad=/home/aistudio/data/ --category toothbrush --checkpoint=output42/toothbrush/best.pdparams

登录后复制

In [ ]

!python val.py --depth=18 --mvtec_ad=/home/aistudio/data/ --category transistor --checkpoint=output42/transistor/best.pdparams

登录后复制

In [ ]

!python val.py --depth=18 --mvtec_ad=/home/aistudio/data/ --category zipper --checkpoint=output42/zipper/best.pdparams

登录后复制

2.4 预测

In [ ]

!python predict.py --checkpoint=output42/carpet/best.pdparams --image_path=/home/aistudio/data/carpet/test/color/000.png --save_path=predict.png

登录后复制

可以得如下的类似结果：

【论文复现】STFPM-Paddle：基于Paddle实现用于异常检测的师生网络 - php中文网

2.5 导出

In [ ]

!python export_model.py --depth 18 --img_size=256 --model_path=output/carpet/best.pdparams --save_dir=./output

登录后复制

2.6 推理

In [ ]

!python infer.py --use_gpu=True --model_file=output/model.pdmodel --input_file=/home/aistudio/data/carpet/test/color/000.png --params_file=output/model.pdiparams

登录后复制

2.7 TIPC

注意：本部分为论文复现赛内容，只是为了验证整个项目的训练推理的正确性。学习目的可以不进行这部分的运行，即这部分非项目必要部分。

首先安装auto_log，需要进行安装，安装方式如下： auto_log的详细介绍参考https://github.com/LDOUBLEV/AutoLog。

git clone https://github.com/LDOUBLEV/AutoLog
cd AutoLog/
pip3 install -r requirements.txt
python3 setup.py bdist_wheel
pip3 install ./dist/auto_log-1.2.0-py3-none-any.whl

登录后复制

进行TIPC：

bash test_tipc/prepare.sh test_tipc/configs/STFPM/train_infer_python.txt 'lite_train_lite_infer'bash test_tipc/test_train_inference_python.sh test_tipc/configs/STFPM/train_infer_python.txt 'lite_train_lite_infer'

登录后复制

复现心得和相关信息

复现心得

工业缺陷检测是本次论文复现赛新加入的赛道，我也是第一次复现相关论文。感觉很有意思，不像其他领域的算法需要长时间的训练，这个领域基本上都是无监督的方法。对GPU的需求也很友好，也很实用。这篇论文用教师网络和学生网络的特征金字塔的特征差异为基本思路(代码也就几行)，差异越大，异常发生的概率越高，很朴实有效。