Python实现深度学习中异常检测的详细教程【教程】-Python教程-PHP中文网

Python实现深度学习中异常检测的详细教程【教程】

冷炫風刃

发布： 2025-12-18 21:09:09

原创

204人浏览过

Python深度学习异常检测核心是构建识别正常模式的模型，常用自编码器类结构，仅用正常数据训练以最小化重建误差，再通过误差分布设定动态阈值判定异常。

python实现深度学习中异常检测的详细教程【教程】

用Python做深度学习异常检测，核心是构建能识别“正常模式”的模型，再把明显偏离的样本标记为异常。关键不在模型多复杂，而在数据表达、重建误差设计和阈值设定是否合理。

选择适合的深度学习结构

异常检测常用自编码器（Autoencoder）或变分自编码器（VAE），因为它们天然适合无监督场景：只用正常样本训练，让模型学会压缩-重建数据。图像用卷积自编码器（CAE），时序数据用LSTM或TCN自编码器，表格数据可搭配全连接层或引入特征嵌入。

简单示例（PyTorch风格）：

class SimpleAE(nn.Module):
    def __init__(self, input_dim, hidden_dim=64):
        super().__init__()
        self.encoder = nn.Sequential(
            nn.Linear(input_dim, 128),
            nn.ReLU(),
            nn.Linear(128, hidden_dim)
        )
        self.decoder = nn.Sequential(
            nn.Linear(hidden_dim, 128),
            nn.ReLU(),
            nn.Linear(128, input_dim)
        )
    def forward(self, x):
        z = self.encoder(x)
        return self.decoder(z)

登录后复制

训练策略要聚焦“正常”

异常检测通常没有足够标注的异常样本，所以训练集只放正常数据（比如KDD Cup 99中仅用“normal”流量；或工业传感器数据中取设备稳定运行时段）。模型目标是让重建误差尽可能小——它越熟悉正常，对异常的重建就越差。

立即学习“Python免费学习笔记（深入）”；

百度文心百中

百度大模型语义搜索体验中心

263

查看详情

损失函数推荐用MSE（连续值）或BCE（归一化后的0/1数据）
加入L1正则或稀疏约束，防止编码器“偷懒”，提升表征鲁棒性
验证时监控重建误差分布，而不是准确率或F1（因无异常标签）

定义异常得分与动态阈值

单靠重建误差（如MSE）可能受特征量纲影响，建议统一做归一化处理。更稳健的做法是：对验证集正常样本计算重建误差，拟合其分布（如高斯或核密度估计），再设阈值为95%或99%分位数。

代码示意：

recon_errors = [torch.mean((x - model(x))**2, dim=1).cpu().numpy() 
                for x in val_loader]
errors = np.concatenate(recon_errors)
threshold = np.percentile(errors, 95)  # 或用 KDE.fit(errors).score_samples

登录后复制