PyTorch VGG-19 模型微调指南：全层与特定全连接层优化策略

本教程详细介绍了在 pytorch 中对预训练 vgg-19 模型进行微调的两种核心策略。我们将探讨如何实现全网络层的微调，以及如何选择性地仅微调其最后两个全连接层（fc1、fc2）及最终分类层。文章提供了具体的代码示例，演示了如何加载模型、冻结或解冻参数，并根据自定义数据集替换输出层，旨在帮助读者高效地将 vgg-19 应用于新的图像分类任务。

在深度学习领域，迁移学习是一种强大的技术，它允许我们利用在大规模数据集（如 ImageNet）上预训练的模型来解决新的、相关但数据量较小的任务。VGG-19 作为一种经典的卷积神经网络架构，因其简洁的结构和强大的特征提取能力，常被用作迁移学习的基石。本教程将深入讲解如何在 PyTorch 中对 VGG-19 模型进行微调，以适应特定的分类任务。

1. 加载预训练 VGG-19 模型

首先，我们需要从 torchvision 库中加载预训练的 VGG-19 模型。从 PyTorch 0.13 版本开始，推荐使用 weights 参数来指定预训练权重，而不是已弃用的 pretrained 参数。

import torch
import torch.nn as nn
from torchvision import models
from torchvision.models import VGG19_Weights

# 加载预训练的 VGG-19 模型
# VGG19_Weights.IMAGENET1K_V1 表示使用在 ImageNet-1K 数据集上训练的V1版本权重
vgg19_model = models.vgg19(weights=VGG19_Weights.IMAGENET1K_V1)

# 打印模型结构，以便了解其组成
print(vgg19_model)

通过打印模型结构，我们可以看到 VGG-19 主要由 features（卷积层和池化层）、avgpool（自适应平均池化层）和 classifier（全连接层）三部分组成。其中，classifier 部分的结构如下：

  (classifier): Sequential(
    (0): Linear(in_features=25088, out_features=4096, bias=True) # FC1
    (1): ReLU(inplace=True)
    (2): Dropout(p=0.5, inplace=False)
    (3): Linear(in_features=4096, out_features=4096, bias=True) # FC2
    (4): ReLU(inplace=True)
    (5): Dropout(p=0.5, inplace=False)
    (6): Linear(in_features=4096, out_features=1000, bias=True) # 原始输出层
  )

这里，classifier[0] 对应第一个全连接层 (FC1)，classifier[3] 对应第二个全连接层 (FC2)，而 classifier[6] 则是模型的最终输出层，通常用于 ImageNet 的 1000 个类别分类。

2. 微调策略一：微调所有层

当目标数据集与预训练数据集差异较大，或者目标数据集规模相对较大时，可以考虑微调 VGG-19 模型的所有层。这意味着模型的全部参数都将在训练过程中进行更新。

这种策略的实现相对简单：加载预训练模型后，确保所有层的 requires_grad 属性都设置为 True（默认情况下，加载预训练模型时即为 True），然后根据目标任务的类别数量替换模型的最终分类层。

落笔AI

AI写作，AI写网文、AI写长篇小说、短篇小说

41

查看详情

# 假设你的目标任务有 num_classes 个类别
num_classes = 10 # 示例：替换为你的实际类别数量

# 1. 加载预训练模型
model_all_layers = models.vgg19(weights=VGG19_Weights.IMAGENET1K_V1)

# 2. 确保所有层的参数都可训练 (默认已是 True，此处显式设置以示清晰)
for param in model_all_layers.parameters():
    param.requires_grad = True

# 3. 替换最终分类层以适应新的类别数量
# 原始输出层的输入特征是 4096
model_all_layers.classifier[6] = nn.Linear(4096, num_classes)

print("策略一：微调所有层后的模型结构 (部分)")
print(model_all_layers.classifier)

优点： 模型的特征提取能力可以完全适应新任务的特性，可能在某些情况下达到更高的性能。 缺点： 需要更多的计算资源和更长的训练时间，且更容易过拟合，尤其是在目标数据集较小的情况下。

3. 微调策略二：选择性微调特定全连接层 (FC1, FC2 及最终输出层)

当目标数据集相对较小，或者我们认为预训练模型的底层特征提取器（features 部分）已经足够通用时，可以采用选择性微调策略。这种方法通常冻结大部分卷积层，只微调模型顶部的全连接层，以适应新任务。

在本例中，我们将重点微调 VGG-19 的 classifier 部分中的 FC1 (classifier[0])、FC2 (classifier[3]) 以及最终的分类输出层。

# 假设你的目标任务有 num_classes 个类别
num_classes = 10 # 示例：替换为你的实际类别数量

# 1. 加载预训练模型
model_selective_finetune = models.vgg19(weights=VGG19_Weights.IMAGENET1K_V1)

# 2. 冻结所有层的参数
# 遍历模型的所有参数，将 requires_grad 设置为 False
for param in model_selective_finetune.parameters():
    param.requires_grad = False

# 3. 解冻 FC1 (classifier[0]) 的参数
for param in model_selective_finetune.classifier[0].parameters():
    param.requires_grad = True

# 4. 解冻 FC2 (classifier[3]) 的参数
for param in model_selective_finetune.classifier[3].parameters():
    param.requires_grad = True

# 5. 替换最终分类层 (classifier[6])
# 替换后，这个新的 nn.Linear 层会默认其参数 requires_grad=True
model_selective_finetune.classifier[6] = nn.Linear(4096, num_classes)

print("\n策略二：选择性微调特定全连接层后的模型结构 (部分)")
print(model_selective_finetune.classifier)

# 验证哪些参数是可训练的
print("\n可训练参数列表:")
for name, param in model_selective_finetune.named_parameters():
    if param.requires_grad:
        print(name)

优点：

• 减少了需要训练的参数数量，显著降低了计算成本和训练时间。
• 降低了在小数据集上过拟合的风险，因为底层特征提取器保持不变。
• 适用于目标任务与预训练任务特征分布相似的场景。

缺点：

• 如果目标任务与预训练任务的特征差异很大，固定底层特征提取器可能会限制模型的性能。

4. 注意事项与最佳实践

• 最终分类层的替换： 无论采用哪种微调策略，如果你的任务类别数量与 ImageNet (1000 类) 不同，都必须替换模型的最终分类层。即使类别数量相同，也强烈建议替换并重新训练该层，因为你的特定类别可能与 ImageNet 中的类别完全不同，需要模型学习新的决策边界。替换 nn.Linear 层会自动使其参数 requires_grad=True。
• 学习率： 在迁移学习中，通常建议使用较小的学习率，尤其是在微调所有层时。对于选择性微调，可以尝试对解冻的层使用相对较高的学习率，而对冻结的层（如果也微调，但学习率极低）使用更低的学习率，或直接冻结。
• 数据预处理： 确保你的输入数据经过与 VGG-19 预训练时相同或相似的预处理步骤（如图像大小调整、归一化等）。torchvision.transforms 提供了方便的工具来完成这些操作。
• 优化器： 对于微调，Adam 或 SGD 优化器都是常见的选择。
• 计算资源： 微调所有层对 GPU 内存和计算能力的要求更高。如果资源有限，选择性微调是更好的起点。

总结

本教程详细介绍了在 PyTorch 中微调 VGG-19 模型的两种主要方法：全层微调和选择性微调特定全连接层。全层微调适用于数据量充足且任务差异较大的情况，而选择性微调则更适合数据量有限或任务相似的场景，它通过冻结大部分预训练权重来提高训练效率并减少过拟合风险。理解并灵活运用这些策略，将使你能够有效地将 VGG-19 应用于各种图像分类任务。在实际应用中，建议根据你的具体任务和数据集特点，尝试不同的微调策略，并通过验证集性能来选择最优方案。

以上就是PyTorch VGG-19 模型微调指南：全层与特定全连接层优化策略的详细内容，更多请关注php中文网其它相关文章！