迁移学习关键在于合理选择预训练模型、分层冻结策略、头部适配及微调监控。需按任务匹配选模型，分语义层级设置不同学习率冻结，替换并增强分类头，监控梯度与特征分布以避免灾难性遗忘。
迁移学习在深度学习中是快速构建高性能模型的常用策略，尤其在数据量有限时效果显著。使用预训练的CNN模型（如ResNet、VGG、EfficientNet）作为特征提取器或微调起点，能大幅减少训练时间与过拟合风险。关键不在“换模型”，而在“怎么换、换多少、何时停”。
选对预训练模型：任务匹配比参数量更重要
ImageNet上预训练的模型并非都适合你的任务。例如：
- 医疗影像（如X光片）纹理细节多、目标尺度小，EfficientNet-B3或DenseNet121常比ResNet50更稳定；
- 卫星图像或遥感场景中，输入分辨率高、背景复杂，建议用带位置编码改进的ViT或ResNet101+空洞卷积变体；
- 实时边缘部署场景，优先选MobileNetV3或EfficientNet-Lite，而非盲目追求Top-1精度。
不要只看论文指标，先在验证集上跑3个epoch对比初始loss下降速度和梯度稳定性。
冻结策略要分层，不是全冻或全解
常见误区是“前几层冻结、后几层微调”。更合理的做法是按语义层级动态冻结：
立即学习“Python免费学习笔记（深入）”；
- 底层卷积（如Conv1–Conv3）提取通用边缘/纹理，通常保持冻结；
- 中层（如ResNet的layer2–layer3）开始承载对象部件信息，可设较小学习率（1e−5）微调；
- 顶层（layer4 + 全连接头）最任务相关，学习率设为1e−4～5e−4，甚至单独用AdamW优化。
PyTorch中可用named_parameters()配合正则匹配实现分组参数设置，避免手动列层名。
头部替换与适配：不止是改最后一层
直接替换fc层只是基础操作。进阶适配包括：
- 若新任务类别数极少（如2～5类），建议移除原始全局平均池化（GAP），改用自适应池化+轻量注意力模块（如SEBlock）增强判别力；
- 输入尺寸与预训练不一致时（如384×384），慎用双线性插值缩放；推荐在stem层后插入一个可学习的Patch Embedding投影，或用Timm库的create_model(..., pretrained=True, img_size=384)自动适配；
- 类别极度不均衡时，在新分类头上叠加Label Smoothing（0.1）和Focal Loss，比单纯加class_weight更鲁棒。
微调阶段的监控与早停：关注梯度与特征分布
微调容易灾难性遗忘。除了验证准确率，必须监控：
- 各层梯度范数变化趋势（用torch.nn.utils.clip_grad_norm_限制但不掩盖异常）；
- 中间特征图的L2均值与方差——若某层输出方差骤降＞40%，说明该层已“死亡”，需调高其学习率或重初始化；
- 使用TSNE可视化最后三层特征在验证集上的聚类分离度，比单纯看loss更能反映迁移质量。
建议用Weights & Biases或TensorBoard记录这些指标，设定复合早停条件（如acc连续2轮不升+梯度方差下降＞30%）。
