选择合适并动态调整学习率是影响收敛速度最直接的超参数，需结合学习率查找法、OneCycleLR、ReduceLROnPlateau及分层学习率；数据预处理应统一归一化、采用轻量有效增强；初始化推荐Kaiming或Xavier，BatchNorm需跟踪统计量，梯度裁剪防崩溃；混合精度与梯度累积可提升硬件效率。
选择合适的学习率并动态调整
学习率是影响收敛速度最直接的超参数。过大容易震荡甚至发散，过小则收敛缓慢、易陷于局部极小。建议起步使用学习率查找法（Learning Rate Finder）粗略定位最优区间，再配合余弦退火或OneCycleLR等调度策略。
- 用torch.optim.lr_scheduler.OneCycleLR在单个epoch内先升后降，常能加速初期收敛并提升最终精度
- 若训练中loss长时间停滞，可尝试用ReduceLROnPlateau，在验证损失连续若干轮不下降时自动衰减学习率
- 对不同层使用分层学习率（如backbone微调用1e-5，head部分用1e-3），尤其适用于迁移学习场景
数据预处理与增强要兼顾分布一致性与多样性
模型“学得快”的前提是输入信息质量高。原始数据若存在尺度混乱、光照偏差或类别极度不均衡，会显著拖慢有效梯度更新。
- 统一归一化：按通道计算ImageNet或自定义数据集的均值与标准差，避免各batch间数值量级差异过大
- 轻量但有效的增强组合更实用——例如RandAugment（自动搜索增强强度）比手动堆叠5种变换更稳定；CutMix/LabelSmoothing可缓解过拟合，间接加快收敛
- 确保训练集和验证集预处理逻辑完全一致（除增强外），否则评估信号失真，误导优化方向
初始化、归一化与梯度控制协同优化
权重初始化不当或梯度异常会直接导致前几轮loss爆炸或为零，让优化器“无从下手”。现代深度网络需三者配合才能快速进入稳定下降阶段。
- 线性层推荐Kaiming初始化（nn.init.kaiming_normal_，非线性为ReLU类时设mode='fan_in'），Embedding层常用Xavier均匀初始化
- BatchNorm层必须开启track_running_stats=True（默认），否则推理时统计量不准，影响收敛稳定性
- 梯度裁剪（torch.nn.utils.clip_grad_norm_）不是万能药，但在RNN、ViT长序列或混合精度训练中能防止early collapse
利用混合精度与梯度累积提升硬件效率
更快的单步迭代不等于更快收敛，但单位时间处理更多有效梯度，往往带来实质提速。关键在于不牺牲数值稳定性。
立即学习“Python免费学习笔记（深入）”；
- PyTorch原生torch.cuda.amp搭配autocast + GradScaler，可在保持精度前提下将训练速度提升1.5–2倍，显存占用减少约30%
- 当GPU显存不足无法增大batch size时，用梯度累积（loss.backward()后不step，累计N次再optimizer.step()）模拟大batch效果，有助于更平滑的梯度方向估计
- 注意：混合精度下需检查模型中是否存在red">float64操作（如某些自定义loss），强制转为float32避免溢出
