GPU加速深度学习训练的关键是确保模型、数据和计算全程在GPU上运行，并避免CPU-GPU频繁传输；需验证CUDA可用性、统一设备放置、减少同步操作、启用混合精度与cuDNN优化。
用GPU加速Python深度学习训练，核心是让模型、数据和计算全部落在GPU上，同时避免CPU-GPU之间频繁搬运数据。关键不在“能不能用GPU”，而在“是不是真在用GPU高效计算”。
确认GPU环境已就绪
运行以下代码检查PyTorch或TensorFlow是否识别到CUDA设备：
PyTorch示例：
import torch
print(torch.cuda.is_available()) # 应输出True
print(torch.cuda.device_count()) # 查看可用GPU数量
print(torch.cuda.get_current_device()) # 当前默认设备ID
若返回False，需检查：NVIDIA驱动版本是否匹配CUDA Toolkit、CUDA是否加入PATH、PyTorch安装的是GPU版本（如torch==2.1.0+cu118而非cpuonly）。
立即学习“Python免费学习笔记（深入）”；
把模型和数据同步迁移到GPU
仅调用.cuda()或.to('cuda')不够——必须确保模型、输入张量、标签张量、损失函数中间变量全部在同一个GPU上。
- 模型加载后立刻迁移：
model = model.to('cuda') - 每个batch的数据也要迁移：
x, y = x.to('cuda'), y.to('cuda') - 避免混用CPU张量参与计算（例如用NumPy预处理后忘记转GPU）
- 验证方式：打印
x.device和model.parameters().__next__().device，二者应一致
减少CPU-GPU数据传输开销
训练中最大性能杀手之一是反复调用.cpu().numpy()或.item()——每次都会触发同步等待，强制GPU空转。
- 日志统计尽量延迟到多个step合并后执行，例如每100步算一次平均loss再转CPU
- 可视化时避免每轮都传图回CPU：
plt.imshow(x[0].cpu().permute(1,2,0).numpy())改为只在验证阶段或调试时启用 - 使用
torch.no_grad()包裹评估逻辑，防止构建计算图增加显存压力
启用混合精度与自动批处理优化
现代GPU（如A100/V100/RTX3090+）支持FP16运算，配合AMP（Automatic Mixed Precision）可提速30%–50%，且几乎不掉点。
PyTorch AMP示例：
from torch.cuda.amp import autocast, GradScaler
scaler = GradScaler()
for x, y in dataloader:
x, y = x.to('cuda'), y.to('cuda')
optimizer.zero_grad()
with autocast(): # 自动选择FP16/FP32
pred = model(x)
loss = criterion(pred, y)
scaler.scale(loss).backward() # 缩放梯度防下溢
scaler.step(optimizer)
scaler.update()
同时建议开启torch.backends.cudnn.benchmark = True，让cuDNN自动选择最优卷积算法（适用于输入尺寸稳定的情况）。
