深度学习模型可复现性：解决PyTorch RetinaNet非确定性结果

深度学习中的非确定性问题

在深度学习领域，模型的可复现性是确保实验结果可靠性和代码稳定性的基石。然而，即使在相同的输入和模型权重下，有时也会观察到模型输出的不一致性，即“非确定性”结果。这通常发生在以下几个方面：

1. 随机初始化: 模型参数的初始化、Dropout层、数据增强等操作都可能引入随机性。
2. CUDA/cuDNN算法: GPU上的某些操作（如卷积、池化）可能存在多种实现方式，其中一些是非确定性的，以优化性能。
3. 多线程/并行计算: 在CPU或GPU上进行并行计算时，操作的顺序可能无法保证，导致累加结果的微小差异。
4. 数据加载: DataLoader在多进程模式下，如果未正确设置随机种子，可能会导致不同worker加载的数据批次顺序或增强方式不一致。

当用户发现其基于torchvision.models.detection.retinanet_resnet50_fpn_v2预训练模型进行实例分割时，即使输入图像相同，模型推理出的标签和标签数量也每次不同，这便是一个典型的非确定性问题。尽管代码中没有明显的警告或异常，但内部的随机性源头可能导致这种行为。

实现可复现性的全面策略

要解决深度学习模型（包括预训练模型推理）的非确定性问题，核心在于在程序执行的早期统一设置所有可能引入随机性的组件的随机种子。这包括Python标准库、NumPy和PyTorch本身。

以下是一个推荐的全面种子设置脚本，应放置在程序入口点（例如if __name__ == '__main__':块的开始处）：

import torch
import numpy as np
import random
import os

def set_seed(seed_value=3407):
    """
    设置所有相关库的随机种子，以确保实验的可复现性。
    """
    # 1. Python标准库的随机种子
    random.seed(seed_value)
    # 2. NumPy的随机种子
    np.random.seed(seed_value)
    # 3. PyTorch的随机种子
    torch.manual_seed(seed_value)
    # 4. PyTorch CUDA操作的随机种子 (即使在CPU上运行，也建议设置)
    torch.cuda.manual_seed(seed_value)
    torch.cuda.manual_seed_all(seed_value) # 如果使用多GPU

    # 5. cuDNN相关设置
    # 确保cuDNN使用确定性算法，这可能会牺牲一些性能
    torch.backends.cudnn.deterministic = True
    # 禁用cuDNN的自动优化，因为其可能导致非确定性行为
    torch.backends.cudnn.benchmark = False

    # 6. 设置Python哈希种子，影响字典、集合的迭代顺序等
    os.environ['PYTHONHASHSEED'] = str(seed_value)

    # 7. (可选) PyTorch 1.8+ 提供的全局确定性算法开关
    # 注意：此功能在某些操作上可能会抛出错误，如果它们没有确定性实现
    # if hasattr(torch, 'use_deterministic_algorithms'):
    #     torch.use_deterministic_algorithms(True)

# 在程序入口调用
if __name__ == '__main__':
    set_seed(3407) # 使用一个固定的种子值

    # 实例化RetinaNet模型并进行推理
    # ... (此处放置原有的RetinaNet类实例化和推理代码)
    # 确保图像数据正确移动到设备
    # input_tensor = input_tensor.to(self.device) # 修正：确保数据在模型前已移至正确设备
    # ...

代码解析：

• random.seed(seed_value): 设置Python内置random模块的种子。
• np.random.seed(seed_value): 设置NumPy库的随机种子，影响所有基于NumPy的随机操作。
• torch.manual_seed(seed_value): 设置CPU上PyTorch操作的随机种子。
• torch.cuda.manual_seed(seed_value) / torch.cuda.manual_seed_all(seed_value): 设置当前或所有GPU上PyTorch CUDA操作的随机种子。即使在CPU上运行，设置这些也无害，并为未来可能切换到GPU提供保障。
• torch.backends.cudnn.deterministic = True: 强制cuDNN（NVIDIA的深度神经网络库，PyTorch在GPU上进行高性能计算时会使用）使用确定性算法。这可能导致性能略有下降，但确保了结果的一致性。
• torch.backends.cudnn.benchmark = False: 禁用cuDNN的自动基准测试功能。当benchmark为True时，cuDNN会寻找最快的卷积算法，这个过程本身可能引入非确定性。
• os.environ['PYTHONHASHSEED'] = str(seed_value): 设置Python哈希函数的种子。这会影响依赖于哈希值的操作（如字典和集合的迭代顺序），间接影响某些随机行为。此设置需要在Python解释器启动时生效，因此最好在脚本的最初始阶段设置。
• torch.use_deterministic_algorithms(True) (可选): PyTorch 1.8及更高版本引入的全局开关，旨在使所有支持的PyTorch操作都使用确定性算法。然而，并非所有操作都有确定性实现，因此启用此选项可能会在遇到不支持的操作时抛出运行时错误。在使用前需仔细测试。

DataLoader中的种子设置（高级）

对于训练场景或涉及自定义数据加载的推理场景，torch.utils.data.DataLoader也可能引入随机性，尤其是在使用多进程worker和数据增强时。为了确保DataLoader的可复现性，除了上述全局种子设置外，还需要为DataLoader的generator参数指定一个带有固定种子的torch.Generator对象。

可图大模型

可图大模型（Kolors）是快手大模型团队自研打造的文生图AI大模型

32

查看详情

# 在DataLoader初始化时
g = torch.Generator()
g.manual_seed(seed_value) # 使用与全局设置相同的种子值
dataLoader = torch.utils.data.DataLoader(
    dataset=your_dataset,
    batch_size=batch_size,
    shuffle=True, # 如果需要打乱，此处的打乱也由g控制
    num_workers=num_workers,
    generator=g # 将手动设置种子的生成器传递给DataLoader
)

通过将一个手动设置了种子的torch.Generator传递给DataLoader，可以确保数据批次的生成顺序（如果shuffle=True）和数据增强操作（如果增强函数内部使用了随机数）在每次运行时都是一致的。

总结与注意事项

确保深度学习模型的可复现性是模型开发和部署中的一项关键任务。通过在程序入口点系统地设置Python、NumPy和PyTorch的随机种子，并特别关注cuDNN的确定性配置，可以有效解决像RetinaNet推理过程中出现的非确定性问题。

重要提示：

• 性能权衡: 强制使用确定性算法（如cudnn.deterministic = True和cudnn.benchmark = False）可能会导致模型在GPU上的运行速度略有下降，因为它们禁用了某些可能更快的非确定性优化。在对性能要求极高的生产环境中，可能需要在可复现性和速度之间进行权衡。
• 环境一致性: 即使设置了所有种子，确保运行环境（操作系统、Python版本、PyTorch版本、CUDA/cuDNN版本）的一致性也是至关重要的，因为不同版本之间底层实现可能存在差异，进而影响结果。
• 外部库: 如果项目中使用了其他依赖随机数的库（例如OpenCV、SciPy等），也需要查阅其文档并设置相应的随机种子。

通过遵循这些最佳实践，开发者可以极大地提高深度学习实验的可信赖性和可维护性，从而更高效地进行模型迭代和问题调试。

以上就是深度学习模型可复现性：解决PyTorch RetinaNet非确定性结果的详细内容，更多请关注php中文网其它相关文章！