自定义特征提取器计算FID：解决InceptionV3输入数据类型错误

在使用 `torchmetrics` 库结合自定义 InceptionV3 模型计算 FID 时，常见的错误是由于输入图像数据类型不匹配。本文将深入探讨 `RuntimeError: expected scalar type Byte but found Float` 这一问题，并提供详细的解决方案，即确保输入图像张量为浮点类型（如 `torch.float32`）并进行适当的归一化，以符合预训练模型的要求。

使用自定义特征提取器计算FID

在生成对抗网络（GANs）等图像生成任务中，Frechet Inception Distance (FID) 是一个广泛使用的评估指标，用于衡量生成图像的质量和多样性。torchmetrics 库提供了一个方便的 FrechetInceptionDistance 类来计算FID。该类允许用户传入一个自定义的特征提取器（通常是预训练的InceptionV3模型），以适应特定的需求或使用经过微调的模型。

问题描述：数据类型不匹配导致的运行时错误

当尝试将一个自定义的 torchvision.models.inception_v3 模型作为 FrechetInceptionDistance 的特征提取器，并传入 torch.uint8 类型的图像数据时，通常会遇到以下 RuntimeError：

RuntimeError: expected scalar type Byte but found Float

这个错误信息表明，InceptionV3 模型内部的卷积层期望接收浮点类型的输入（例如 torch.float32），但实际接收到的却是 torch.uint8 类型的数据。尽管在创建 torch.randint 时明确指定了 dtype=torch.uint8，但在 FrechetInceptionDistance 内部，为了与模型的期望输入兼容，它会尝试将输入数据传递给特征提取器。如果模型内部的层（例如 Conv2d_1a_3x3）的权重是浮点类型，并且它期望的输入也是浮点类型，那么当接收到 uint8 类型的数据时，就会抛出上述错误。

根本原因分析

torchvision 提供的预训练模型，包括 InceptionV3，通常在 ImageNet 数据集上进行训练。这些模型期望的输入是经过归一化的浮点张量，通常是 [0, 1] 或 [-1, 1] 范围内的 torch.float32 类型。即使是 torchmetrics 内部在处理 uint8 图像时，也会尝试将其转换为模型兼容的格式。然而，如果模型本身在其内部操作中显式地期望浮点类型，而输入却是字节类型，就会导致类型不匹配。

英特尔AI工具

英特尔AI与机器学习解决方案

70

查看详情

具体来说，torchvision.models.inception_v3 的 _forward 方法中的第一个卷积层 self.Conv2d_1a_3x3 期望接收浮点张量。当 FrechetInceptionDistance 尝试用一个 dummy_image 来初始化并确定特征维度时，如果这个 dummy_image 最终以 uint8 形式传递给 InceptionV3，就会触发错误。

解决方案：确保输入数据类型和归一化

解决此问题的关键在于确保传递给 FrechetInceptionDistance 的图像数据与自定义特征提取器（InceptionV3）所期望的类型和范围一致。

1. 数据类型转换： 将 torch.uint8 类型的图像张量转换为 torch.float32 类型。
2. 数据归一化： InceptionV3 模型通常期望输入图像的像素值归一化到 [0, 1] 或 [-1, 1] 范围。最常见的是归一化到 [0, 1]。

以下是修正后的代码示例：

import torch
import torch.nn as nn
from torchmetrics.image.fid import FrechetInceptionDistance
from torchvision.models import inception_v3, Inception_V3_Weights

# 确保可复现性
_ = torch.manual_seed(123)

# 1. 加载预训练的InceptionV3模型
# 注意：使用Inception_V3_Weights.IMAGENET1K_V1来获取预训练权重和相应的预处理转换
weights = Inception_V3_Weights.IMAGENET1K_V1
net = inception_v3(weights=weights, transform_input=False) # transform_input=False表示我们自己处理归一化
# 如果是自定义训练的模型，加载方式如下：
# net = inception_v3(pretrained=False, num_classes=...) # 根据你的模型配置
# checkpoint = torch.load('checkpoint.pt')
# net.load_state_dict(checkpoint['state_dict'])

net.eval() # 将模型设置为评估模式

# 2. 定义FID度量实例
# feature参数可以直接接受一个nn.Module
fid = FrechetInceptionDistance(feature=net)

# 3. 准备图像数据
# 生成两组图像数据，并进行类型转换和归一化
# InceptionV3通常期望输入尺寸为299x299，且像素值在[0, 1]之间
imgs_dist1_uint8 = torch.randint(0, 256, (100, 3, 299, 299), dtype=torch.uint8)
imgs_dist2_uint8 = torch.randint(0, 256, (100, 3, 299, 299), dtype=torch.uint8)

# 将uint8转换为float32并归一化到[0, 1]
imgs_dist1_float = imgs_dist1_uint8.to(torch.float32) / 255.0
imgs_dist2_float = imgs_dist2_uint8.to(torch.float32) / 255.0

# 4. 更新FID度量
fid.update(imgs_dist1_float, real=True)
fid.update(imgs_dist2_float, real=False)

# 5. 计算FID结果
result = fid.compute()

print(f"计算得到的FID值为: {result}")

注意事项和最佳实践

1. 模型输入要求： 始终查阅您使用的预训练模型的官方文档，了解其期望的输入尺寸、数据类型和归一化范围。对于大多数 torchvision 的预训练模型，输入通常是 (N, C, H, W) 格式的 torch.float32 张量，且像素值归一化到 [0, 1] 或 [-1, 1]。
2. eval() 模式： 在将模型用作特征提取器时，务必调用 model.eval()。这会禁用 Dropout 层和 BatchNorm 层的学习行为，确保特征提取过程的确定性和稳定性。
3. 设备一致性： 确保图像张量和特征提取器模型位于相同的设备（CPU或GPU）上，以避免 RuntimeError: Expected all tensors to be on the same device。例如，如果模型在GPU上，则图像也应通过 imgs.to(device) 移动到GPU。
4. transform_input 参数： torchvision.models.inception_v3 构造函数有一个 transform_input 参数。如果设置为 True（默认值），模型会自行处理输入归一化（从 [0, 255] 的 uint8 转换为 [0, 1] 的 float32 并进行特定于 Inception 的归一化）。然而，在 torchmetrics 的 FrechetInceptionDistance 中，我们通常会直接传入浮点类型的归一化数据。如果使用 transform_input=True，则可以传入 uint8 数据，但为了明确控制数据预处理流程，通常建议手动进行类型转换和归一化，并将 transform_input 设置为 False。在上述示例中，我们选择了手动处理。
5. 自定义模型： 如果您使用的是完全自定义的模型作为特征提取器，请确保其 forward 方法能够正确处理您传入的数据类型和形状。

总结

在使用 torchmetrics 结合自定义特征提取器（如 torchvision.models.inception_v3）计算FID时，解决 RuntimeError: expected scalar type Byte but found Float 的核心在于理解并满足模型对输入数据类型和范围的严格要求。通过将输入图像张量从 torch.uint8 转换为 torch.float32 并进行适当的归一化（例如，将像素值缩放到 [0, 1] 范围），可以有效地避免此问题，并确保FID计算的准确性。遵循这些最佳实践将有助于构建更健壮和专业的图像生成模型评估流程。

以上就是自定义特征提取器计算FID：解决InceptionV3输入数据类型错误的详细内容，更多请关注php中文网其它相关文章！