解决Keras Generator训练时Tensor尺寸不匹配问题-Python教程-PHP中文网

解决Keras Generator训练时Tensor尺寸不匹配问题

花韻仙語

发布： 2025-07-12 17:02:15

原创

388人浏览过

解决keras generator训练时tensor尺寸不匹配问题

本文档旨在解决在使用Keras Generator进行流式训练时，出现的Tensor尺寸不匹配错误。该错误通常与模型结构中涉及的下采样和上采样操作有关，特别是当输入图像尺寸不是16的倍数时，可能导致维度不一致。通过调整输入图像尺寸或修改模型结构，可以有效避免此问题。

问题分析

在使用Keras Generator进行训练时，如果模型包含下采样（例如，通过卷积层的stride实现）和上采样（例如，通过转置卷积层实现）操作，且输入图像的尺寸不是特定数值（通常是16或32）的倍数，则在模型的不同层之间进行连接或拼接时，可能会出现Tensor尺寸不匹配的错误。

例如，考虑一个U-Net结构，它包含下采样路径和上采样路径。在下采样路径中，图像尺寸逐渐减小；在上采样路径中，图像尺寸逐渐增大。在某些层，上采样路径的输出需要与下采样路径的输出进行拼接。如果由于图像尺寸不是16的倍数，导致下采样和上采样过程中出现舍入误差，那么拼接操作可能会失败，因为两个Tensor的尺寸不一致。

解决方案

解决Tensor尺寸不匹配问题的方法主要有两种：

调整输入图像尺寸： 这是最直接的解决方案。将输入图像的尺寸调整为16（或模型中使用的其他下采样因子的倍数）。例如，如果原始图像尺寸是100x100，可以将其裁剪或缩放到96x96或112x112。

import tensorflow as tf
import numpy as np

# 假设原始图像尺寸是 (batch_size, 100, 100, channels)
def resize_image(image, target_size=(96, 96)):
    """将图像调整到目标尺寸"""
    resized_image = tf.image.resize(image, target_size)
    return resized_image.numpy() # Convert to numpy array

class DataGenerator(tf.keras.utils.Sequence):
    'Generates data for Keras'
    def __init__(self, 
                 channel,
                 pairs, 
                 prediction_size=96, # 修改prediction_size
                 input_normalizing_function_name='standardize', 
                 label="",
                 batch_size=1):
        'Initialization'
        self.channel = channel
        self.prediction_size = prediction_size
        self.batch_size = batch_size
        self.pairs = pairs
        self.id_list = list(self.pairs.keys())
        self.input_normalizing_function_name = input_normalizing_function_name
        self.label = label
        self.on_epoch_end()

    def __len__(self):
        'Denotes the number of batches per epoch'
        return int(np.floor(len(self.id_list) / self.batch_size))

    def __getitem__(self, index):
        'Generate one batch of data'
        # Generate indexes of the batch
        indexes = self.indexes[index*self.batch_size:(index+1)*self.batch_size]
        print("{} Indexes is {}".format(self.label, indexes))
        # Find list of IDs
        subset_pair_id_list = [self.id_list[k] for k in indexes]
        print("\t{} subset_pair_id_list is {}".format(self.label, subset_pair_id_list))
        # Generate data
        normalized_input_frames, normalized_gt_frames = self.__data_generation(subset_pair_id_list)

        print("in __getitem, returning data batch")
        return normalized_input_frames, normalized_gt_frames

    def on_epoch_end(self):
        'Updates indexes after each epoch'
        self.indexes = list(range(len(self.id_list)))

    def __data_generation(self, subset_pair_id_list):
        'subdivides each image into an array of multiple images'
        # Initialization
        normalized_input_frames, normalized_gt_frames = get_normalized_input_and_gt_dataframes(
            channel = self.channel, 
            pairs_for_training = self.pairs,
            pair_ids=subset_pair_id_list,
            input_normalizing_function_name = self.input_normalizing_function_name,
            prediction_size=self.prediction_size
        )
        # Resize the image before returning
        normalized_input_frames = resize_image(normalized_input_frames, (self.prediction_size, self.prediction_size))
        normalized_gt_frames = resize_image(normalized_gt_frames, (self.prediction_size, self.prediction_size))
        print("\t\t\t~~~In data generation: input shape: {}, gt shape: {}".format(normalized_input_frames.shape, normalized_gt_frames.shape))

        return normalized_input_frames, normalized_gt_frames

登录后复制

修改模型结构： 如果无法调整输入图像尺寸，可以考虑修改模型结构，例如：
- 使用Cropping2D层： 在拼接层之前，使用Cropping2D层裁剪掉多余的像素，使两个Tensor的尺寸一致。
- 使用padding='same'： 在卷积层中使用padding='same'，可以确保输出图像的尺寸与输入图像的尺寸相同（或接近），从而减少尺寸不匹配的可能性。
- 调整卷积核大小和步长： 仔细调整卷积核大小和步长，以确保下采样和上采样过程中的尺寸变化是可预测的，并且最终的拼接操作是可行的。