Keras模型输出形状异常导致DQNAgent报错的排查与解决

本文旨在解决keras模型在与`keras-rl`库中的`dqnagent`结合使用时，因输出形状异常而引发的`valueerror`。核心问题在于`inputlayer`的`input_shape`定义不当，导致模型输出多余的维度。通过修正输入层形状，确保模型输出与`dqnagent`期望的扁平化动作空间形状一致，从而恢复模型正常运行。

Keras模型输出形状异常问题解析与解决方案

在使用Keras构建深度学习模型，特别是与强化学习库如keras-rl中的DQNAgent集成时，模型输出形状不匹配是一个常见的错误。当模型输出的张量形状与代理（Agent）期望的形状不一致时，通常会抛出ValueError。本教程将深入探讨这类问题的原因，并提供明确的解决方案。

问题现象

在训练DQN代理解决CartPole环境时，Keras模型原本正常工作。但在尝试引入GRU层并为此激活tensorflow.compat.v1.experimental.output_all_intermediates(True)后，即使移除了GRU层并关闭了中间输出选项，模型仍然开始输出带有额外维度的张量，导致DQNAgent报错：

ValueError: Model output "Tensor("dense_2/BiasAdd:0", shape=(None, 1, 2), dtype=float32)" has invalid shape. DQN expects a model that has one dimension for each action, in this case 2.

错误信息明确指出，模型输出形状为(None, 1, 2)，而DQNAgent期望的形状是(None, 2)（即每个动作一个维度）。

根本原因分析

该问题的核心在于Keras模型中InputLayer的input_shape定义不正确。

原始代码片段：

model = Sequential()
model.add(InputLayer(input_shape=(1, 4))) # 问题所在
model.add(Dense(24, activation="relu"))
model.add(Dense(24, activation="relu"))
model.add(Dense(env.action_space.n, activation="linear"))
model.build()

这里，input_shape=(1, 4)意味着模型期望的输入是(batch_size, 1, 4)。Keras的Dense层默认会将输入张量的最后一个维度进行变换，并保留之前的维度。因此，如果输入是(batch_size, 1, 4)，经过一系列Dense层后，最终输出将是(batch_size, 1, env.action_space.n)。

DQNAgent通常期望模型输出直接对应于动作空间，即形状为(batch_size, num_actions)。例如，对于CartPole环境，env.action_space.n为2，因此期望输出形状为(batch_size, 2)。模型输出的额外维度1与DQNAgent的期望不符，从而触发了ValueError。

至于tensorflow.compat.v1.experimental.output_all_intermediates(True)，它可能改变了TensorFlow内部图的构建或执行方式，使得之前可能被隐式处理或忽略的形状不匹配问题变得显性化，但它并非导致模型输出形状错误的根本原因。即使没有这个设置，不正确的input_shape本身就可能在某些上下文或TensorFlow版本下导致问题。

文心大模型

百度飞桨-文心大模型 ERNIE 3.0 文本理解与创作

56

查看详情

解决方案

解决此问题的关键是修正InputLayer的input_shape，使其只包含单个样本的特征维度，而不包括额外的“时间步”或“序列长度”维度（除非模型确实是处理序列数据，例如RNN）。

对于CartPole这类环境，观测空间通常是一个扁平的特征向量，例如env.observation_space.shape会是(4,)。因此，InputLayer的input_shape应该直接反映这个形状。

修正后的代码：

import gymnasium as gym
import numpy as np
from rl.agents import DQNAgent
from rl.memory import SequentialMemory
from rl.policy import BoltzmannQPolicy
from tensorflow.python.keras.layers import InputLayer, Dense
from tensorflow.python.keras.models import Sequential
from tensorflow.python.keras.optimizer_v2.adam import Adam

if __name__ == '__main__':
    env = gym.make("CartPole-v1")

    model = Sequential()
    # 修正 InputLayer 的 input_shape
    # 期望的输入是 (batch_size, 4)，所以 input_shape 应该是 (4,)
    model.add(InputLayer(input_shape=(env.observation_space.shape))) # 或者直接 (4,)
    model.add(Dense(24, activation="relu"))
    model.add(Dense(24, activation="relu"))
    model.add(Dense(env.action_space.n, activation="linear"))
    model.build()

    print("--- 修正后的模型摘要 ---")
    print(model.summary()) # 检查输出形状

    agent = DQNAgent(
        model=model,
        memory=SequentialMemory(limit=50000, window_length=1),
        policy=BoltzmannQPolicy(),
        nb_actions=env.action_space.n,
        nb_steps_warmup=100,
        target_model_update=0.01
    )

    agent.compile(Adam(learning_rate=0.001), metrics=["mae"])
    agent.fit(env, nb_steps=100000, visualize=False, verbose=1)

    results = agent.test(env, nb_episodes=10, visualize=True)
    print(f"平均回合奖励: {np.mean(results.history['episode_reward'])}")

    env.close()

通过将InputLayer(input_shape=(1, 4))改为InputLayer(input_shape=(4,))或更通用的InputLayer(input_shape=(env.observation_space.shape))，模型将期望输入形状为(batch_size, 4)。经过Dense层处理后，最终输出形状将是(batch_size, env.action_space.n)，这正是DQNAgent所期望的。

修正后的model.summary()输出将反映正确的形状：

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #
=================================================================
dense (Dense)                (None, 24)                120
_________________________________________________________________
dense_1 (Dense)              (None, 24)                600
_________________________________________________________________
dense_2 (Dense)              (None, 2)                 50
=================================================================
Total params: 770
Trainable params: 770
Non-trainable params: 0
_________________________________________________________________

可以看到，dense_2层的Output Shape现在是(None, 2)，符合DQNAgent的预期。

注意事项与最佳实践

1. 理解input_shape的含义： 在Keras中，input_shape参数定义了单个样本的形状，不包括批量（batch）维度。例如，如果输入是图像(28, 28, 1)，则input_shape=(28, 28, 1)。如果输入是扁平特征向量(4,)，则input_shape=(4,)。
2. 检查模型摘要： 始终使用model.summary()来检查模型的层结构、参数数量以及每一层的输入输出形状。这是调试模型形状问题的最有效工具。
3. 匹配代理期望： 在将Keras模型与特定代理（如DQNAgent）结合使用时，务必查阅代理的文档，了解其对模型输入输出形状的具体要求。keras-rl库中的许多代理都期望模型输出直接对应于动作值，通常是(batch_size, num_actions)。
4. 序列数据处理： 如果确实需要处理序列数据（例如，使用GRU或LSTM），并且每个观测是一个序列，那么input_shape可能确实需要包含一个时间步维度，例如(sequence_length, feature_dim)。但在这种情况下，通常还需要确保模型的输出层能够正确地将序列输出转换为代理所需的扁平化动作值（例如，通过在RNN层后添加Flatten或只取最后一个时间步的输出）。
5. tensorflow.compat.v1.experimental的使用： 谨慎使用这类实验性或兼容性API。它们可能会对TensorFlow的全局行为产生影响，有时难以预测或回滚。如果不是明确需要，尽量避免使用。

总结

Keras模型与DQNAgent集成时出现的ValueError: Model output ... has invalid shape错误，通常是由于InputLayer的input_shape定义不当，导致模型输出张量包含额外维度。通过将input_shape修正为与单个观测空间维度匹配的正确形状（例如，从(1, 4)改为(4,)），可以有效地解决此问题，确保模型输出与DQNAgent期望的扁平化动作空间形状一致，从而使强化学习代理能够正常工作。在模型开发过程中，仔细检查model.summary()并理解各层输入输出形状是避免此类问题的关键。

以上就是Keras模型输出形状异常导致DQNAgent报错的排查与解决的详细内容，更多请关注php中文网其它相关文章！