本文针对keras `dqnagent`在使用自定义模型时遇到的`valueerror: model output has invalid shape`问题，深入分析了其根本原因——不正确的`inputlayer`输入形状配置。通过将`inputlayer`的`input_shape`从`(1, 4)`修正为`(4,)`，模型输出将符合`dqnagent`的期望，从而解决因模型输出维度不匹配导致的训练中断。教程提供了详细的代码示例和原理说明，帮助开发者正确配置keras模型以适配强化学习代理。
在使用Keras-RL库中的DQNAgent进行强化学习时，开发者可能会遇到模型输出形状不符合代理期望的ValueError。这通常发生在自定义Keras模型与DQNAgent集成时，特别是在配置输入层时出现偏差。本教程将详细解析这一问题，并提供一套行之有效的解决方案。
当Keras模型被传递给DQNAgent进行初始化时，如果模型的输出形状与代理的预期不符，DQNAgent会抛出ValueError。典型的错误信息如下：
ValueError: Model output "Tensor("dense_2/BiasAdd:0", shape=(None, 1, 2), dtype=float32)" has invalid shape. DQN expects a model that has one dimension for each action, in this case 2.这表明DQNAgent期望模型的输出是一个二维张量，其中第一个维度是批次大小（None），第二个维度直接对应于动作空间的大小（例如，2个动作）。然而，实际的模型输出却是一个三维张量，例如(None, 1, 2)，多了一个不必要的中间维度。
导致上述问题的核心原因在于Keras模型的InputLayer配置。在上述错误示例中，InputLayer被定义为model.add(InputLayer(input_shape=(1, 4)))。
让我们详细分析这个配置的影响：
因此，当模型输出为(None, 1, 2)时，DQNAgent会认为多了一个维度1，不符合其对(None, 动作空间大小)的期望，从而抛出错误。
关于tensorflow.compat.v1.experimental.output_all_intermediates(True)的误解： 在某些情况下，开发者可能会尝试使用tensorflow.compat.v1.experimental.output_all_intermediates(True)来调试TensorFlow图。虽然这个函数会影响TensorFlow的内部行为，但它并不会改变Keras模型层的基本输出形状结构。上述ValueError的根本原因始终是模型架构本身，而非这个调试函数。即使移除或禁用它，如果InputLayer配置不正确，问题依然存在。
解决此问题的关键是确保Keras模型的输入形状与强化学习环境的观测空间以及DQNAgent的期望相匹配。对于像CartPole这样的简单环境，其观测空间通常是一个一维向量（例如，长度为4）。DQNAgent通过其SequentialMemory和window_length参数来处理序列输入（如果需要），而不是要求基础模型本身就处理序列维度。
正确的InputLayer配置应直接反映单个观测的形状。对于CartPole环境，观测空间是4个浮点数，因此input_shape应为(4,)。
以下是修正后的Keras模型定义代码：
import gymnasium as gym
import numpy as np
from rl.agents import DQNAgent
from rl.memory import SequentialMemory
from rl.policy import BoltzmannQPolicy
from tensorflow.python.keras.layers import InputLayer, Dense
from tensorflow.python.keras.models import Sequential
from tensorflow.python.keras.optimizer_v2.adam import Adam
if __name__ == '__main__':
env = gym.make("CartPole-v1")
model = Sequential()
# 修正点：将 input_shape 从 (1, 4) 改为 (4,)
model.add(InputLayer(input_shape=(4,)))
model.add(Dense(24, activation="relu"))
model.add(Dense(24, activation="relu"))
model.add(Dense(env.action_space.n, activation="linear"))
model.build() # 对于Sequential模型，在添加所有层后调用build()可以推断输入形状
print(model.summary())
agent = DQNAgent(
model=model,
memory=SequentialMemory(limit=50000, window_length=1),
policy=BoltzmannQPolicy(),
nb_actions=env.action_space.n,
nb_steps_warmup=100,
target_model_update=0.01
)
agent.compile(Adam(learning_rate=0.001), metrics=["mae"])
agent.fit(env, nb_steps=100000, visualize=False, verbose=1)
results = agent.test(env, nb_episodes=10, visualize=True)
print(np.mean(results.history["episode_reward"]))
env.close()通过将input_shape从(1, 4)修改为(4,)，模型的summary()输出将变为：
Model: "sequential" _________________________________________________________________ Layer (type) Output Shape Param # ================================================================= dense (Dense) (None, 24) 120 _________________________________________________________________ dense_1 (Dense) (None, 24) 600 _________________________________________________________________ dense_2 (Dense) (None, 2) 50 ================================================================= Total params: 770 Trainable params: 770 Non-trainable params: 0 _________________________________________________________________
此时，模型的最终输出形状为(None, 2)，这正是DQNAgent所期望的，其中None代表批次大小，2代表动作空间大小。
Keras DQNAgent的ValueError: Model output has invalid shape问题通常源于对InputLayer input_shape的误解。对于一个简单的DQNAgent，其Q网络通常期望一个直接映射到动作空间的输出。通过将InputLayer的input_shape设置为与环境观测空间维度直接匹配的形状（例如，(4,)），而不是包含额外时间步维度（例如，(1, 4)），可以有效解决此问题，确保模型与代理的正确集成，从而顺利进行强化学习任务。
以上就是解决Keras DQNAgent模型输出形状错误的教程的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
820
收藏
