基于PaddlePaddle的PredNet模型

本文介绍基于PaddlePaddle实现的PredNet视频预测模型，其基于预测性编码原理，采用层级结构。使用转换为hdf5格式的KITTI数据集训练，设置特定参数（batch size 4、epoch 150等），复现精度达0.006900，优于原始代码。还提及复现注意事项及代码结构等内容。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

基于PaddlePaddle实现的PredNet模型

1. 简介

PredNet是一个利用神经生物学中的预测性编码（Predictive Coding）原理所构建的视频预测模型，预测过程自顶向下，感知过程自底向上，对于其本身原理更感兴趣的同学可以参考Wikipedia。PreNet为该原理在视频数据上的一个实现，结构如下所示。网络为层级结构，每一层都会通过R来计算A_hat以预测输入A，两者的差异E再作为输入传递给下一层。其中R为每一层的表征，由一个LSTM来完成对时序信息的整合。特别的是R的输入除了由当前层的误差E外，还包含高层的表征，从而使得顶层的语义信息可以向底层传递。

以下给出两张官方参数的预测结果，第一行为真实图像，第二行为预测图像，第一个时间步网络处于初始化状态，没有外部输入，故输出为0。

论文: Lotter, William, Gabriel Kreiman, and David Cox. "Deep predictive coding networks for video prediction and unsupervised learning." arXiv preprint arXiv:1605.08104 (2016).

参考repo: prednet

2. 数据集

本项目使用KITTI数据集进行训练。KITTI是一个自动驾驶领域常用的数据集，其由配置了传感器的汽车于德国卡尔斯鲁厄采集，数据中包含了双目彩色图像、深度图像、雷达点云等传感数据，并提供目标检测、实例分割等常见CV任务的标签。

按照论文中的设置，将RGB图像降采样至128x160。由于原始KITTI数据过大（~165G），作者在DropBox上提供了处理过的版本。又由于处理过后的数据为.hkl格式，只能在python2中使用hickle 2.1.0进行加载，所以我将数据集转换为hdf5格式，上传至AI Studio。

数据分为train，val，test三个数据集，分别包含41396，154，832张图像。每个文件中包含两个变量，images为所有图像帧，sources是每帧图像 的来源，用于判断帧之间的连续性。本项目已挂载数据集，位于/home/aistudio/data/data119650。

3. 复现精度

采用与原文代码一致的训练参数：batch size 4，epoch 150，samples per epoch 500，优化器Adam，初始学习率1e-3，75个epoch后减小为1e-4。保存验证集loss最低的模型为最优模型。

可图大模型

可图大模型（Kolors）是快手大模型团队自研打造的文生图AI大模型

32

查看详情

训练日志链接：log 权重文件链接：weight

4. 环境依赖

• 硬件：

  • x86 cpu
  • NVIDIA GPU

• 框架：

  • PaddlePaddle==2.2.0

• 其他依赖项：

  • matplotlib
  • h5py
  • tqdm

5. 快速开始

%cd ~/work/prednet-paddle
!pip install -r requirements.txt

!python kitti_evaluate.py --weight_file model_data_keras2/tensorflow_weights/prednet_kitti_weights.hdf5 --data_dir ~/data/data119650/
!cat kitti_results/prediction_scores.txt

# 注：使用V100训练需2h左右!python kitti_train.py --data_dir ~/data/data119650/

### 验证!python kitti_evaluate.py --data_dir ~/data/data119650/
!cat kitti_results/prediction_scores.txt

### 可视化结果import matplotlib.pyplot as plt
plot_dir = 'kitti_results/prediction_plots/'plot_names = os.listdir(plot_dir)
img = plt.imread(os.path.join(plot_dir, plot_names[0])) # 可以修改index查看不同结果plt.imshow(img)
plt.show()

├── LICENSE
├── README.md
├── data.py # 数据集定义├── kitti_data # 数据文件夹│   ├── test.h5 # 测试数据│   ├── train.h5 # 训练数据│   └── val.h5 # 验证数据├── kitti_evaluate.py # 评估脚本├── kitti_results
│   ├── prediction_plots/ # 测试集预测可视化│   └── prediction_scores.txt # 测试集指标├── kitti_settings.py # 路径定义├── kitti_train.py # 训练脚本├── prednet.py # 网络定义├── requirements.txt # 依赖包└── utils.py # 功能函数

以上就是基于PaddlePaddle的PredNet模型的详细内容，更多请关注php中文网其它相关文章！