论文资料

Deep Predictive Coding Networks for Video Prediction and Unsupervised Learning 论文 代码 torch-prednet torch prednet是e-lab实验室重新实现的一个预测网络 prednet_comment代码注释 该代码中为其他研究人员的相关注释。

代码运行示例，下面是在Caltech Pedestrian数据集上运行的下一帧预测结果，该模型在KITTI数据集中训练。

代码实现

torch-prednet

# 训练相关
th main.lua --batch 1 --nlayers 3 -s --savedir results --dataDir dataSets --dataName data-small
# 测试相关
qlua main.lua --model results --dataDir dataSets --dataName data-small --visOnly --useGPU

pytorch-prednet

PredNet-ConvGRU 使用convgru同时用pytorch实现prednet

使用Keras进行视频预测（时间序列）

论文资料

PredNet阅读笔记——从视频预测的角度学习视频表征

相关描述

实验证明，PredNet在视频预测任务表现一般，预测时间短且不够清晰；但在学习视频表征方面表现突出，可以提取物体动态特征，将这些特征用于分类器、参数估算等任务，相比于从静态图像中提取的特征，物体识别准确度会提高。

基本架构

项目需求

项目中需要类似的frame prediction功能，首先准备两个h5文件，其中一个包含图像数据，另一个包含图像数据的来源，比如视频A有30帧，视频B有30帧，这里，将数据预处理为(H, W, C)—-A…(H, W, C)—-B等等，这里有两个文件目录，其中为A和B文件夹表示视频来源，各个文件下