基于深度学习的视频预测及视频行人检测方法研究

目录

摘要..............................................................................................................Ι目录...........................................................................................................................ΙΙΙ图目录.......................................................................................................................VI 表目录.....................................................................................................................VII 1绪论. (1)

1.1.1研究背景 (1)

1.1.2研究意义 (2)

1.2视频预测任务的研究现状与趋势 (3)

1.3行人检测任务的发展现状 (5)

1.3.1行人检测的特征表示 (5)

1.3.2基于深度学习的行人检测算法 (6)

1.4技术路线 (9)

1.4.1双流卷积LSTM自动编码机 (9)

1.4.2基于视频序列的改进Faster R-CNN模型 (9)

1.5本文贡献 (9)

2深度学习的相关理论及应用 (11)

2.1深度学习的目标建模方法 (11)

2.2深度学习的时序建模方法 (14)

2.3深度网络在实际中的应用 (15)

2.4小结 (16)

3基于光流的视频预测研究 (18)

3.1算法动机 (18)

3.2模型介绍 (18)

3.2.1长短时记忆模型 (19)

III

3.2.3双流卷积自动编码机 (20)

3.2.4模型总结 (21)

3.2.5优化算法 (22)

3.3实验结果 (24)

3.3.1实验数据集 (24)

3.3.2模型参数 (25)

3.3.3不同融合策略的对比 (25)

3.3.4不同深度层数的对比 (26)

3.3.5与其他深度学习方法对比 (26)

3.3.6与最优性能的方法比较 (29)

3.3.7真实图像数据集 (29)

3.4小结 (30)

4基于长短时记忆网络的视频人体检测研究 (31)

4.1背景介绍 (31)

4.2模型简介 (31)

4.2.1特征提取模型 (32)

4.2.2长短时记忆网络 (33)

4.2.3训练策略 (34)

4.3实验分析 (35)

4.3.1数据集简介 (35)

4.3.2评价指标 (35)

4.3.3实验结果 (35)

4.4小结 (36)

5总结与展望 (38)

参考文献 (41)

IV

致谢 (46)

V

图1.1复杂环境下的视频序列 (2)

图1.2rCNN流程图 (4)

图1.3预测与重构模型 (5)

图1.4HOG特征提取流程图 (6)

图1.5R-CNN结构图 (7)

图1.6Fast R-CNN结构图 (7)

图1.7Faster R-CNN结构图 (8)

图2.1AlexNet网络结构图 (12)

图2.2GoogleNet网络结构图 (13)

图2.3递归神经网络结构图 (14)

图2.4长短时记忆单元 (15)

图2.5Kevin所提模型流程图 (16)

图3.1双流长短时记忆单元自动编码机 (19)

图3.2自动编码机流程图 (21)

图3.3Moving-mnist数据集 (24)

图3.4UCF-101数据集 (25)

图3.5不同融合方式结果图 (28)

图3.6UCF-101数据集上的实验结果图 (30)

图4.1网络结构示意图 (32)

图4.2残差链接示意图 (34)

图4.3PSDB数据集 (36)

VI

表2.1VGG Net网络参数结构表 (12)

表2.2ResNet网络参数结构表 (13)

表3.1不同链接方式对比 (26)

表3.2不同深度LSTM网络对比 (27)

表3.3不同网络之间的对比 (28)

表3.4同目前效果最优的网络的对比实验 (29)

表4.1VGGNet与ResNet网络参数对比 (33)

表4.2VGGNet在Caltech数据集上的对比实验 (36)

表4.3ResNet在Caltech数据集上的对比实验 (37)

VII

Abstract.........................................................................................................................I Directory..................................................................................................................VIII Graph Contents..........................................................................................................IX Table Contents.............................................................................................................X 1Introduction.. (1)

1.1The research background and significance (1)

1.1.1Background (1)

1.1.2Rasearch significance (2)

1.2The status of video prediction (3)

1.3The status of video pedestrian detection (5)

1.3.1The feature of pedestrian detection (5)

1.3.2The algorithm of detection with deep learning (6)

1.4Techrical route (9)

1.4.1Two-Stream LSTM Auto-encoder (9)

1.4.2improved Faster R-CNN model (9)

1.5Contribution (9)

2Deep Learning (11)

2.1Deep learning on object modeling (11)

2.2Deep learning on temporal modeling (14)

2.3Deep learning in practical application (15)

2.4Contribution (16)

3Video prediction with optical flow (18)

3.1motivation (18)

3.2Framework (18)

3.2.1LSTM (19)

3.2.2Optical flow (19)

3.2.3Two-Stream Auto-encoder (20)

3.2.4Model summary (21)

VIII

3.2.5Optimize (22)

3.3Experiment (24)

3.3.1Dataset (24)

3.3.2Parameter (25)

3.3.3Contrast with different links (25)

3.3.4Contrast with different depth LSTM models (26)

3.3.5Contrast with different models (26)

3.3.6Contrast with start of the art model (29)

3.3.7UCF-101dataset (29)

3.4Contribution (30)

4Video pedestrian detection with deep learning (31)

4.1Motivation (31)

4.2Framework (31)

4.2.1Extract feature model (32)

4.2.2LSTM (33)

4.2.3Training method (34)

4.3Experiment (35)

4.3.1Dataset (35)

4.3.2Evaluation method (35)

4.3.3Result (35)

4.4Contribution (36)

5Contribution (38)

Reference (41)

Self-introduction (45)

Acknowledgement (46)

IX

Fig.1.1Motion in the complex environment (2)

Fig.1.2The chart of rCNN model (4)

Fig.1.3Prediction model and reconstitution model (5)

Fig.1.4The chart of HOG feature (6)

Fig.1.5The chart of R-CNN model (7)

Fig.1.6The chart of fast R-CNN model (7)

Fig.1.7The chart of faster R-CNN model (8)

Fig.2.1The chart of AlexNet model (12)

Fig.2.2The chart of GoogleNet model (13)

Fig.2.3RNN model (14)

Fig.2.4LSTM Cell (15)

Fig.2.5STN model (16)

Fig.3.1two-stream LSTM auto-encoder model (19)

Fig.3.2Auto-encoder (21)

Fig.3.3Moving-Mnist dataset (24)

Fig.3.4UCF-101dataset (25)

Fig.3.5The results of different fusion map (28)

Fig.3.6The result of our method on UCF-101dataset (30)

Fig.4.1The improved faster R-CNN model (32)

Fig.4.2Residual Connection (34)

Fig.4.3PSDB dataset (36)

X

Table.2.1VGG Net parameter table (12)

Table.2.2ResNet parameter table (13)

Table.3.1Contrast with different links (26)

Table.3.2Contrast with different depth LSTM models (27)

Table.3.3Contrast with different models (28)

Table.3.4Contrast between our method and VPN (29)

Table.4.1Contrast between VGGNet and ResNet (33)

Table.4.2Contrast between our method and faster R-CNN with VGGNet (36)

Table.4.3Contrast between our method and faster R-CNN with ResNet (37)

XI

1绪论

本文着重于将深度学习中对于时序建模最新方法与视频分析的传统方法进行融合和创新，尝试在提升视频预测算法性能的同时，对行人检测算法在视频序列中的应用进行初步探索。本章将对全文的研究背景和研究现状进行介绍，并简要地说明本文的研究思路和技术路线。

1.1研究背景与意义

1.1.1研究背景

随着科技进步和社会的发展，计算机的存储和运算性能得到了极大的提升，大量的监控视频进入计算机视觉领域。对监控视频进行智能分析在现实生活中有着广泛的应用，比如车辆导航，交通流控制以及智能侦查等方面。目前，视频分析已经成为计算机视觉中一个非常重要的研究方向，引起了国内外研究者的广泛关注。本文针对其中的视频预测以及视频行人检测方向进行了探索和研究。视频预测是指通过算法自动预测出给定的一段视频中物体的运动轨迹并生成图片。视频行人检测是对任意给定的一副图像或一组图像序列，使用机器自动判别该图像或该序列中是否存在行人，且在存在行人的情况下，找出其位置和大小。行人检测通常被抽象为一个二分类问题，即区分行人和非行人。

近些年，尽管研究者们针对于视频分析任务提出了诸多算法，但目前视频分析仍然是一个极具挑战和急需解决的任务，研究中存在诸多需要解决的难点，具体包含以下几个方面：

(1)低分辨率图像。视频行人检测任务的数据来源大都为监控场景或者车

载录像。视频中行人所占比例不固定，有时单个行人所占像素仅有50

个像素值。这导致行人检测算法很难提取有效的特征，通常容易忽略

较小的行人目标。

(2)形态变化。视频行人检测任务中，行人的姿态变化是不固定的，有直

立，蹲坐，躺卧等姿态。这些姿态的变化给行人检测任务带来了巨大

的挑战。

(3)光照变化和背景的干扰。在监控场景下，摄像头的位置是固定的，但

11