视频中的人体行为分析关键技术研究

摘要 ...................................................................................................................................... I Abstract .................................................................................................................................. I I 第一章绪论 (1)

1.1 课题的研究背景及意义 (1)

1.2 课题的国内外研究现状 (2)

1.3 研究难点 (3)

1.4 本文主要研究内容 (3)

1.5 本文章节安排 (4)

第二章人体行为分析的基本理论与关键技术综述 (6)

2.1 概述 (6)

2.2 人体行为分析流程 (6)

2.3 人体目标特征提取常用算法 (7)

2.3.1 全局特征 (7)

2.3.2 局部关键点模型特征 (8)

2.3.3 融合特征 (10)

2.4 人体行为识别常用算法 (11)

2.4.1 基于模板匹配的人体行为识别方法 (11)

2.4.2基于状态空间的人体行为识别方法 (12)

2.4.3基于神经网络的人体行为识别方法 (13)

2.5 本章小结 (14)

第三章基于密集点轨迹的人体行为特征提取算法 (15)

3.1 算法概述 (15)

3.2 消除摄像机抖动预处理算法 (16)

3.2.1 SURF特征点提取 (16)

3.2.2基于多项式展开的高效光流提取 (18)

3.2.3匹配SURF特征点光流特征点估计单应性 (19)

3.3 密集特征点轨迹的提取 (20)

3.3.1 特征点密集采样 (21)

3.3.2密集点轨迹追踪 (21)

3.3.3轨迹形状描述子 (22)

3.4 基于密集点轨迹提取特征以及特征编码 (23)

3.4.1 HOG描述子 (23)

3.4.2 HOF描述子 (23)

3.4.3 MBH描述子 (24)

3.5 特征融合 (25)

3.6 本章小结 (26)

第四章基于字典对学习的人体行为识别算法 (27)

4.1 算法概述 (27)

4.2 字典学习算法 (27)

4.2.1 字典学习基本问题 (27)

4.2.2 字典学习稀疏约束条件 (28)

4.2.3 字典学习用于分类 (28)

4.3 字典对学习算法 (29)

4.3.1 字典对学习算法概述 (29)

4.3.2 字典对学习算法目标函数 (30)

4.3.3 字典对学习算法求解 (31)

4.3.4 利用重建误差分类 (32)

4.4 本章小结 (34)

第五章实验过程、结果展示与分析 (35)

5.1 实验数据集的准备和实验过程介绍 (35)

5.2 基于密集点轨迹特征提取算法的实验结果展示及其分析 (36)

5.3 基于字典对学习的行为识别算法的实验结果展示及其分析 (38)

5.4本章小结 (40)

第六章总结与展望 (41)

6.1 论文总结及结果分析 (41)

6.2 研究工作展望 (41)

致谢 (43)

参考文献 (44)

作者简介 (51)

攻读硕士学位期间研究成果 (51)

第一章绪论

1.1 课题的研究背景及意义

基于视频的人体行为分析的相关课题，是计算机视觉（CV, Computer Vision）研究的分支领域，同时也是“智慧城市”的这一全球战略的重要组成部分。同时，目前国际上的公共安全形势也不容乐观，极端恐怖组织“伊斯兰国”（IS, Islamic State）发起了一系列恐怖袭击，在世界各国制造了连环恶性事件，给全球造成了恐慌。分析监控视频中的人体行为并对其进行理解，对社会生活中公共场所发生的恐怖袭击、非法游行、抢劫等犯罪行为的实时检测，以及对跌倒、地铁越线等异常行为的检测，有着重大的意义。但是在场景纷繁复杂多样、人群拥挤的现实场景下，人体行为分析与理解面临着巨大挑战和许多亟待解决的问题，此课题作为硕士研究内容具有一定的实际应用价值的。

广义的是行为是指人类或者其他生物的动作模式，及其对周围环境或生物体的反馈方式。狭义的行为是指人体的简单或复杂动作模式，研究中一般为狭义的行为概念。针对于图像处理这一领域，主要是对具有人体行为动作的图片或者视频数据进行分析；针对于模式识别这一研究领域，主要是指识别人体动作行为模式类，并采用便于理解的、较高层次的自然语言对其进行分析，研究单一周期动作或者连续复杂动作发生的原因和目的。

对于人体行为分析最早期的研究，是由一位心理学家Johansson于1973进行第一次试验[1]。在实验中，他把一个受试者放置在黑暗环境之中，并在其主要关节点上附着可见光亮点，人体运动目标执行不同动作时，可以体现不同的运动变化模式，运动变化趋势可见。实验结果表明：通过分析可见光亮点序列，便可以识别出跑、走等这些人体行为基本动作类。

一般来说，人体行为分析的流程为：选用特定传感器（例如摄像机、微软公司KINECT传感器等），采集原始人体动作模式信息，进而结合人的动作特性，建立与之吻合的动作行为模型，在已经建立模型的基础上，提取出描述能力较强的动作行为特征，并对特征进一步进行学习和训练，以达成对人体动作行为的模式类识别的目的。本文旨在研究人体行为分析的主要流程以及在流程中所使用的关键技术，即人体运动目标特征提取和人体行为动作识别这两个主要研究过程。

伴随着计算机视觉领域的深入而迅速发展，人体行为分析这个领域已经有了近40余年的研究历史，智能监控中针对人体的运动视觉分析对社会公共安全领域，保证人群密集、混杂的公共场所中的人身、财产安全有着较为重大的意义。