智能教室中基于视觉的人体姿态估计

上海交通大学工学硕士学位论文 .................................................................................................................... I 摘要.................................................................................................................................................................. I ABSTRACT ................................................................................................................................................... I II 第一章绪论.. (1)

1.1E-L EARNING与标准自然教室（SNC） (1)

1.2人体姿态估计的研究背景和应用前景 (3)

1.2.1 人体姿态估计的研究背景 (3)

1.2.2 人体姿态估计技术的应用前景 (6)

1.3论文的研究内容、意义 (7)

1.4论文的和主要成果 (8)

1.4论文的组成结构 (8)

1.5本章小结 (9)

第二章人体姿态估计方法综述 (10)

2.1人体运动分析过程划分 (10)

2.2人像-背景分离方法 (11)

2.2.1 混合高斯模型背景消除 (11)

2.2.2 基于深度信息的背景消除 (12)

2.3基于人像的人体姿态估计方法 (12)

2.3.1 无模型方法 (13)

2.3.2 间接模型方法 (13)

2.3.3 直接模型方法 (13)

2.3本章小结 (15)

第三章基于双目视觉的人体姿态估计方法 (16)

3.1双目视觉基础 (16)

3.1.1 对极几何 (16)

3.1.2 立体定标 (18)

3.1.3 立体校正 (20)

3.2视差与深度计算 (21)

3.2.1 双目视差 (21)

3.2.2 三角测量 (22)

3.2.2 绝对误差累计算法以及利用中值滤波和表面约束的改进 (23)

3.3结合深度信息以及A CTIVE C ONTOUR的人像轮廓提取方法 (25)

3.4基于轮廓匹配的人体姿态估计 (27)

3.4.1 基于Hu不变矩的人体轮廓匹配 (28)

3.5基于P ICTORIAL S TRUCTURE模型的人体姿态估计 (29)

3.5.1 Pictorial Structure模型描述 (29)

3.5.2 人体姿态估计问题的PS构造 (30)

3.6本章小结 (33)

第四章实验设计与结果分析 (34)

4.1视差计算算法的实验 (34)

4.1.1 实验数据 (34)

4.1.2 实验结果 (35)

4.2对人像提取算法的实验 (38)

4.2.1 实验数据 (38)

4.2.2 普通环境下人像轮廓提取算法测试 (39)

4.3基于轮廓匹配的姿态估计实验 (42)

4.3.1 实验数据 (42)

4.3.2 Hu矩轮廓特征计算 (43)

4.3.3 基于轮廓匹配的姿态估计实验及其结果 (44)

4.4基于P ICTORIAL S TRUCTURE模型的人体姿态估计实验 (45)

4.4.1 实验数据 (45)

4.4.2 人体模型学习 (46)

4.4.3 人体姿态估计结果 (47)

4.5本章小结 (48)

第五章人体姿态估计原型系统设计与实现 (49)

5.1系统软、硬件环境 (49)

5.2系统设计框架 (50)

5.2.1 系统的功能设计 (50)

5.2.2 程序流程框图与主要逻辑架构 (51)

5.3系统实现 (53)

5.3.1 基础类型库StereoMFC的实现 (53)

5.3.2 从FlyCapture到OpenCV的转换 (54)

5.4系统运行结果 (54)

5.5本章小结 (56)

第六章总结与展望 (57)

6.1主要结论 (57)

6.2研究展望 (58)

参考文献 (59)

程序源代码（附录1） (62)

致谢 (64)

攻读硕士学位期间已发表的论文、申请的专利和参与项目 (65)

第一章绪论

随着计算机技术的发展与模式识别的深入研究，人们已经能够较好地解决一些十几年前无法处理的图像处理和视觉识别难题。尤其是如人脸识别、运动人像跟踪等问题，都已经有了比较成熟的算法。现在，如何将这些计算机视觉的方法应用到日常生活中，已经成为了一块热门的工程研究领域。另一方面，上海交通大学E-Learning 实验室结合智能空间与E-Learning两个概念，提出了称为“标准自然教室”（Standard Natural Classroom, SNC）的创新智能教室框架。SNC中应用了大量的人工智能、计算机视觉的方法，利用计算机技术，为教师和学生在SNC中提供人性化的教学体验[1]。本文描述了作者在SNC中对基于视觉的人体姿态识别进行的研究和应用工作。

1.1 E-Learning与标准自然教室（SNC）

面对着信息爆炸的时代，每天都有无数的新知识出现，人们对学习知识的渴望也愈来愈高。传统的教育模式已经很难满足人们越来越频繁的学习需求。

为了解决人们“随时、随地学习”的需求，E-Learning的概念被提出，并迅速被全球所接受。E-Learning是指通过因特网或其他数字化内容进行学习与教学的活动。它充分利用现代信息技术所提供的、具有全新沟通机制与丰富资源的学习环境，实现一种全新的学习方式；这种学习方式将改变传统教学中教师的作用和师生之间的关系，从而根本改变教学结构性质[1]。E-Learning正在逐步被实施并完善，成为传统教育模式的一种很好的补充形式。

E-Learning具备以下五个特点: 宽带、无线、实时、交互和多媒体。此外，经过多年的教学研究和实践，我们认为基于网络的教学应回归传统的实时课堂教学。基于网络的教学课堂应尽可能多的提供可靠的、交互式的实时多媒体教学服务，以确保教师能够更便捷地运用多种教学媒体，学习者能更容易地获取数字化教学内容[2]。

与E-Learning相辅相成的是智能空间技术。智能空间（Smart Space）是一个嵌入了计算、信息设备和多模态的传感装置的工作空间，其目的是使用户能非常方便地访问其中的信息、获得计算机的服务，从而高效地进行单独工作和与他人协同工作。由于智能空间是一类集成化的普适计算系统，因此常被用作普适计算研究的实验床。同