人脸检测与跟踪算法的研究

1
西安科技大学硕士学位论文
人脸识别
输入图像
人脸检测
人脸跟踪
表情识别
性别识别
图 1.1 人脸检测与跟踪系统框图
1.2 国内外研究进展与现状
人脸检测最初来源于人脸识别，人脸识别的研究最早追溯到二十世纪六七十年代， 它是最具潜力的计算机生物特征识别方式。近年来，随着安全检查和电子商务等应用需 求的增加，以及人脸识别系统和商业产品的出现，人脸检测已经成为一个研究热点。国 内外研究人脸检测算法的机构很多，其中著名的有美国麻省理工学院（MIT）的媒体实 验室和人工智能实验室，Illinois 大学的 Backman 研究所 ，卡内基梅隆大学（CMU）的 机器人研究所等；国内的清华大学、北京工业大学、南京理工大学、中国科学院自动化 研究所和中国科学院计算技术研究所等都有人员从事人脸检测算法的相关研究。 MPEG-7 标准组织建立了人脸识别草案小组，人脸检测算法也是一项征集的内容。随着 人脸检测研究的深入，国际上发表的相关论文数量也大幅度增加，EI 能够检索到的相关 文献多达数千篇，每年国际会议上关于人脸检测的专题也屡屡可见。IEEE 的 FG（IEEE International Conference on Automatic Face and Gesture Recognition） 、ICPR（International Conference Pattern Recognition） 、CVPR（ Conference on Computer Vision and Pattern Recognition） 、ICIP（International Conference on Image Processing）等重要国际会议上每 年都会有大量关于人脸检测的论文。Viola[2]等人采用 AdaBoost 算法构建级联分类器是 目前国外较为成功的人脸检测系统。 人脸跟踪算法的研究， 最早是 1993 年 Azarbayejani 和 Pentland 发表的论文 《Recursive estimation of structure and motion using the relative orientation constraint 》 ， 他们提出了一种 基于小波的递归人脸特征估计算法[3]。国外比较著名的有美国 MIT 的媒体实验室及 AI 实验室和 CMU 的人机接口研究室， 主要解决人脸跟踪系统的实时性和健壮性。 美国 Intel 公司基于这些机构的研究成果开发了 Camshift（Continuously Adaptive Mean Shift ，连续 自适应均值移动）系统，通过人脸的运动来控制计算机虚拟场景中三维方向的运动。国 内关于人脸跟踪的研究是从近几年开始的。清华大学的艾海舟和智能技术与系统国家重 点实验室做了关于实际环境的测试[43]： 采用差分图像的方法对办公桌前的人脸进行定位 跟踪，每次连续运行五分钟，共计 2610 帧 64 64 大小的图像或 1123 帧 128 128 大小 的图像，跟踪结果正确率大于 97%。哈尔滨工业大学、上海交通大学、北京理工大学、
Key words：Face Detection Face Tracking Color Detection AdaBoost CamShift Thesis ：Theory Research
1 绪论
1 绪论
1.1 研究的背景及意义
近年来，随着信息技术的发展以及计算机软硬件性能的飞速提升，更加高效和友好 的人机交互技术 HCI（Human Computer Interaction）被不断地提出并应用在人类的日常 生活中。这些技术的应用不再依赖键盘、鼠标、显示器等传统的设备，开始朝着多模态 人机交互的方向发展。多模态人机交互通过模拟人类的视觉、听觉、触觉和嗅觉等交流 方式，综合图像、声音、文字等手段，达到与计算机进行交流的目的。其中视觉交流最 为方便，也最易于接受。同时，随着图像处理设备的性价比的提高，基于图像处理的人 机交互技术已经成为当前研究的热点。 随着人机交互技术的发展以及视频监控、 可视电话、 视频电视会议技术的广泛应用， 人脸检测与跟踪作为计算机视觉及相关领域中的关键技术受到了普遍重视，成为一项非 常活跃的研究课题。人脸是人体的重要组成部分，它所包含的丰富的视觉信息是人类相 互判别、认识和记忆的主要标志。通过对人脸的观察，可以自然地、友好地了解一个人 的很多信息，如性别、种族、年龄、情感和性格等。对人脸的处理和分析不仅在计算机 视觉中占有重要地位，而且在哲学、生物学、心理学等领域也同样有重要的研究意义。 例如人脸识别、口形识别、表情识别和姿态估计等，都是建立在人脸检测与跟踪的基础 之上。 人脸检测（Face Detection）是指在静态图像或视频序列中检测是否存在人脸，如果 存在，则给出人脸的数量、位置等参数。根据应用场合的不同，人脸检测分为可控背景 下的人脸检测和任意背景下的人脸检测。例如计算机前的人脸检测就是可控背景下的人 脸检测，而海关、机场等入口处的人脸检测则属于任意背景下的人脸检测[1]。 人脸跟踪（Face Tracking）是要在视频序列中确定出各帧间人脸的对应关系，并在 后续帧中跟踪出已定位人脸的位置、大小和方向等信息。人脸跟踪主要应用于连续探测 和识别人脸的场所，如计算机前，视频会议等[1]。 理论上，一个完整的人脸检测与跟踪系统通常包括人脸检测、人脸跟踪等。有的系 统还可能包括对人脸高层信息的分析，如表情识别、性别识别、人脸识别等。人脸检测 与跟踪系统框图如图 1.1 所示。
2
1 绪论
中国科学院自动化研究所等都致力于人脸跟踪技术的研究和应用的开发。 FG、ICIP、 CVPR、RATFG-RTS 等重要国际会议上发表了大量关于人脸跟踪算法的文章，但在应用 中能真正实现的并不多，没能提供较为系统的应用环境下的整体实现。
西安科技大学 硕士学位论文 人脸检测与跟踪算法的研究 姓名：闫珍 申请学位级别：硕士 专业：信号与信息处理 指导教师：@ 2011
论文题目：人脸检测与跟踪算法的研究 专 业：信号与信息处理 （签名） （签名）
硕 士 生：闫珍 指导教师：吴延海
摘
要
人脸检测与跟踪是人脸信息分析中的基础和关键技术之一， 在视频监控、 人机交互、 生物特征识别、基于内容的图像检索、图像编码等方面都有着广泛的应用前景。 在人脸检测方面，本文重点研究了基于肤色的人脸检测算法和基于 AdaBoost 的人 脸检测算法，受积分图像的启发，利用肤色二值化积分图实现检测窗口中肤色像素比例 的快速计算，将肤色信息引入 AdaBoost 人脸检测算法中，对检测窗口将进行初选，有 效地减少了彩色图像中的误检测现象。 在人脸跟踪方面，本文深入研究了均值移动算法和 CamShift 算法，CamShift 算法 是以均值移动算法为核心的改进算法，该算法不受跟踪目标形状和大小的影响，具有很 强的抗亮度变化和噪声干扰的能力，而且 CPU 的占用率非常低，适合作为人机交互界 面的接口，但抗肤色背景干扰和目标遮挡的能力较差。针对以上缺点本文提出了更新跟 踪目标和引入辅助信息的方法对 CamShift 算法进行改进，结合 AdaBoost 人脸检测算法 实现了跟踪目标的自动初始化，通过构建多个 CamShift 跟踪器，实现了多人脸的跟踪。 最后，本文在 VC++ 6.0 应用环境下，开发了多人脸自动检测与跟踪的测试系统， 实验结果证明改进后的人脸检测与跟踪算法具有较强的实时性和鲁棒性。
关 键 词：人脸检测；人脸跟踪；肤色检测；AdaBoost 算法；CamShift 算法 研究类型：理论研究
Subject
： Research on Face Detection and Tracking

Specialty ： Signal and Information Processing Name ： Yan Zhen (signature) (signature)
Instructor：Wu Yanhai
ABSTRACT
Face detection and tracking is a foundational and key technology in the facial analysis, thus can be applied in many fields, such as video surveillance, human-computer interaction, biometrics, content-based image retrieval, image coding, etc. Regarding the face detection, this paper mainly focuses on color-based face detection algorithm and AdaBoost face detection algorithm. Inspired by the integral image, the shin color binaryzation integral image is used to calculate the skin pixel ratio in detecting window rapidly, and skin information is introduced into AdaBoost face detection algorithm to reduce the rate of error detection in color images. Regarding the face tracking, the Mean Shift tracking algorithm and the CamShift algorithm are investigated in detail. The CamShift algorithm is an improved algorithm based on Mean-Shift. Since the algorithm can robustly track target of different shape and size with the immunity against illuminant fluctuation and noise interference, and has low CPU load, it can be served as an efficient human-computer interface.However, CamShift performs unsatisfactorily when flesh-like interference and occlusion occur. The update of tracking object and accessory information are used to enhance the robustness of CamShift, and face detection based on AdaBoost is used to initiate the searching window automatically. Multiple CamShift trackers are used to realize multiple faces tracking. Finally on the application environment based on VC++ 6.0, the experimental system of automatic multi-faces detection and tracking is developed.Experimental result has testified that the improved algorithm has stronger robustness and efficiency.