基于人脸检测的人脸跟踪算法

输入 图象 双眼模板 匹配 搜索空间 约束 人脸区域灰度 分布标准化 人脸模板 匹配 MLP 分类 检测 结果
优化的搜索策略
图1
人脸检测算法流程图
使用的人脸模板大小为 20×20 象素， 由手工选取的样本标准化后 求平均构造而成，同时拷贝双眼部分作为双眼模板（如图 2） 。算法采 用相关系数作为匹配准则，依次使用双眼模板和人脸模板对待检测窗 图 2 使用的模板 口进行粗筛选。 使用了一个三层感知器（Three Layer Perceptron，简称 MLP）对通过模板匹配的区域进行 进一步的分类。MLP 采用 Sigmoid 非线性函数，374 个输入节点对应于 20×20 象素的图象窗 口（除去四角上的若干象素点） ；20 个隐层节点与输入层全连接；1 个输出节点， “1”代表“人 脸” ， “0”代表“非人脸” 。训练采用了带动量项的 BP 算法，使用了约 5000 个人脸样本（由 700 个人脸样本经旋转、拉长、缩放等变换生成）和“自举” [8][10]方法收集的约 5000 个非 人脸样本。 使用多尺度的方法搜索不同大小的人脸， 即在设定的范围内将输入图象以 1.2 的比率不断 重采样缩小，在缩小后的各个图象中采用搜索局部最优点的方法定位人脸。具体而言就是建 立一个侯选人脸列表，在搜索过程中将“人脸”窗口逐个加入，如果该窗口与列表中已有的 候选人脸相重叠，则保留二者中匹配程度高的。 为了提高检测速度，采用了间隔象素搜索的方法。如图 3 所示，首先隔行隔列选取窗口 进行模板匹配和 MLP 分类，若遇到“人脸”输出（图中阴影部分） ，则搜索周围未搜索过的 点，进行精确定位。由于模板匹配与 MLP 具有一定的泛化能力，真实的人脸周围若干象素也 会产生“人脸”输出，因而上述方法能够保证不发生 7 6 5 15 14 遗漏。 1 2 8 3 4 12 13 18
（1）
在下一帧中 R0 限定 范围内检测人脸
No
检测到 人脸 Yes 使用公式（2）计算 新的监视区域 Rn 在下一帧中 Rn 限定 范围内检测人脸
（2）
Yes
检测到 人脸 No
公式（2）中三个参数 α
β γ 限定了人脸在两帧之
在下一帧中 Rn 限定 范围内检测人脸
间位置和尺度的最大变化，它们与人脸的运动速度以及 人脸与采集设备的相对位置关系等因素有关，可以根据 实际的应用背景取经验值。
4.
实验结果
我们对各种典型图象序列进行了实验，取得了很好的效果。这里列举四组实验做说明， 其一是 Miss American 序列，其二是自动人脸识别系统使用的多姿态人脸序列，最后两组是作 为交互空间实验床的“智能房间”中拍摄的序列。实验平台是 PIII-933 微机，在上述四个序列 中，全部精确跟踪成功，处理速度在 5.9 帧/s 到 17.4 帧/s 之间。 图 5 是对序列 Miss American（共 150 帧）跟踪的部分结果。实验设定初始监视区域的位 置范围为整个图象、 尺度范围为 32~48 象素， 跟踪过程中取参数 α = 0.5
R n = f ( F n −1 , F n − 2 ,..., F n − p )
由于人体运动具有随意性 （如突然改变运动方向） ， 因而 在对人物行为缺乏高层理解的前提下，难以根据已有的 人脸运动轨迹预测新的监视区域。比较现实的方法是采 用最弱的帧间约束条件，仅使用前一帧的跟踪结果，根 据实际应用的需要限定人脸在两帧间的最大变化，从而 求解新的监视区域。从正面人脸图象的角度来看，人脸 的运动主要表现为平移与尺度变化两种形式，因此求解 监视区域的公式（1）可以写为如下形式：
9 10 11 16 17 19 20 21 22 23
2
3.
人脸跟踪算法
跟踪算法将人脸的检测与跟踪在同一框架下考虑，不区分检测帧与跟踪帧，这样能保证 对新出现的人脸及时进行检测和定位。 3.1. 帧间约束 我们首先引入 “监视区域”的概念。所谓“监视区域”是指某个人脸在某帧中可能的位
置和尺度范围，用一个六元组表示： R = ( x min , x max , y min , y max , s min , s max ) ，其中各元素依次 描述了人脸中心位置在 x、y 方向的范围以及人脸尺度的范围。这里我们忽略了人脸形状的变 化，即将人脸区域近似为一个正方形，用一个三元组表示： F = ( xcenter , x center , s face ) ，其中各 元素依次描述了人脸的中心位置和大小。 跟踪算法根据已有的人脸定位结果，预测新一帧中各个人脸对应的监视区域并在其约束 的范围内检测人脸。对于第 n 帧图象，根据前 p 帧的跟踪结果求解新的监视区域，可以表示 为如下函数：
n x n −1 x min −α n center n −1 x max xcenter +α y n y n −1 − β −1 min = center + s n face ⋅ n −1 n y center y max + β n n −1 −γ s min s face +γ s n s n −1 max face
基于人脸检测的人脸跟踪算法1
梁路宏 艾海舟 （清华大学计算机科学与技术系，智能技术与系统国家重点实验室，北京 100084） 摘要：本文提出了一种基于人脸检测技术的人脸跟踪算法。该算法利用前一帧的人脸检测结 果预测当前帧中人脸可能的尺度与位置范围，在限定的范围内采用模板匹配与人工神经网分 类的方法定位人脸，从而实现快速而可靠的人脸跟踪。由于使用了人脸检测技术，该方法可 以自动定位初始人脸。实验表明该方法在具有复杂、动态变化背景的图象序列中是很有效的， 速度为 5-11Hz，可用于实时性系统。 关键词：人脸跟踪，人脸检测，模板匹配，人工神经网 中图分类号：TP391.4 人脸跟踪（Face Tracking）是指在输入图象序列中确定某个人脸的运动轨迹及大小变化的 过程。人脸跟踪技术具有重要的潜在应用价值，它作为自动人脸识别、基于模型的编码、视 频检索、视觉监测等领域中的一项关键技术，受到研究者的普遍重视。 文献中的人脸跟踪方法主要有：基于肤色信息的方法[1]、基于运动信息的方法[2]、基于 运动模型的方法[3]、基于局部器官特征的方法[4]等。这些方法的共同出发点是利用相关的启 发性知识（如根据肤色和运动信息限定搜索空间）达到快速跟踪的目的，通常只使用了人脸 的一小部分或局部器官的分布信息，在一些典型的约束环境下（如背景简单静止的视频、工 作台前的人脸或头肩部人脸视频等）可以取得很好的人脸跟踪效果。需要说明的是这些方法 一般建立在人脸初始位置大致已知的基础上，需要使用其它方法解决起始帧中人脸的检测问 题。当我们考虑较大范围的复杂动态变化背景下的人脸跟踪问题（如视觉监视问题）时，由 于存在类似肤色的区域或其它运动的目标，单靠启发性知识是很不可靠的。针对这一问题， 我们以人脸检测技术为基础，利用图象序列前后帧中人脸在位置和大小上存在的关联性限定 搜索空间，实现快速可靠的人脸跟踪。 人脸检测（Face Detection）是指在给定的图片中确定人脸的位置及大小的过程。文献中 的方法主要有：基于启发式规则的方法[5]、基于特征脸的方法[6]、基于聚类学习的方法[7]、 基于人工神经网的方法[8]以及基于支持矢量机的方法[9]等。人脸检测技术可以用来搜索图象 序列中人脸的初始位置，也可用于在跟踪过程中定位人脸。但由于这些方法的计算复杂度比 较高，因而难以满足人脸跟踪的实时性要求。 本文针对复杂动态变化背景下的人脸跟踪问题，特别是非头肩人脸序列的人脸跟踪问题， 提出了一种基于人脸检测技术的人脸跟踪算法。该算法将人脸跟踪问题转化为当前帧中由前 一帧结果提供约束范围的人脸检测问题，采用基于模板匹配与人工神经网的人脸检测技术[10] 定位人脸，从而实现了人脸的跟踪。由于对跟踪问题进行了合理的约束，并且对检测算法进 行了优化，速度为 5-11Hz，可用于实时性系统。实验表明了该算法的有效性和鲁棒性。
1
1
的，需要检测并跟踪正面的人脸，以便进一步确定其身份。该房间布置了多个摄象机，包括 安置在屋顶面向整个房间的双摄象机，其中一个为广角镜头监视整个房间，另一个是变焦镜 头朝着门的方向用于检测并跟踪人脸，以便确定其身份。每当有人进入该房间时，系统会自 动发现人脸并进行跟踪。因此我们面对的人脸跟踪问题的典型场景是由远走近的人，这种情 况在需要安全出入控制的视觉监视场合是普遍存在的。与人脸仅在小范围内运动的头肩部人 脸序列不同，此类图象序列中人脸的尺度、位置变化较大，其运动具有一定的随意性且速度 较快，因而基于运动模型的方法难以适用；另一方面，由于人脸的背景较为复杂（如背景可 能是运动的或存在类肤色的区域） ， 因此基于肤色、 运动等简单特征的跟踪方法也是不适用的。
Yes
检测到 人脸 No
Yes
漏检超时 No
33.2.Fra bibliotek单人脸的跟踪 单人脸的跟踪问题即假设序列中每一帧中只出现一个人脸。设定初始监视区域为 R0 ，跟
踪算法如图 4 所示。算法首先在各帧的监视区域内检测人脸，若检测到人脸则根据其定位结 果计算下一帧中新的监视区域，如此处理各帧。跟踪中若检测失败，则保持监视区域不变并 在后续帧中继续检测，以防止由于偶然的漏检造成的跟踪失败。若漏检帧超过一定数量（超 时） ，则认为人脸已经消失，算法重新开始，在初始监视区域中检测后续帧中可能出现的新的 人脸。上述过程直到整个视频序列结束停止（为简明起见，图 4 中未画出序列结束的退出流 程） 。 3.3. 多人脸的跟踪 对于多人脸的跟踪问题，采用了与单人脸跟踪相似的方法，对每个新出现的人脸分别按 照图 3 所示的流程进行跟踪。对于可能出现的监视区域相互重叠的问题，采用以下两个步骤 进行处理： （1）对各个监视区域对应的人脸检测结果进行重叠判别，排除同一人脸被多次检 测到的情况； （2）根据最近距离原则，将在两帧间尺度和空间距离较近的检测结果归为同一 人脸，以确定前后帧各个人脸的对应关系。由于视频中人物运动的复杂性，步骤（2）仅在图 象中人物间距相对于人物位置变化较大的情况下有效。需要指出的是，人物的对应关系问题 具有相当的难度，在对人物行为缺乏高层理解的情况下，即使对人脸的运动轨迹进行分析也 不一定能够保证得到正确的对应关系。笔者认为解决对应关系问题的根本途径是利用人物本 身的信息，即采用身份验证技术辨识不同的人物，但这已超出本文的探讨范围，在此不再讨 论。