改进的主动形状模型方法在人脸特征点定位中的应用

（１．上海交通大学图像处理与模式识别研究所，上海２００２４０；２．华夏银行上海分行２，上海２００１２ ｏ）
摘要：针对主动形状模型（ＡＳＭ）已成功应用于人脸特征点定位提出了两点改进方法．其一，首
先用Ａｄａｂｏｏｓｔ方法在图像中检测到人脸区域，然后在人脸区域中检测到瞳孔的位置，为ＡｓＭ中
的点分布模型粗略地定位好初始位置；其二，将原始ＡＳＭ方法中的关键点的ｌＤ纹理模型改进为
目前，在自动人脸识别系统中关键点定位技术 属于没有解决好的难题，特别在成像条件中的光照、 表情等变化比较大的情况下，关键点定位显得更困 难．因为关键点定位偏差较大将会导致“鬼脸”的现 象发生，所以人脸的关键点定位非常重要．
现有的人脸定位方法比较多“’２ ｏ，但这些方法
只能给出很少的特征点，且不太鲁棒．ｃｏ。ｔｅｓ等。３１ 提出的主动形状模型（ＡＳＭ）可以定位出比较多的 人脸特征点．但在ＡｓＭ方法中的点分布模型对其 在人脸图像中的初始位置比较敏感，如果其初始位 置远离实际的特征点位置，ＡｓＭ方法将难以搜索到 正确的特征点位置．另外，原始的ＡｓＭ方法在搜索
３实验结果
本文采用ＳＪＴｕ人脸库中的人脸图像验证改进 方法的有效性．首先在ＳＪＴｕ人脸库中随机选取 １００幅正面人脸图像作为训练集，然后在训练集的 每一幅人脸图像上手工标注出眼眉、眼睛、鼻子、嘴 巴和下巴轮廓等特征点，共有６０个标注点，建立平
第８期
戈新良，等：改进的主动彤状模型方法在人脸特征点定位中的应用
万方数据
第８期
戈新良，等：改进的主动形状模型方法在人脸特征点定位中的应用
特征点新位置时的精度也不高，而且在搜索过程中， 容易陷入局部最小值．针对ＡｓＭ方法中的缺点，本 文对此进行了以下改进．先用Ａｄａｂｏｏｓｔ方法在图 像中检测出人脸区域，然后在检测到的人脸区域中 进行瞳孔检测，找到两瞳孔的位置，再以两瞳孔的位 置、之间的距离以及两瞳孔之间连线的角度对点分 布模型进行适当的仿射变换，使其与实际特征点组 成的模型最为接近；把关键点的１Ｄ纹理模型改进 成基于核概率密度估计的２Ｄ纹理模型．这样，既提 高特征点定位的精度，又提高定位的速度．
期望搜索望蓄 携带足够的信息来描述该点的局部信息． 图３ １Ｄ局部纹理模型 Ｆ培．３ １Ｄ ｌｏｃａｌｔｅｘｔｕｒｅ ｍ。ｄｅ】
２．２ ２Ｄ纹理模型 为了解决上述由于１Ｄ纹理模型出现的问题，
提出一种新的建立特征点局部模型的方法，即对每 个特征点建立一个２Ｄ局部纹理模型（见图４）．以该 特征点为中心的一个边长为ｍ×”的矩形区域，计 算这Ｎ幅训练图像中此特征点对应的矩形区域内 对Ｉ！苴像素的灰度值的均值，得到该特征点的２Ｄ局 部纹理最．对于ｎ个特征点就可以汁算得到ｎ个２Ｄ 局部纹理．于是，可建立２Ｄ局部纹理瓦的灰度分 布的核概率密度估计公式“：
ｃ：＝ｌ－／／∑娄＾ｔ川（《字字＿】＿｜） ㈣（１。，）
期望搜索
图４ ２Ｄ局部纹理模型
Ｆ１９．４ ２１）ｌ（】ｃａｌ ｔｃｘｔｕｒｅ Ｉｎｏｄ。
因此，在人脸训练集中，利用式（９）可以建立ｎ 个特征点处所对应矩形区域的灰度分布
｛ｑ“’）一ａ．．－口在测试过程中，测试人脸图像所对应 的区域灰度分布为｛ｐ“’）。，：，ｍ这样，在搜索的过
ＧＥＸｉｎ￡ｉ口ｎ９１”，ｙＡＮＧ，如２， ＺＨＡＮＧＴｉ口Ｈ一而口０１， ＤＵ（冼＃ｎ一＾“口‘ （１．Ｉｎｓｔ．。ｆ Ｐａｔｔｅｒｎ Ｒｅｃｏｇ ｎｉｔｌｏｎ＆Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ｓｈａｎｇｈａｌ Ｊｌａｏｔｏｎｇ Ｕｎｉｖ＋
ｓｈａｎ曲ａｉ ２００２４０，Ｃｈｉｎａ；２．Ｓｈａｎｇｈａｉ Ｂｒａｎｃｈ ｏｆ ｔｈｅ Ｈｕａｘｉａ Ｂａｎ０，ｓｈａｎｇｈａｌ ｚ００１２０，
均形状模型．为了能有效验证改进方法的有效性，采 用留一法．即在训练集中，先选择９９幅人脸图像用 于建立形状模型，留下的ｌ幅图像用于测试．这样， 整个训练集将会进行１００次同样的操作．
收稿日期：２００６一０８—２８ 基盒项目：上海市科委资助项目（０３Ｄｚｌ４０１ ５）
作者简舟：戈新良（１９７５－），男，河北沧州人，博士生，丰要从事图像处理、模式识别和Ａ脸识别研究，Ｅ－ｍａｌｌ：砌ｎ１１ａｎ器ｇｅ＠ｇ…１．ｃｏ弛
杨杰（１９６４一），男．教授，博士生导师．电话（Ｔｅｌ｜）：０２１—３４２０４０３３；Ｅ＿ｍａｌｌ；ｊｉｅｙａ“ｇ＠ｑｔｕ．ｅｄｕ ｃｎ．
征值对应的特征向量，并能够很好地近似真实形状，
ｒ取Ｏ．９．
２改进方法
２．１平均形状模型初始位置确定 在人脸图像中，由于瞳孔是比较明显的人脸特
征之一，故使用瞳孔的位置来确定平均形状模型的 初始位置．首先采用Ａｄａｂ００ｓｔ“１方法检测图像中的 人脸区域，考虑到瞳孔的灰度值相对于周围像素比 较低，因此，用运动数学形态学的方法检测灰度谷区 域；然后在人脸区域里提取谷区域，并提取瞳孔的候 选区域；最后用霍夫变换、分离滤波器和模板匹配方 法提取瞳孔‘…．在ＳＪＴｕ人脸库中随机选取２００幅 正面人脸图像，正确率达到９８．５％，部分实验结果 如图２所示．
人脸形状ｙ在这￡个形状变化子空间中可表示为
ｌ，一；＋妒矗ｔ
（７）
式中：币一（≠。，屯，丸，…，屯）７，且Ａ。≥Ａ。≥…≥＾。，６一
（６．，６。，…，６，）。为ｙ相对于；在≠。，噍，…，虫方向
上的变化，且６：取值的约束条件为６，ｌ≤３√＾。，而￡
的取值由下式确定：
÷∑＾。≥ｒ
（８）
”‘ｔ ｌ
用前￡个特征值对应的特征向量代替所有的特
程中可利用两者的灰度分布的相似性度量，确定最
优的特征点位置．一般地，Ｂｈａｔｔａｃｈａｒｙｙａ系数是建
立两概率分布相似度量的有效工具．因此，训练特征
点处的灰度分布和测试人脸图像所对应灰度分布的
Ｂｈａｔｔａｃｈａｒｙｙａ系数可定义为
０
正∥，∥］一乏：以“’∥
（１１）
则相似性度量函数可定义为
Ｄ（ｐ“’，ｑ札’）一√ｌ 虻ｐ“’，ｑ“’］ （１２） 式（１２）称之为Ｂｈａｔｔａｃｈａｒｙｙａ距离．在提取人 脸特征点过程中，使该距离达到最小值的２Ｄ纹理 模型的中心位置为特征点的新位置，即人脸特征点 的精确位置．最后使用多分辨率搜索方法为平均形 状模型在人脸图像中搜索它的实例．一般来说，影响 计算时间因素有：搜索数据的大小和搜索空间．多分 辨率图像一般用从低分辨率到高分辩率的方法来降 低搜索数据大小．首先从最低分辨率（最小尺寸）搜 索，然后到高分辩率搜索，使得搜索结果越来越精 确．本文将人脸图像从最低分辨率到高分辨率划分 为４个等级．
Ｍ
∥’“蚤＾（『Ｉ，Ｉ字陋Ｉｌ “＾卜曲 （９）
式中：６（￡，）：Ｒ２一｛ｌ，２，…，Ｑ），其中Ｑ为灰度量化 等级（一般取Ｑ一１６，３２）；ｚ为矩形区域的中心（ｚ，
ｙ）；Ｍ为矩形区域的总像素数；＾一√Ⅲ２＋月２为矩形
万方数据
区域的大小；＾（·）为高斯核函数；ｄ（·）为Ｋｒｏｎｅ ｃｋｅｒ Ｄｅｌｔａ函数；ｃ为归一化常数，即
ｚ｛一（ｚ ｚ。，ｙ｝。，ｚ：１，＿¨，…，ｚ＊，ｙ＊，…，ｚｍ—ｌ，，ｕｌ一１）７
（１）
整个训ｌ练集将会形成～个向量组：
Ｘ一（工１，ｚ２，…，ｚ：行互相配准，得
到新的形状样本集：
ｘｘ一｛Ⅻ，）
（３）
式中：
Ⅻ，一（Ⅲｍ，ｗ：。，ｍ：ｌ，州。ｌ，…， 口。１，奶，。１）ｉ一１，２，…，Ｎ
Ａｂｓｔｒａｃｔ：Ａｃｔｉｖｅ ｓｈａｐｅ ｍｏｄｅｌ（ＡＳＭ）ｗｈｉｃｈ ｈａｓ ｂｅｅｎ ａｐｐｌｉｅｄ ｓｕｃｃｅｓｓｆｕｌｌｙ ｉｎ ｔｈｅ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｆａｃｅ ｆｅａｔｕｒｅｓ １。ｃａｔｉ。ｎ ｗａｓ ｉｍｐｒｏｖｅｄ ｉｎ ｔｗｏ ａｓｐｅｃｔｓ． Ｆ１ｒｓｔ，ｔｈｅ ｆａｃｅ ｒｅｇｉｏｎ ｉｓ ｄｅｔｅｃｔｅｄ ｂｙ Ａｄａｂｏｏｓｔ ａｐｐｒｏａｃｈ ｌｎ ｔｈｅ ｉｍａ— ｇｅｓ，ａｎｄ ｔｈｅｎ ｔｈｅ ｐｏｓｉｔｉｏｎ ｏｆ ｐｕｐｉｉｓ ｗｈｉｃｈ ｐｒｏｖｉｄｅ ｒｏｕｇｈＩｙ ｔｈｅ ｉｎｉｔｉａｌｉｚａｔｉｏｎ ｐｏｓｉｔｉ。ｎ ｆｏｒ ｐｏｉｎｔ ｄｉｓｔｎｂｕｔｉｏｎ ｍｏｄｅｌ ｏｆ ＡＳＭ ｉｓ ｄｅｔｅｃｔｅｄ ｉｎ ｆａｃｅ ｒｅｇｉｏｎ．Ｓｅｃｏｎｄ，１Ｄ ｔｅｘｔｕｒｅ ｍｏｄｅｌ ｏｆ ｔｈｅ ｏｒｉｇｉｎａｌ ＡＳＭ ｉｓ ｅｘｔｅｎ“ｄ ｔｏ ２Ｄ ｔｅｘｔｕｒｅ ｍｏｄｅｌ ｗｈｉｃｈ ｉｓ ｂａｓｅｄ ｏｎ ｔｈｅ ｋｅｒｎｅｌ ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｌｔｙ ｅｓｔｉｍａｔｉｏｎ ｍｏｄｅｌ． Ｔｈｉｓ ｉｍｐｒｏｖｅｄ ｍｅｔｈ（）ｄ ｗａｓ ｅｖａｌｕａｔｅｄ ｏｎ ＳＪＴＵ ｆａｃｅ ｄａｔａｂａｓｅ，ａｎｄ ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｉｍｐｒｏｖｅｄ ＡＳＭ ｉｍｐｒｏｖｅｓ ｔｈｅ ａｃｃｕｒａｃｙ ｏｆ ｆａｃｅ ｆｅａｔｕｒｅｓ １０ｃａｔｉｏｎ． Ｋｅｙ ｗｏｒｄｓ：ａｃｔｉｖｅ ｓｈａｐｅ ｍｏｄｅｌ；ｐｕ ｐｌｌ ｄｅｔｅｃｔｉｏ“；ｋｅｒｎｅｌ ｐｒｏｂａｂｎｌｔｙ ｄｅｎｓｊｔｙ ｅｓｔｉｍａｔｌｏｎ；ｆａｃｅ ｄｅｔｅｃｔｌｏｎ
基于核概率密度估计模型的２Ｄ纹理模型．改进的方法在ＳＪＴｕ人脸数据库中进行验证，结果表
明，改进的ＡｓＭ方法提高了特征点定位的精度．
关键词：主动形状模型；瞳孔检测；核概率密度估计；人脸检测
中图分类号：ＴＰ ３９１
文献标识码：Ａ
ＡｐｐｌｉｃａｔｉＯｎ ｏｆ ａｎ ｌｍｐｒＯＶｅｄ ＡｃｔｉＶｅ Ｓｈａｐｅ Ｍ０ｄｅｌ Ｍｅｔｈｏｄ ｉｎ ＦａＣｅ ＦｅａｔＵｒｅＳ ＬＯｃａｔｉＯｎ
万方数据
配准后的平均形状为
～
；一寺∑Ｈ。
（４）
４’ｔ＝１
训练集中每一个形状和平均形状的偏差为
△ｘ．一Ｈ。一ｊ
（５）
计算２ｎ×２ｎ的协方差矩阵为
Ｎ
ｓ一寺∑觇△ｘ？
（６）
‘’Ｉ＝ｌ
设ｓ的非零特征值为＾。和对应的特征向量为