人脸姿态的确定

计算机科学与技术03级2班梁悦敏

张地讲师

（韶关学院信息工程学院，广东韶关 512005）

摘要：对于给定一张人脸, 通过测量人脸上特征点的几何参数, 来计算该人脸在垂直于成像平面的仰（俯）角和平行于成像平面的转角, 并对影响人脸姿态确定的各种因素进行分析。本文采用人手选取三个特征点，包括左外眼角、右外眼角、鼻尖等特征点来构建一个特征三角形来确定人脸姿态。具体做法是，首先确定正面人脸三个特征点，计算两眼角的距离和鼻尖到两外眼角连线的垂直距离等参数。然后根据这些正面人脸参数与待确定姿态的人脸参数的关系来确定人脸姿态。实验证明本文算法在特征点选取较准确时能得到较满意的结果。关键词：特征三角形；姿态估计；特征点

1 引言

人脸作为人类最熟悉又最富多变性的一个组成部分，姿态的变化同时会使表述更加生动和形象，其复杂的结构能提供非常丰富的信息，这使得人脸姿态的确定在许多人脸处理应用中成为人脸识别、人脸检测、人脸跟踪、人脸表情分析等领域的一个关键环节和重要研究内容之一。一方面，根据人脸姿态的确定结果，可以对人脸图像进行有效分类，通过分类学习提高人脸识别效率；另一方面，结合人脸姿态的结果，设计高效的人脸识别算法来提高人脸识别效率。

姿态变化给人脸图像带来的变化往往比不同人的人脸图像之间的差异更大，这是当前人脸识别技术面临的主要挑战，所以姿势问题也是人脸识别的一个瓶颈问题。

国内外许多学者采取不同的思路对人脸姿态的确定问题进行了研究。Athanasios Nikolaidis和Ioannis Pitas[1] 基于人脸平面的对称性，利用人脸图像中三个特征点（双

眼和嘴）确定人脸姿态，该方法对眼睛和嘴的位置的精确度非常敏感。

2 确定人脸姿态方法概述

到目前为止,有关学者和研究人员提出了很多用于确定人脸姿态的方法,这些方法大体

上可以分为两类: 一种是基于模型的方法,一种是基于训练的方法。

2.1 基于模型的方法[2]

基于模型的方法一般需要建立人脸的3D模型，并且根据投影等知识建立数学模型把二维人脸特征和三维人脸特征对应起来，然后用图像处理方法得到人脸特征，最后根据此特征确定三维模型下姿态。基于模型的方法通常都是先进行特征检测，然后进行二维到三维的特征匹配，用匹配上的特征来判定人脸姿态。通常使用的特征有眼睛、眉毛、嘴和鼻子等。

基于模型的方法是把人脸看成三维坐标系下的三维刚体[3~7]，不同的姿势的人脸图像可以看成是三维刚体在三维空间变形后在二维平面上的投影。即不同人脸姿势对应于三维坐标系下不同的几何变形。对应于某一姿势，人脸表面各点遵循三维坐标系下统一的几何变形。

2.2 基于训练的方法

基于训练的方法假定人脸图像的特征和人脸的三维姿态有着因果的对应关系。目标是通过大量样本的训练来找到这种对应关系。图像特征包括图像亮度，颜色，图像梯度，或者是亮度的变换，比如投影到特征向量空间，还可能包括图像的几何特征。

基于训练的方法很简单，优点是当不同姿态图像向各个子空间上投影时，能量集中程度不同，得到的投影能量区别较大，从而能够很好地判定图像姿态。缺点是在样本数量不充分的时候，结果往往不够准确。因为需要在两个姿态间插值确定另一个中间姿态。而且，需要大量不同人脸在不同角度、光照、大小时的训练数据。

通过比较两种方法的优缺点，本文采用第一类方法，使用眼睛、鼻子等特征点确定三维模型下的姿态。

3基于牲征三角形的人脸姿态确定

3.1 特征点的选取

3.1.1 脸部特征提取的技术

国内外文献中有关脸部特征提取的技术[8]还不是很成熟，但已经有了大量的研究工作。

3.1.2 特征点位置的选择

从一组特征中挑先出一些最有效的特征以达到降低特征空间维数的目的，这个过程叫特征选择[9] 。

3.2 基于特征三角形算法的基本思想

基于人脸平面的对称性，利用人脸图像中三个特征点估计人脸姿态。

3.2.1 基于投影知识的姿态分析

（1）人脸特征三角形的确立

把人脸近似地看作是对称的，定义二维坐标（OXY）的坐标原点位于正脸时左右眼（A 和B）连线的中点O。人手选取两眼球中心和鼻尖这三个特征点，连接这三个特征点可以得到一个等腰三角形，如图1所示的三角形，称这个为特征三角形[10-11]。图中点A到B为两只眼睛之间的连线l，鼻尖到l的垂线为h，垂足为E。

图1利用两眼球中点和鼻尖得到特征三角形

（2）转角的确立

有转角时两眼长度为A1B1，即侧面人脸两眼长度AB 在二维坐标XY 面的投影,（关系：正面人脸两眼距离AB 在转角面的投影为A1B1），构造直角三角形ABB1，AB 与A1B1构成的角就是侧脸和正脸之间的夹角，也就是人脸在平行于成像平面的转角。

（3）仰（俯）角的确立

有仰（俯）角时鼻尖到两眼连线的距离为C1E1，即仰地（俯）面人脸鼻尖到两眼连线的距离长度CE 在二维坐标XY 面的投影,（关系：正面人脸鼻尖到两眼连线的距离长度CE 在仰（俯）角面的投影为C1E1），构造直角三角形CC1E ，CE 与C1E1构成的角就是仰（俯）脸和正脸之间的夹角，也就是人脸在垂直于成像平面的仰（俯）角。

图2 确定转角∠BAB1

A1 B1 C1

B1 B

E1 线段A1B1为线段AB

在面A1B1C1的投影 B A A1 B1

3.2.2 基于特征三角形的人脸姿态确定

针对同一人脸的各特征点比例不变原理，对于不同焦距的人脸姿态的确定需作等比例变换。

具体算法如下：

记录正脸状态时，特征三角形边l （两外眼角距离）和边h （鼻尖到两外眼角连线的距离）的比例。每一张待确定的人脸图像中会得到一个特征三角形和对应的边l1和边h1。把每一张待确定的人脸图像中的特征三角形的边l1和边h1比例和正脸的两边比例比较。如果l1：h1小于l ：h ，则认为人脸绕y 轴转动，对特征三角形进行缩放直到h1等于h 的长度。这时l1的长度等于l 绕y 轴转动后在xy 面上的投影，根据两条直线长度计算旋转角度；如果l1：h1大于l ：h ，则认为头部绕x 轴转动，缩放特征三角形直到l1等于l 。同样h1是h 在xy 面上的投影，根据h 和h1计算旋转角度；通过以上计算得到人脸在空间的运动情况。

图3 确定仰（俯）角∠CEC1

B1 C1 C

A1 E E1 C1 线段C1E1为线段CE

在面A1B1C1的投影

C1 E1

C E

4 人脸姿态确定的MATLAB[12-13]实现

4.1 具体操作步骤

第一步、输入正面人脸图像，采用人手选取三个特征点（包括左眼球（Le）和右眼球(Re)中点、鼻尖(Nn)其中，首先确定正脸三个特征点的位置，计算它们两眼球中点的距离(l)、两眼球中点的距离和鼻尖到两眼球中点连线的垂直距离(h)并保存;

第二步、输入待确定姿态的图片，重复第一步取点操作得到新变量：两眼球中点的距离(l1)、两眼球中点的距离和鼻尖到两眼球中点连线的垂直距离(h1)。

第三步、判断两边比例关系l1:h＝l:h是否成立。

如果l1:h＝l:h成立，则为正面有脸，转角为零。

如果l1:h

(1)

如果l1:h>l:h成立，则对特征三角形进行缩放直到h1等于h的长度，这时l1的长度等于l 绕y 轴转动后在xy 面上的投影，同理，可根据投影的知识求得仰（俯）角为

(2)

4.2 流程框图

人脸姿态的确定流程框图如图4

图4 人脸姿态确定流程框图

4.3 实验结果分析

用一组人脸图像对本文算法进行测试，包括左右转角、仰角和俯角等人脸姿态，相应于的角度取值分别为如图6(a)—(f)所示。

图6中①为第一次测量结果，②为第二次测量结果，③为第三次测量结果。

图 6

根据特征三角形确定人脸正脸0度 ①上仰30.25度

②上仰30.39度

③上仰31.39度

(b)

②转角17.24度

③下俯12.88度

(d)

(e) (f) 不能确定

(a) (g)

(h)

①下俯33.76度 ②下俯32.94度 ③下俯29.54度

①左转33.69度

②左转30.66度

③左转30.51度

①右转43.55度 ②右转43.88度 ③右转44.86度

经过多次测量得出以下结论：

（1）记录同一正面人脸两边比例，对于同一待测人脸图像，算得转角的误差范围在[0,3.5]之间，如图6中的(b)和(d)图所示。

（2）记录同一正面人脸两边比例，对于同一待测人脸图像，算得仰（俯）角的误差范围在[0,4.5]之间，误差较测得的转角大，仰（俯）角度较小时还出现误判姿态的情况，如图6中的(c)、(f)和(e)图所示。

（3）当转角超过40度以上，外眼角不可见但相应的眼球可见时，要对正面人脸的特征点重新进行选择，把两眼球中点连线作为测量转角的依据，如图6中的(d)图所示。

（4）当人脸转到70度以上或有遮挡物时不能确定角度，如图6中的(g)和(h)图所示。

原因分析：

（一）由于人在定位特征点时，始终不能避免一些人为误差，结论（1）得出转角误差范围在[0,3.5]之间还是可以令人接受的。

（二）测量仰（俯）角时是根据正面人脸与待测人脸上，鼻尖到两外眼角的垂直距离（h）的投影关系得出角度的。而测量转角时是根据正面人脸与待测人脸上，两外眼角的距离（l）的投影关系得出角度。很明显，h的长度比l的长度小，对有相同角度变动时，h比l对长度的变动更敏感。基于特征三角形的人脸姿态确定的算法思想，在求仰（俯）角时是对特征三角形进行缩放，直至l1等于l，这时h1是h在成像平面的投影。在人手取点存在误差的情况下，对特征三角形进行等比例缩放，误差会随之被放大。结果如图6中的(e)图所示。（三）人脸姿态出现遮挡或“自遮挡”，这些是人脸姿态确定的影响因素之一，如图6中的(g)和(h)图所示。

（四）人脸图像的转角、仰（俯）本身存在误差，有稍微的倾斜，这对测试结果也有一定影响。

解决方案：

一、对同一特征点通过多次取点求精。

二、对于相同焦距的人脸图像，在求仰（俯）角不对特征三角形进行等比例缩放，利用公式（3）求出

（3）

参考文献

[1]Athanasios Nikolaidis，Ioannis Pitas. facial feature extraction and

determination of pose [J]. Pattern Recognition，2000,(33):1783-1791.

[2]李迎春.计算机世界.技术与应用[J/0L].计世网

https://www.360docs.net/doc/7712662423.html,/netprod/yy/htm2006/20060808_201855.htm 2006.8.8

[3]邱丽梅，胡步发. 基于仿射变换和线性回归的3D人脸姿态估计方法[J]. 计算机应用，

2006（12）：2877-2883.

[4]CHOI KN．CARCASSONI M,HANCOCK ER． Recovering Facial Pose with the EM

Algorithm[J]．Pattern Recognition，2002，(10)：2073-2093．

[5]Ebisawa, Y. Nurikabe, Y.．Face Pose Estimation Based on 3D De．tection of

Pupils and Nostrils[A]．VECIMS 2005 IEEE International Conference on Virtual Environments， Human．Computer Interfaces，and Measurement Systems Giardini Naxos[C]．Itay，2005．

[6]YAO P，EVANS G，CALWAY A． Using A ne Correspondence to Estimate 3 D Facial

Pose[A]．Proceedings of the IEEE International Conference 0n Image

Proceeding[C]．Thessaloniki，2001，(3)：919 —922．

[7]HU YX，CHEN LB，ZHOU Y，et a1．Estimating Face Pose by Facial Asymmetry and

Geometry[A]．Proceedings of the Sixth IEEE Internationa1 Conference on Automatic Face and Gesture Recognition (FGR'04)[C]．IEEE，2004．

[8]黄万军，尹宝才. 基于三维可变形模板的眼睛特征提取[J].计算机研究与发展，2002（4）：

495-501

[9]胡小锋，赵辉.Visual C++/MATLAB图像处理与识别实用案例精选[M].北京：中国邮电出

版社，2004.119-143.

[10]马淑燕，孔德慧，尹宝才，郭金铜. 基于肤色模型和椭圆环模板的人脸跟踪及姿态估计

[J]. 计算机工程与应用，2004（17）：50-56.

[11]杨秋芬，桂卫华，周书仁. 基于特征三角形的多姿态视频图像人脸跟踪[J]. 计算机工

程，2006（15）：34-41.

[12]张瑞丰.精通MATLAB6.5[M].北京：中国水利水电出版社，2004.1-27.

[13]罗军辉，冯平，哈力旦.A.MATLAB7.0在图像处理中的应用[M].北京：机械工业出版社，

2005.311-323.

[14]罗建军，杨琦. MATLAB教程[M].北京：电子工业出版社，2005.5-9.

Pose Estimation

Abstract: For a given face, the pose angle in tilt and yaw could be estimated by measuring the parameters of feature points on the face. In this paper ,three feature points (including the left corner of left eye 、the right corner of right eye and the nose tip) are first chosen by hand to construct a feature triangle, the pose angle then could be estimated by comparing the parameters of the feature triangles of frontal face with that of turned face. Experimental results confirm the efficiency of the proposed method.

Key words: feature triangle pose estimation feature point