一种多视角人脸姿态估计算法

　第25卷　第1期 长春工业大学学报(自然科学版) V ol125　N o.1 2004年3月 Journal of Changchun University of T echonology(Natural Science Edition) Mar12004

文章编号:100622939(2004)0120019206

一种多视角人脸姿态估计算法

史东承,　于德海,　杨　冬

(长春工业大学计算机科学与工程学院,吉林长春　130012)

摘　要:基于独立子空间分析(IS A)技术,提出了一种多视角人脸姿态估计算法。给出了IS A视角子空间分析公式和有效的多视角子空间有监督学习算法。基于有监督学习的多视角人脸模型子空间学习算法,能够实现比无监督IS A学习算法得到更高的姿态估计精度。

关键词:独立子空间分析;多视角人脸姿态估计;内核主元分析(K PC A)

中图分类号:TP391.4 文献标识码:A

多视角人脸检测能力是人像识别系统重要的特性,根据文献[1]统计,大约75%的家庭照片中是非正面的。通常考虑两种姿态变化:平面内的人脸旋转和平面外的人脸旋转。一般情况下,处理后一种情况难度更大。姿态估计器把人脸图像模式分类为一组姿态中的某一个姿态,姿态与视角有直接的对应关系。因此,姿态估计问题也称为人脸视角估计。姿态估计可用于检验多视角人脸,并为基于视角方法的模型[2]提供人脸检测信息。姿态估计器把视角范围划分为一系列区域,每个区域代表一个子空间。文献[3]利用独立子空间分析(IS A)[4]完成了无标注实例的无监督子空间学习算法。通过子空间活性测度把人脸图像分配给相应的视角组成员。

训练学习的方法已经成为最有效的人脸检测与识别方法之一。由于人脸的高度相关性,人脸可以用一些低维特征来描述,这些特征通过对人脸图像原形模式的学习而得到。人脸外貌的变化、光照及表情变化的复杂性,使人脸模式呈现出高复杂性[5]。人脸视角的变化(头部姿态)进一步使问题复杂化。目前,相关工作[7,8]仅仅针对正面人脸图像。合理地处理多视角问题应当采用基于视角的方法,建立多个人脸模型,每个模型对应一个视角下的人脸描述。文献[9]采用基于视角表示的人脸检测方法,利用5个检测器构成一个阵列,每个检测器负责一个视角区域。文献[10]研究了线性PC A特征空间中人脸旋转变化时的特征变化轨迹,并利用支持矢量机(S VM)实现多姿态人脸检测和姿态估计[11,12]。

文中给出了一种基于学习的多视角人脸分类与姿态估计算法。该算法采用多分辨率分层结构,该结构满足从大量被选窗中提取小部分人脸图像的检测要求。为基于视角的人脸检测方法提供人脸姿态信息,同时,把人脸划分为不同的观察子空间,对人脸子窗根据视角的不同确定其姿态,通过姿态估计信息确定观察子空间,使人脸的检测、分类与识别算法得到简化。

1　内核主元分析(K PCA)人脸特征提取算法

设:已知R N空间中一组矢量,去除均值后的中心矢量样本为x i∈R N(i=1,…,m)。其协方差矩阵为C=E(x j x T j)。线性主元分析(PC A)是对协方差矩阵进行奇异值分解λv=Cv,如:λ(x

i

?v)=(x i?Cv)Πi=1,…,m(1)对特征值λ递减排序,提取前M(

α=(α

1,

α2,…,αM)=x T T∈R M

x的重构为x′=∑M

i=1

α

i

v i。在均方误差最小的意义下,M维空间中x′是x1,…,x m的最佳近似矢量。

K PC A通过利用Φ:x∈R N→X∈F把数据

收稿日期:2003203227

基金项目:吉林省教育厅科技发展计划基金资助项目(吉教合字2001年第5号)

作者简介:史东承(1959-),男,吉林长春人,长春工业大学教授,工学硕士,主要从事图像与多维信号处理方向研究.

从输入空间影射到高维特征空间,并在F 空间中

进行线性PC A 分析,F 空间中的协方差矩阵为C ′

=E[Φ(x i )?Φ(x i )T ]。奇异值满足λV =C ′V ,

与式(1)相对应,在F 空间存在

λ[Φ(x k )?V ]=[Φ(x k )?CV ]

Πk =1,…,m

(2)因为所有的V 为非零值,λ取决于Φ(x i )的范围。设存在一个系数αi 满足

V =

∑

m

i =1

αi

Φ(x i

)(3)

定义矩阵K =[K i ,j ]m ×m ,其中K i ,j =K

(x i ,x j )=Φ(x i )Φ(x j ),则奇异值问题可以转换为[13]

m

λα=K α(4)

对非零的奇异值降序排列,提取前M (

元V k (1≤k ≤M )作为F 空间中的基矢量(通常总有若干个奇异值为零),称其为K PC A 子空间。F 空间中的一点x 向第k 个内核主元V k 的投影为

βk =[V k ?

Φ(x )]=∑

m

i =1

αi ,k K (x i ,x )(5)

并在K PC A 空间x 表示为(β1,…,βM )。

2　ISA 观察子空间学习

基于独立元分析(IC A )的图像模型假设:一个

灰度图像为x ={x (u ,v )},此处(u ,v )为像素的坐标,是基函数b ={b 1(u ,v ),…,b m (u ,v )}的线性组合,即:

x (u ,v )=

∑

m

i =1

b i (u ,v )s i (6)

假设b i (u ,v )为一个可逆线性系统,则式(6)的逆可以用点积形式表示为:

s i ==

∑

u ,v

w i

(u ,v )x (u ,v )(7)

其中,w =b -1为逆滤波器。在IC A 中假设s i 是

相互独立的随机变量,因此有

p s

(s )=

∏

m

i =1

p s i

(s i )(8)

此处p s 和p s i 为s 和s i 的概率密度函数。p s i 假设为超高斯分布,例如Laplacian 分布,具有正的波峰。设有N T 个训练图像,x ={x k |k =1,…,N T },则对数似然测度函数为

log p (x |w )=

∑N

T

k =1

∑

m

i =1

log p s i (s i

,k )+N T log |det w |

(9)

其中,s i ,k =。

IC A 学习问题就是实现对基函数b 和实数矢量s 的估计。所以,对任一给定的训练集中的人脸图像x k ,IC A 可以给出一个与相应模型对应的独立的s 。IS A [14]是IC A 的一种变形,它把不变特征子空间的基本原理与多维IC A 相结合来寻找不变特征子空间。对于IS A ,集合{s i }被划分为L 个组,每组构成一个子集,记为S l (l =1,…,L ),S l

是基元集合的子集。每组由n 个s i 组成,因此,m =n ×L ,并对所有的s 有组内相互依赖、组间相互独立的特性。当假设n 元s i 在子空间内具有球形对称分布时,不变特征子空间包含在多维IC A 中,观察数据的对数似然测度为:

log p (x |w )=

∑N

T

k =1∑

L

l =1

log p s

l

∑

j ∈Sl

S 2

s ,k

+　N T log |det w |

(10)

其中,∑j ∈Sl

S 2s ,k 是子空间中图像x k 的投影系数矢量的平方幅值;p s l ∑j ∈Sl

S 2s ,k 是已知矢量的概率密度函数。

2.1　无监督ISA 观察子空间学习

在无监督IS A 学习方法中[4],训练人脸实例是无视角标记的训练序列,通过学习获得观察子空间,学习算法为每个观察子空间确定基元子集。测试人脸模式通过向学习子空间投影获得人脸图像的姿态估计。与IC A 类似,p s i 在IS A 学习过程中采用超高斯分布[15]。当取指数形式时,有p s

i (z )∝exp (-z )。因此,对数似然测度为

log p (x |w )∝-

∑N

T

k =1∑

L

l =1

p s l

∑

j ∈Sl

S 2s ,k

1/2

(11)

假设b 是正交矩阵,则w =b T ,并|det (w )

|=1。式(6)取最大化等价于最小化下列能量函数,把式(6)代入式(4):

E (x |w )=

∑N

T

k =1∑L

l =1

∑

j ∈Sl

>

21/2

(12)

IS A 子空间学习算法可以用梯度下降算法实现[15]。

现在讨论IS A 如何利用无视角标注数据集形成观察子空间。结论可以通过分析最小化能量函数而得到。设输入空间中子空间X 0的一个数据点为x ,基元b j (j ∈S l ,l =1,…,L )为L 个IS A 子空间结果,并与X 0子空间尽可能地正交,从而实现最小化能量函数。如果训练集仅仅含有正面

02长春工业大学学报(自然科学版) 第25卷

视角人脸,结果将都是正面人脸基元。因此,无法

得到观察视角信息。有两种方法用于对观察视角k 的子空间进行学习:(1)使用L -1个视角人脸集训练实例进行训练,对第k 个训练集形成#(S k )(集合S k

中的元素个数)个k 视角区域上的基元;(2)使用k 视角区域上的人脸集训练实例进行训练,形成L -1个集合上的#(S l

)个基元。2.2　有监督ISA 观察子空间学习在无监督IS A 学习过程中,任意一个视角下的训练实例x k 可能影响其它视角下的基元取值,最终解b 3是经过相互冲突和竞争来产生的,这种相互冲突和竞争结果导致精确性降低。它是对无标记训练数据进行无监督学习时固有的特性。如果所有的训练数据是加标记训练实例,则可以避免冲突,导致更准确的学习结果。有监督学习方法[16],假设每一个训练实例的视角是已知的,一个观察子空间仅由本视角区域下的观察实例来训练。给定的L 个子空间分别独立地进行学习。因此,与其它视角区域下的训练人脸实例的冲突达到最小,基元对相应视角下的人脸描述达到最好。同时,只需计算观察视角k 下的子空间基元,不需要计算其它L -1个补子空间基元。对于视角区域k ,它可以通过最大化如下相关函数得到#(S k )的基元:

G (U

(l )

)=

∑N

T

k =1∑L

l =1

<

x (l )k ,u (l )

j

>

2

(13)

最大化式(8)等价于基于观察的主元分析(PC A )模型。

设N 为输入数据的维数,X (l )={x (l )k |k =1,…,N (l )T }

建立M 维独立的线性子空间模

型S (l )。设U (l )=(u (l )1,…,u (l )M )是S (l )

的正交基,则在x (l )与其在S (l )中的投影之间的平方距离为

d 2

k =

x (l )

k

-

∑

m

i =1

i

>u (l )i

2

=‖

x (l )

k

‖2

-∑m

i =1

<

x (l )

k ,u (l )

i

>

2

(14)

最直接的构造X (l )

的线性子空间的方法是找到

M 个正交基矢量,使下面的残余误差最小:

D (U

(l )

)=

∑N

T

k =1d 2k =

∑

N

T

k =1‖

x (l )

k

‖2

-

∑m

i =1

<

x (l )k ,u (l )

i

>

2

=

∑N T k =1‖x (l )k ‖2-∑N T k =1∑m i =1

2(15)这就是式(13)的等价表达式。它就是著名的数据集X (l )的最优化问题的主元解。每个数据集X (l )的主元计算是相互独立的。

因此,与基于观察的PC A 模型不同,在PC A 分析中每个训练数据应当去除均值成分,而此处

训练集X (l )是每个训练数据减去训练集的均值。

设(w (l )1,…,w (l )N -M )是R N 空间中S (l )的补空

间的正交基,因为G (U (l ))=∑N T

k =1∑m i =1

i >2=

∑N T

k =1∑m i =1u (l )j 2

=∑N T

k =1x (l )k -∑

M-N i =1

2w (l )j 2

=∑N

T

k =1‖x (l

)k ‖2

-∑

M-N

i =1‖w (l )

j ‖2=

∑

N

T

k =1‖

x (l

)

k ‖2

-∑N

T

k =1

∑L

l =1

∑j ∈Sl

<

w j ,x k >2

因此,计算式(7)的最小化等价于计算

G ′

(U (l )

)=

∑N

T

k =1∑L

l =1

∑j ∈Sl

<

w j ,x k >

2

(16)

利用IS A 对视角k 的输入数据分析,得到的M 维子空间可以补空间上的N -M 个正交基表示。

3　ISA 人脸姿态估计算法

3.1　基于观察子空间的人像姿态估计

给出的学习观察子空间{S (l )}的方法,为姿态估计提供了基础。一个观察子空间对应一个特殊的人脸视角模式。在一定观察子空间下输入人脸的活性定义为一个人脸图像在子空间S (l )上的投影模值:

F

(l )

(x )=

∑

j ∈Sl

s 2j

=

∑j ∈Sl

<

w j ,x >

2

基于最大子空间活性测度准则的人脸姿态估计算法如下:

(1)一个输入图像投影到观察子空间,对各个视角区域,利用式(12)计算产生子空间活性测度函数F (l ),l =1,…,L ;

(2)利用最大子空间活性测度准则对输入图像进行分类,如果F (k )=arg max F (l ),则输入图像视角为第k 个视角区域。 为了降低数据维数,对人脸图像采用PC A 分

1

2第1期 史东承,等:一种多视角人脸姿态估计算法

析进行特征提取。

3.2　基于KPCA 子空间人脸图像姿态估计算法

设训练集合为{x }={x k ,k =1,2,…,M},其中,x k 是N 维矢量,按照模式分类标识,把输入空间R N 划分为L 个子空间{x l }(l =1,2,…,L ),如果存在非线性影射函数Ψ(x ),把{x }从输入空间R N 影射到高维空间F ,则内核影射函数把输入空间的点积运算x i x j 影射为高维空间F 中的k (x i ,x j )=Ψ(x i )Ψ(x j )。如果[k (x i ,x j )]的特

征矢量为αm =(αm 1,αm 2,…,αm

M ),m =1,2,…,M ,且Ψ(x j )的协方差矩阵的特征矢量为V i ,i =1,2,…,M ,取I 个内核特征矢量作为基矢量构建新的坐标系统,称其为内核特征脸空间,记为F l 。

又设x 是一个输入测试矢量,则测试矢量向

经过I 非线性影射后在内核特征脸空间中向各个坐标轴的投影,可以用如下函数来度量:

A K PCA [F l

(x )]=

∑

j ∈F

l

∑

M

i =1

αj i k (x ,x i )2

(17)

式(17)为内核特征脸子空间活性测度函数,简记

为(K S AM )。

4　实验结果

假设多视角人脸图像训练集用于分类器的知识学习,每一个训练实例为加窗灰度图像并经过预处理,记为x ∈R N 。训练集用手工完成视角加标。左转图像视角为90°0°,正面人脸为0°附近,右面旋转人脸为0°-90°。整个视角区域被量化为2L +1个量化级。每个训练实例被划分到

2L +1个组中的某一组,按最近邻视角规则形成2L +1个不同视角人脸训练子集。现在有2L +1类,类l ∈{-(L +1),…,-1,0,1,…,L +1}

对应2L +1个不同的视角人脸。人脸姿态估计与人脸检测的关系为:先计算姿态估计结果,根据姿态估计结果选定视角区域标号k ,在视角标号k 的引导下,在k 子空间下确定现输入图像是否为人脸。

文中给出的算法分别在我校开发的CC UT 图像库和美国麻省理工学院UMIST 图像库上进行测试。图1给出了CC UT 图像库中一个人在不同

视角下的人脸示例。其中人脸的右转图像可以用左转图像的镜像图像来代替,因此只给出0°90°旋转的图像示例,0°-90°的处理情况与此类似。

图1

视角为0°90°旋转的图像示例

根据独立元分析得到的独立子空间上的部分独立元如图2所示,其独立元横向排列,每个视角子空间给出了两个独立元,9组独立元构成9个视角区域划分,形成9个独立子空间。在仿真实验中,每个视角区域的训练数据含12张人脸图像,每人三张不同视角(在相同视角区域)人脸图像

,共4个人,每个子空间使用4

个独立元。图3给出了重构图像,从重构图像质量看,可以用4个基元描述12张图像的主要内容。

图2独立元分析产生的部分基元(此处每视角只给出两个基元)

图3利用基元组合实现的部分重构图像

22长春工业大学学报(自然科学版) 第25卷

在L =9时,即视角区域划分为每10°为一个视角区域时,子空间的活性分布如图4所示。此时输入的估计图像视角为40°50°。在I =5处的峰值说明输入图像与视角在40°50°子空间达到最大匹配活性。用监督子空间学习方法可以鉴别子空间活性,并且具有较高的鉴别准确率。姿态估计可以根据最大观察子空间活性M VS A 原理把输入矢量x 分类到观察视角区域组来完成。

图4中的(a )(d )分别给出了输入人脸视角为第一、三、六、九区域时的姿态估计结果。结果表明,文中给出的人脸姿态估计算法是有效的。

为了进一步测试文中提出的算法在大型人脸图像库中的有效性,我们选择了美国UMIST 人脸图像库作为多视角人脸图像测试集。UMIST 人脸图像库含有564张不同视角的20个人的人脸图像。每个人的人脸图像视角涵盖从正面到正右侧各种角度。所有图像格式为PG M 格式,大小为220×220。在人脸图像输入系统之前,均经过光照矫正、均值归一化、直方图均衡等预处理。人脸

图像视角采用人工标记

。

图4

姿态估计结果(子空间活性分布)

多视角线性内核特征脸子空间示例如图5所示。利用内核特征脸子空间活性测度函数进行人脸姿态估计结果如图6所示。实验结果证明,文中提出的算法人脸姿态估计结果较好。

图5侧面60°70°视角线性内核特征脸子空间

图6利用内核特征脸子空间活性测度函数进行人脸姿态估计结果

5　结论

提出了一种新的人脸姿态估计算法,该算法利用K PC A 分析方法对人脸图像进行分析,形成

特征矢量集。通过对特征矢量集进行IS A 分析,形成多视角人脸图像独立特征子空间。通过定义观察子空间活性,给出了一种人脸姿态估计的简

单算法。利用K PC A 的非线性特点,进一步给出了基于K PC A 核特征脸子空间活性测度的人脸姿态估计方案,该方案由于应用了K PC A 分析技术,因此,在基于K ernel 分析的系统中,如内核支持矢量机(K S VM )分类与识别系统中[12,13,16,17]能够在基本不正加计算量的前提下,实现人脸姿态估计功能,为提高人脸检测与识别系统的性能提供了

3

2第1期 史东承,等:一种多视角人脸姿态估计算法

一种新的信息。由于K S VM对线性可分数据和非线性可分数据具有较好的分类能力。文中提出的算法与K S VM结合,可获得好的性能,给出的算法具有较高的人脸姿态估计准确度。

参考文献:

[1]　K uchinsky A,Pering C,Creech M L,ed al.F otoFile:A

consumer multimedia organization and retrieval system

[C].In Proc:AC M HCI’99C on ference,19991

[2]　Pentland A P,M oghaddam B,S tarner T.View2based and

m odular eigenspaces for face recognition[J].In Proc.

CVPR,1994,(6):842911

[3]　Freund Y,Schapire R.A decision2theoretic generalization

of on2line learning and an application to boosting[J].

J ournal of Computer and System Sciences,1997,55

(1):11921391

[4]　Li S Z,Lv X G,Zhang H J.View2based clustering of ob2

ject appearances based on independent subspace analysis

[C].In Proc IEEE Int.C on f.On C omputer Vision,Van2

couver,Canada,20011

[5]　Bichsel M,Pentland A P.Human face recognition and the

face image set’s topology[J].CVGIP:Image Under2

standing,1994,59:25422611

[6]　Viola P,Jones M.R obust real time object detection[C].

In IEEE ICC V W orkshop on S tatistical and C omputational

Theories of Vision,Vancouver,Canada,20011

[7]　R owley H A,Baluja S,K anade T.Neural netw ork2based

face detection[J].I EEE Transactions on Pattern Analy2

sis and Machine Intelligence,1998,20(1):232281 [8]　Sung K2K,P oggio T.Example2based learning for view2

based human face detection[J].I EEE Transactions on

Pattern Analysis and Machine Intelligence,1998,20

(1):392511

[9]　Feraud J,Bernier O,C ollobert M.A fast and accurate

face detector for indexation of face images[C].In Proc.

F ourth IEEE Int.C on f on Automatic Face and

G esture

Recognition,G renoble,20001

[10]　G ong S,McK enna S,C ollins J.An investigation into

face pose distribution[C].In Proc.IEEE International

C on ference on Face and G esture Recognition,Verm ont,

19961

[11]　Ng J,G ong S.Performing multi2view face detection and

pose estimation using a composite support vector machine

across the view sphere[C].In Proc.IEEE International

W orkshop on Recognition,Analysis,and T racking of

Faces and G estures in Real2T ime Systems,C orfu,

G reece,September19991

[12]　Li YM,G ong S G,Liddell H.Support vector regression

and classification based multi2view face detection and

recognition[C].In IEEE Int.C on f.OnFace&G esture

Recognition,France,20001

[13]　Scholkopf B,Sm ola A,Muller K R.N onlinear component

analysis as a kernel eigenvalue problem[J].Neural

Computation,1998,(10):1299213191

[14]　Pudil P,N ov ovicova J,K ittler J.Floating search meth2

ods in feature selection[J].Pattern Recognition Let2

ters,1994,15(11):1119211251

[15]　Hyvarinen A,H oyer P.Emergence of phase and shift in2

variant features by decomposition of natural images into

independent feature subspaces[J].Neural Computa2

tion,2000,12(7):1705217201

[16]　Vapnik V N.S tatistical learning theory[M].New Y ork:

John Wiley&S ons,19981

[17]　C ortes C,Vapnik V.Support vector netw orks[J].Ma2

chine Learning,1995,20:27322971

A New Estimated Algorithm of Multi2View Human Face Po se

SHI Dong2cheng,　Y U De2hai,　Y ANG Dong

(School of C om puter Science&Engineering,Changchun University of T echnology,Changchun130012,China)

Abstract:An estimated alg orithm of human face pose based on the independence subspace analysis(IS A)tech2 nique is presented.A series of formulation and a supervised learning alg orithm of multi2views subspace analysis were investigated and obtained.It can gain m ore accuracy than the unsupervised learning alg orithm in pose in formation estimation.

K eyw ords:independence subspace analysis;multi2view human face estimation;K ernel PC A.

42长春工业大学学报(自然科学版) 第25卷