基于多参数模型结合的步态特征提取新方法_薛召军

28卷1期2009年2月中 国 生 物 医 学 工 程 学 报

Chinese Jou r na l o f Biomedica l Enginee rin g Vol.28 No.1

February 2009

收稿日期:2007-12-24,修回日期:2008-07-18

基金项目:国家自然科学基金资助项目(60501005);/十一五0国家高技术研究发展计划(2007AA04Z236);天津市科技支撑计划重点项目(07ZCKFSF01300)

*通讯作者。 E -mail:richardming@https://www.360docs.net/doc/3617650063.html,

基于多参数模型结合的步态特征提取新方法

薛召军 万柏坤 刘晓辉 明 东

*

靳世久

(天津大学精密仪器与光电子工程学院,天津 300072)

摘 要:为弥补单一模型识别能力的不足,削弱因步速、衣着、光照等变化的影响,提出小波分解(WD)、不变矩(IM)并结合骨架理论(S T )提取步态特征参数的新方法。其技术流程为:先分割出人体目标轮廓,并将其规格化叠加处理,获取步态特征图;再将小波分解与不变矩结合,提取含人体整体模型信息的矩参数;同时将步态特征图骨架化,提取含人体简化模型信息的骨架特征参数;最后将矩参数与骨架参数作为识别参量,输入支持向量机(SVM)进行步态识别。使用自建的天津大学红外步态数据库(TIGD)进行试验,其正确识别率为84%~92%。表明多参数模型相结合的方法有利于提取步态的本质结构特征。

关键词:步态识别;小波分解;不变矩;骨架理论;支持向量机

A New Technique of Gait Feature Extraction Based on Mult-i parameter Model

X UE Zha o -Jun WAN Ba-i Kun LIU Xiao -Hui MI NG Dong * JI N Sh-i Jiu

(Colle ge o f Prec ision In stru me nt a n d O pto -Elect ronics En gine erin g ,Tia n jin Un ive rsity ,Tian jin 300072)

Abstract :In order to improve the recognition capability with single model and restrain the impact of noise (walking speed,clothing,illumination,etc)in gait rec ognition,a novel tec hnique of feature e xtrac tion was presented for gait parameters in this paper.This method was based on wavelet dec omposit ion(WD),invariant moments(IM)and skeleton theory(ST).Body silhouette sequences we re extracted and normalized.The sequences were added together and the gait feature image could be ac hieved.The moment para meters with infor mation of integral model were obtained by using wavelet deco mposition and inva riant moments.The skele ton was extracted fro m the gait feature image.Pa ra meters of skeleton involving si mplified model were e xtrac ted.These para meters,including invariant moments and skeleton,were give n to suppor t vector mac hines (SVM )for gait rec ognition.This method was applied to Tianjin University Infrared Gait Data -set (TIGD)and achieved recognition ra te of 84~92%.Results proved that this method would bene fit e xtrac ting the gait essential feature.

Key words :gait recognition;wavelet deco mposition;invariant moments;skeleton theory,support vector machine

中图分类号 TP391141 文献标识码 A 文章编号0258-8021(2009)01-0022-05

引言

步态识别是生物特征识别技术中的新兴领域之一,具有其他生物认证技术所不具有的独特优势,即

在远距离或低视频质量情况下具备识别潜力[1]

,这成为近年来生物医学信息检测领域备受关注的发展前沿。步态识别主要针对人体步行运动图像序列进

行分析处理,通常包括人体轮廓分割、步态特征提取

与识别,以及身份认证。其中,步态识别的关键是如何寻找合适的步态特征以及有效的分类方法[2]

。目前,在步态特征提取中,通常使用两种人体模型,即整体模型和简化模型。整体模型是基于统计特性的方法,即从视频图像中提取人体轮廓,通过分析描述人体轮廓的运动情况进行识别,包括对步行

速度、运动序列时间对称性、轮廓面积动态变化等情况的分析。简化模型是根据解剖学原理,将三维人体进行简化处理后,对模型的运动情况进行分析。基于模型的技术,是直接利用步态形状以及动态变化情况,提取特征向量

[3]

。在步态特征参数的提取

中,单一模型存在诸多识别能力不足的问题。基于轮廓的整体模型便于进行快速直观的识别,但和步态之间属于间接联系,很容易受到人体背景因素的干扰(如衣着鞋帽的变化)

[4]

。简化模型虽然计算量

较小,但简化处理后难免丢失有用的特征信息(如体宽等)。鉴于此,本研究将整体模型和简化模型结合,提取步态特征参数。

小波分解具有多分辨率和多方向性,而不变矩具有目标的平移、旋转和尺寸比例的不变性。因此,本研究将步态序列看作是一组/静态姿势0所组成的模式,先通过目标检测,分割出视频中的人体轮廓,再将其规格化叠加处理,获取包含整体分析模型的步态特征图;然后,将步态特征图进行小波一层分解,分别提取水平、垂直以及对角方向的不变矩参数。鉴于骨架是描述物体形状的一种有效方式,组合了目标的轮廓和区域信息,反映了目标的重要视觉线索,因此采用数学形态学算法,将步态特征图骨架化处理,提取包含人体简化模型信息的肢体比例与角度的5个特征参数。使用自建的天津大学红外步态数据库进行实验,将包含两种人体模型信息的特征参数组合输入支持向量机,进行步态分类识别。

1 获取步态特征图

为更有效地提取步态特征参数,简化前期工作

的复杂性,使用自建的天津大学红外步态数据库(TJU Infrared Gait Database,TIGD)进行实验,如图1(a)所示。为不失普适性,受试者分自然状态、抱球、背包以及身穿羽绒服4种行走状态。通常人体发出的红外光较强,背景等非发热物体的红外辐射相对较微弱,因此利用红外热成像技术获取的步态图像较容易检测出人体目标[5]

。在红外步态数据采集中,背景的温度通常低于人体的温度,反映在图像上则是背景与目标之间存在明显的灰度差异。这样就可以通过设置全局阈值的方法提取红外人体目标,有

I i (x ,y )=

1 |P i (x ,y )|>S 0 |P i (x ,y )|[S

(1)

式中,P i (x ,y )为像素点(x ,y )处的灰度值,S 为阈值。

通过式(1)可以实现红外人体目标的有效分割,如图1(b)所示。人体目标轮廓中可能存在噪声以及微小的干扰区域,为此采用形态学中的膨胀和腐蚀方法对人体轮廓进行处理,这样既可滤除噪声,又可保持良好的图像边缘。为了把图像的位置以及大小调整到一个固定的级别上,消除红外热像仪距离目标的远近或者红外热像仪抖动等原因造成的误差信息,并为后续处理提供较为统一的图像规格,在获取人体轮廓后,将其进行平移居中,然后按照规定的图像大小(150像素@

150像素)进行伸缩操作,得到位置相同且像素统一的人体轮廓图,这些2D 图像序列通过叠加即可获得步态特征图,如图1(c)所示。

图1 红外步态图像预处理。(a)红外步态图;(b)人体轮廓;(c)步态特征图

Fig.1 Pretreatment of infrared gait image.(a)infrared gait image;(b)body silhouette;(c)gait feature image

2 提取不变矩参数

近年来,人们对小波变换(W T)技术产生了浓厚兴趣,成功应用于图像压缩、边缘和特征检测以及纹

理分析等方面,且在许多领域都取得了具有重要科

学意义和应用价值的成果。由于小波技术可将图像分层,并且可根据图像信号的性质和事先给定的处理要求确定需要展开到哪一级别为止,这样可以有

23

1期薛召军等:基于多参数模型结合的步态特征提取新方法

效控制计算量,满足实时处理的需要。小波变换还具有放大、缩小和平移的数学显微镜功能,能够很方便地产生各种分辨率的图像。鉴于小波变换所具有的上述优点,首先对步态特征图进行小波分解(WD),如图2所示。图中S 表示原始步态特征图,Ai 表示近似,Hi 、Vi 和Di 分别为水平分量、垂直分

量和对角分量,其中i 为分解层数。由小波分解后的步态特征图可以看出,两层小波分解所对应的H2、V2和D2图像中的人体轮廓特征基本丧失,特

征主要集中在一层分解中,所以对步态特征图进行一层小波分解。Haar 小波是小波系列中最简单的,可提高计算速度,因此采用Haar

小波。

图2 步态特征图的小波分解

F ig.2 Wavelet decomposition of gait feature im age

在模式识别领域的形状特征提取中,矩特征是广泛应用的形状特征之一。不变矩(I M)是图像的统计特性,满足平移、绅缩、旋转的不变性,在图像识

别领域得到了广泛应用[6]

,如目标识别、景物匹配、形状分析等许多方面,并已成功运用到字符识别、遥感图像匹配等领域。特征不变矩方法简单直观,表述的是图形的整体特征,因此适用于步态特征图的表述。步态特征图的矢量表示的是人体区域的边界,对于边界曲线,7个不变矩仍然具有平移、旋转和缩放不变性[7]

,可以用来描述区域边界的形状特征。

首先,计算步态特征图边缘轮廓的7个不变矩参数,然后对步态特征图进行小波分解,并计算分解后的水平H1、垂直V1和对角D1三个不同方向图像的区域矩参数。因为所得的矩参数动态范围较大,所以对上述方法所得的28个参数取对数log

3 提取骨架参数

图像分割的目标一般不具有平滑的轮廓,致使提取的骨架出现很多细小分支,致使骨架无法精确反映目标的结构信息,给后续处理造成影响。鉴于此,本研究首先对步态特征图的边缘图像进行平滑处理,以确保最终骨架结果的稳定性和一致性,然后提取包含人体简化模型信息的骨架,如图3所示。

在骨架提取时,由于上肢运动或其他因素的干扰,会造成一定的分支,从而影响骨架特征参数的提取。为此,可根据解剖学中有关人体各部分肢体的比例关系,去除上肢运动等造成的噪声干扰。通常,成年人的人体尺寸之间存在一定的比例关系,应用解剖学中人体各部分肢体占身高的比例,作为先验知识建立人体骨骼模型[8]

,可以确定下肢的活动范围0~0148H(H 为身高),上肢的活动范围为0148~0152H 。利用这一关系,对上肢的骨架曲线进行

24

中 国 生 物 医 学 工 程 学 报28卷

图3 骨架提取及曲线拟合。(a)步态特征图;(b)骨架;(c)曲线拟合

Fig.3 Skeleton extraction and curve fitting.(a)gait feature image;(b)skeleton;(c)curve fitting

拟合,同时对下肢的2条分支曲线进行拟合,可以得到3条拟合后的曲线,如图3(c)所示。自骨架的顶点开始,依据每一部分肢体占整个身高的比例关系,确定每个关键点的横坐标和纵坐标,这样可得人体侧面影像的4个关键点:(x h ,y h )、(x c ,y c )、(x kl ,y kl )、(x kr ,y kr ),如图4

所示。

图4 关键点示意图Fig.4 Sketch m ap of the key point

关键点的位置包含了人体运动的特定信息,因此可以计算各个关键点之间的关系,作为步态特征参数。假设骨架的最低点为(x kr ,y kr ),由点(x h ,y h )和(x k r ,y k r ),可以计算骨架的高度为L =y h -y kr 。综合关键点的坐标位置,可得骨架的3个特征参数为

P 1=(y h -y c )2

+(x h -x c )

2

L (2)

P 2=(y c -y kl )2+(x c -x kl )

2

L (3)

P 3=

(y c -y k r )2+(x c -x kr )

2

L

(4)

肢体角度的变化同样包含了大量有用的信息,

因此计算2个含有角度信息的参数,有

H 1=|x kl -x c |

|y kl -y c |(5)H 2=

|x kr -x c ||y kr -y c |

(6)

这样,可以得到5个特征参数(P 1,P 2,P 3,H 1,H 2),既包含肢体高度信息,又包含肢体角度信息,依次作为步态特征参量中的一部分。

4 实验结果与分析

寻求有效的分类方法,也是步态识别中的关键环节。传统的统计模式识别是在样本数目足够多的前提下进行的,只有在样本数趋向无穷大时,其性能才有理论上的保证

[9]

。而在步态识别的应用中,样

本数目是有限的,这时很多方法都难以取得理想效果。在解决小样本、非线性及高维模式识别问题中,支持向量机(SVM)表现出许多特有的优势,因此本研究将支持向量机作为分类器进行步态识别。

为测试特征参数提取效果,使用天津大学红外步态数据库进行实验。该数据库包含受试者共计23人(男、女各13、10人,年龄19~30岁),数据采集地点为天津市生物医学检测技术与仪器重点实验室。受试者均穿软底鞋,分4种行走方式:自然状态、抱球、背包、穿羽绒服。每人4个红外步态图像序列,共计92个序列。作为评价指标,使用正确识别率(PCR)对红外数据库中的步态序列进行测试。训练时将自然状态下提取的特征参数作为训练样本,而把抱球、背包以及身穿羽绒服的情况作为测试样本进行识别。在测试时,将T i 输入到经过训练得到的分类器中,如果输出为i ,则认定本次识别正确,有

25

1期薛召军等:基于多参数模型结合的步态特征提取新方法

PCR=T

N

@100%(7)

式中,T为识别正确的样本数,N为总测试样本数。

SVM分别采用线性核函数(linear kernel)、多项式核函数(polynomial kernel)、径向基核函数(radial basis function,RB F)进行实验(其中各类核函数构造形式,包括函数参数的变化,可参见文献[10]),其正确识别率如表1所示。可以看出,采用线性内核时识别率较低,核函数为多项式时识别率有所提高,而采用径向基内核时正确识别率可高达92%。从识别结果来看,仅以骨架参数作为识别参量,识别率较低,均小于55%。不变矩参数作为识别参量时,识别率有所提高,但均低于75%。若将矩参数与骨架参数组合,同时作为步态识别参量,则其识别率明显提高,采用径向基内核时正确识别率可高达92%。

表1SVM识别结果

Tab.1Results o f recognition by SVM%

实验序号训练样本测试样本特征参数

核函数

线性

3次多

项式

径向

基

1自然状态抱球骨架参数394348

2自然状态背包骨架参数394852

3自然状态穿羽绒服骨架参数263539

4自然状态抱球矩参数566170

5自然状态背包矩参数616574

6自然状态穿羽绒服矩参数435261

7自然状态抱球(矩+骨架)参数778991

8自然状态背包(矩+骨架)参数768892

9自然状态穿羽绒服(矩+骨架)参数687584

5结论

考虑到小波分解的多分辨率和多方向性,以及不变矩所具有的目标平移、旋转和尺寸比例的不变性,在步态特征参数的提取中,将小波分解与不变矩理论相结合,提取包含人体整体分析模型的矩参数。同时,采用骨架化方法,提取包含人体简化模型信息的特征参数,将矩参数与骨架参数组合,作为步态识别参量输入支持向量机(SVM)进行分类识别。使用自建的天津大学红外步态数据库进行检测试验,通过精心选取SVM核函数,取得了较理想的识别效果。实验结果表明,该方法弥补了单一模型存在的诸多缺陷,增强了对人体目标结构特征的把握,更有利于步态本质特征的精确描述,容易获取正确的分类识别结果,从而减弱了由于步速、衣着、光照等变化所产生的影响,提高了算法的实用性。实际上,本研究提出的算法不但能较好地描述步态图像的形状及空间分布信息,还可应用到其他图像检索领域,具有很好的普适性。

参考文献

[1]Nixon MS,Carter JN,Cunado D,e t al1Automatic gai t recognition

[A].Biometrics:Pers onal Identi fication in Net worked Socie ty

[M].Netherlands:Kluwer Academic Publishers,1999:231-250.

[2]Ioannidis D,Tzovaras D,Di mitri os IG.,e t al.Gai t recognition

usi ng compact feature extracti on trans forms and depth i nformation

[J].IEEE Transactions on Information Forensics and Security,

2007,2(3):623-630.

[3]Wagg D K,Ni xon MS.Automated markerless extraction of wal king

people using deformable contour models[J].Computer Ani mation

and Virtual Worl ds,2004,15(3):399-406.

[4]Veres GV,Gordon L,Carter J N,et al.What i mage information is

important in silhouette-based gait recognition?[A].In:

Proceedings of IEEE Computer Society Conference on Computer

Vision and Pattern Recogntion[C].Washington D.C,USA:

IEEE,2004.2:776-782.

[5]Iwasawa S,Ebihara K,Ohya J,e t al.Rea-l ti me estimation of

human body posture from monocul ar thermal images[A].In

Proceedings of1997IEEE Computer Society Conference on

Co mputer Vision and Pattern Rec ogni tion[C].San J uan,Puerto

Rico:IEEE,1997.15-20.

[6]Keneth RC.数字图像处理[M].北京:电子工业出版社,

1993.427-430.

[7]Chen Chaur-Chin.Improved moment i nvariants for s hape

discrimi nation[J].Pattern Recognition,1993,26:683-686. [8]Yoo JH,Nixon MS,Harri s CJ.Extracting human gait si gnatures by

body segment properties[A].In:Proceedings of Proc IEEE

Southwes t Symposium on Image Analysis and Interpretati on[C].

Southampton,UK:Univers ity of Southampton,2002.35-39. [9]万柏坤,薛召军,李佳,等.应用ROC曲线优选模式分类算

法[J].自然科学进展.2006,16(11):1511-1516.

[10]Chang Chih-c hung,Lin Chihken.LIBSV M:a Li brary for Support

Vector Machines[EB P O L].(2001-11).http:P P www.csie.ntu.

edu.t w P~cjli n P libsvm.

26中国生物医学工程学报28卷