一种用于多目标跟踪的特征关联方法_聂烜

收稿日期:2008211225;修回日期:2009201212 基金项目:航空科学基金资助项目(20061353017)

作者简介:聂烜(19762),男,陕西西安人,博士,主要研究方向为图像处理、计算机视觉(xuannie@g mail .com );陈怀民(19642),男,安徽涡阳人,副教授,硕士,主要研究方向为导航与制导.

一种用于多目标跟踪的特征关联方法

3

聂　烜1

,陈怀民

2

(1.西北工业大学软件与微电子学院,西安710072;2.西北工业大学无人机特种技术国防科技重点实验室,

西安710065)

摘　要:在基于图像序列的多目标跟踪问题中,传统目标链算法利用目标的运动特征和面积特征对其进行关联,取得了较好的效果,但在如新目标进入视场,旧目标离开视场,多个目标靠近、融合,单目标发生分裂等复杂跟踪情况中,以上特征存在一定的失效情况。为此,提出一种计算目标形状相似度的方法,在传统目标链算法的基础上引入描述目标形状的新特征,构造了一个计算目标形状相似度的函数,可以解决形状不同的目标在靠近或交叉通过等复杂情况下的准确关联问题。实验表明,在对刚体目标的跟踪中得到了更可靠的目标关联效果。关键词:图像序列;目标关联;特征匹配;形状特征

中图分类号:TP391 文献标志码:A 文章编号:100123695(2009)0923545203

doi:10.3969/j .issn .100123695.2009.09.099

Track multi p le objects with feature 2correlati on algorithm s

N IE Xuan 1

,CHE N Huai 2m in

2

(1.College of Soft w are &M icroelectronics,N orthw estern Polytechnical U niversity,X i ’an 710072,China;2.N ational Laboratory of UAV Spe 2

cial Technology,N orthw estern Polytechnical U niversity,X i ’an 710065,China )

Abstract:This paper p r oposed a method t o compute objective cont our feature .Conventi onal objective chain algorith m s corre 2

lated the moti on with area characteristics of the objectives t o reach the goals .Nevertheless,they m ight not be efficient under certain circu m stances of comp licated tracking .This paper incor porated the cont our characteristic of the objective int o conven 2ti onal methods and thus constructed a functi on t o esti m ate the si m ilarity of the objective .Experi m ents were conducted t o show that more reliable results are obtained when rigid objects are tracked .Key words:i m age sequence;objective correlati on;feature matching;geometric feature

在基于图像序列的目标跟踪中,所观测目标出现在与其相似的目标群中的概率经常大于其独自出现的概率,故多目标的跟踪具有很强的实用性,它在交通监控、军事侦察和监视、飞机导航以及天文观察等领域都有着重要的实用价值[1,2]。同时,

多目标的跟踪也是一个相当具有挑战性的课题,因为多目标存在的场景中,图像中各运动目标区域在时、空域变化特性不同,使得观测场景内运动状态呈多样性变化,如新目标进入视场,旧目标离开视场,多个目标靠近、融合,单目标发生分裂等[3]。

在多目标跟踪中,特征关联是一类重要的方法,其主要解决各目标在不同帧之间彼此关联的问题,即运动目标之间的对应关系通过目标的特征匹配来建立。常用的匹配特征有目标的位置、大小以及颜色等。对于这类算法的研究很多,一般都基于目标和背景之间存在明显区分的假设,其关联效果取决于对目标特征的选择。图1给出了特征关联在多目标跟踪中的作用

。

在特征关联算法中,为从多幅图像寻找对应于同一目标的匹配,通常采用最近邻法或全邻域法。其使用的匹配函数通常利用每个目标质心位置信息,即考虑待跟踪目标与下一帧各目标质心间的欧氏距离,距离最小的两个目标认为是同一个目

标。该方法较少考虑目标自身的特征属性,易出现跟踪错误。也有学者提出在目标检测与提取基础上,同时利用目标质心位置与目标所占图像区域面积作为特征进行匹配的方法[4],尽管较单独利用目标质心位置有一定的改进,但仍无法处理同类

目标交叉通过的情况。为此,本文提出一种基于特征关联新方法,可较好地处理复杂情况下目标关联的问题。

　基于目标链的特征跟踪算法

在对图像中的目标进行检测和提取后,可建立每个目标的目标链,以确定同一目标在相邻帧图像中的联系。具体方法为:a )在跟踪开始时,为检测到的每个目标相应建立一个特征向量并作为一个节点记录在一个链表中,该链表被称为目标链,同时设置一个计数器来记录目标数目;b )利用目标链进行目标匹配,具体地,计算当前帧中每个目标的特征参数向量,与上一帧的各个目标链节点进行匹配,以确定目标间的关联,并用同一目标的新特征向量更新目标链中相应的特征向量节点;c )如果已被记录的特征向量不被任何目标匹配,则判断该目

标离开场景,此时删除其特征向量节点,并对目标计数减1;d )如果有的目标匹配不到已记录的特征向量,则判断有新目标出现,此时建立新的特征向量节点,且对目标计数加1。这样,对每一个目标,其在被跟踪过程中始终与一个代表它的特征向量

第26卷第9期2009年9月　

计算机应用研究

App licati on Research of Computers Vol .26No .9Sep.2009

相关联。用于辨识每个目标的特征向量由目标链的一个节点记录,目标链节点的不断更新反映出了目标运动状况的改变,而节点的插入和删除表示新目标的出现和已有目标的离开。

　基于目标位置与面积特征的匹配算法

为叙述方便,定义一组经连续采样得到的图像序列F= {f1,f2,…,f n},对其中每帧图像统一到相同的二维直角坐标系中,将第k帧图像f

k

中的m个目标分别记为R={r1,r2,…, r m}。

由于跟踪系统的摄像机一般具有较高的采样频率,序列中相邻两帧的时间相隔Δt比较小,根据目标运动的连续性,其位置和速度等运动状态不可能在这样短的时间内发生较大变化。由于目标运动中的能量集中于其质心,该质心位置变化具有连续性,可采用最近邻法或全邻域法利用位置相似性特征进行目标关联。具体地,考察当前某目标与下一帧中每个待匹配目标之间质心的欧氏距离,则距离最小时认为是同一个目标。

当单独考虑目标质心距离的特征信息时,定义r i的位置

特征值为(x i

k

,y i k),它表示在f k内r i质心的坐标;同时,(x j k+1, y j k+1)表示f k+1中r j的质心坐标。两个待匹配目标间的绝对距离为

D(i,j)=(x i k-x j k+1)2+(y i k-y j k+1)2(1)将式(1)定义的距离作归一化处理,得到以下的运动位置相对相似度函数:

s(D(i,j))=D(i,j)/∑

i

(D(i,j))(2)

其中:∑

i (D)表示属于f

k

的某目标r i与f

k+1

中所有目标的位置

距离之和。

式(2)表达了目标间的运动相似性,即s(D(i,j))越小,其运动越相似。同理,还可以考虑对目标其他运动特征的利用,若增加目标运动的速度、加速度状况,则建立的匹配函数会更有效,但相应的计算复杂度也会提高。如果不同目标之间的运动速度差异较大,应考虑将其速度、加速度等作为判断目标运动状态是否相似的特征。

同理,相邻两帧中同一个目标的面积也不可能发生较大变化,故可以利用最近邻法建立如式(3)所示的面积的相对相似度函数:

s(A(i,j))=|ΔA(i,j)|/∑

i

(|ΔA(i,j)|)(3)其中:ΔA(i,j)=A(i)-A(j),表示任意两目标r i与r j的面积

绝对差异;∑

i (|ΔA|)表示属于f

k

的某目标r i与f

k+1

中所有目

标的面积绝对差异之和。

利用目标的运动特征和面积特征可在一定程度实现有效的目标关联,但实际中往往存在着多个面积差异较小的目标发生运动交叉的情况,此时以上特征可能会失效。本文提出一种在以上算法的基础上引入计算目标形状相似度的方法,通过比较目标在形状上的差异使该问题得到解决。

　目标形状相似度的计算

对于刚体目标,因其运动的连续性,它在相邻的两帧图像中的轮廓形状将基本维持不变。基于上述原因,本文提出一种计算目标形状相似度的方法,在跟踪刚体目标时,可将其与目标的运动特征和面积特征结合起来进行目标关联。

为叙述方便,定义F(i,j)为目标r i与r j之间的形状相似度判定函数,用于表示该两个目标的轮廓形状接近程度。本文认为,将目标的轮廓曲线用一个多边形近似表征后,可进一步计算F(i,j)。

具体地,由于目标轮廓是一条封闭曲线,从几何意义上,它可以看做某个多边形在顶点数趋向无穷时的近似逼近。一般地,也可利用顶点密集的多边形来近似表示该曲线。例如对于图2(a)(b)中的两个目标,可得到(c)(d)的轮廓效果。因此,理论上可通过对多边形的相似性分析来判断目标形状的接近程度。为了简化运算,可在待匹配的相邻两帧图像中,将光栅化表示的目标轮廓曲线上的点各自进行等比例间隔的重采样,连接重采样后得到的相邻点便产生了一个表征目标轮廓形状的多边形。由于采样比例间隔相同,所产生的两个多边形的顶点数目相同,且它们为同构多边形,如图2(e)(f)所示。重采样后,多边形顶角的锐利程度反映了目标轮廓的变化程度,顶角越锐利,其表征目标形状特征的能力越强;反之,若顶角较钝,其表征目标形状特征的能力较弱。当某顶点接近时,该顶点原来连接的两条线段可用一条线段进行替换。

为了突出轮廓特征,本文采取删除较平直顶点、保留较锐利顶点的策略,以削弱较平直顶点对轮廓形状相似判定的干扰。具体地,按照顶点的锐利度排序,并按照设定的顶点保留数目将其中较平直的顶点删去,得到简化后的多边形,如图2(g)(h)所示。

再查找各多边形的最大拐点(即顶角内角最小的点),沿着顺时针方向将各个顶角顺次对应起来,并建立它们形状的绝对相似度函数F(i,j),如式(4)所示:

F(i,j)=∑

M

m=1

|θk,i m-θk+1,j

m

|(4)

其中:θk,i

m

和θk+1,j

m

的含义为:对于任意目标r i和r j,表示它们各自轮廓的m边形的对应内角。式(4)表明两个同构多边形对应内角的角度越接近,它们就越相似。

最后进行归一化处理,修改后的形状相对相似度函数如式(5)所示,它代表了两目标在目标群中的形状相对接近程度。

s(F(i,j))=F(i,j)/∑

i

(F)(5)其中:∑

i

(F)为属于f

k

的某目标r i与f

k+1

中所有目标的绝对相似度之和。s(F(i,j))间接给出了对应目标的形状相似度。　特征匹配

在式(2)(3)(5)中,s(D)代表了目标位置之间的接近程度,s(A)说明目标面积的差别程度,而s(F)表征了目标间形状的相似程度。当应用中存在多个同类目标时,利用目标质心位置的变化信息能够有效关联各目标,而依据目标的面积和形状就能够将异类目标区分出来。因此在一般情况下,综合采用以上三种特征起到了很好的目标辨识作用。考虑到在不同的应用场合,三种特征对判别的影响程度不同,本文给出的目标辨识特征向量为[γs(D),ξs(A),λs(F)]。其中,γ、ξ、λ是三个特征的影响因子,其取值由具体应用来确定。由此得到表示目标

?

6

4

5

3

?计算机应用研究　第26卷

r i

与r j

的绝对相似度函数如下:

Δ(i,j )=

(γs (D ))2+(ξs (A ))2+(λs (F ))2

(6)

最后作归一化处理,并将目标相似函数修正为ΔR (i,j )=1-Δ(i,j )/∑i

(Δ(i,j ))。其中:∑i

(Δ(i,j ))为属于f k 的某目标

r i 与f k +1中所有目标的绝对相似度之和。ΔR

(i,j )代表了两个

目标总的相对相似程度,该值越大,说明两目标的关联性越大。显然,max ΔR (i,j )表示r i 与r j 是同一目标的可能性最大。利用这种方法,可设定相似度的阈值T Δ来判断目标的消失。如果在f k +1中,某目标与f k 的所有目标匹配的结果均小于T Δ,说明在f k +1中该目标消失;如果比T Δ大,则相似函数取得最大值时的目标为原目标的后续。这种关系由式(7)给出:

sa me (i,j )=

1 max ΔR (i,j )≥T Δ0 max ΔR

(7)

为了在较小区域中进行目标关联,可根据每个目标的运动状况,引入卡尔曼滤波来预测目标出现区域,从而减少运算量,并使跟踪稳定性增强,即由目标r i 的运动状态得到在f k +1中对它的搜索区域,并仅在搜索区域中进行目标相似性判断。

　目标关联

在相邻帧图像中进行目标关联是多目标跟踪重点解决的课题,需要考虑目标与目标的对应,以及是否有新目标进入或者旧目标离开场景等问题。

为了便于讨论,将目标区域分成三种,分别为进入区、跟踪区和离开区[5]。进入区表示目标刚刚进入场景;跟踪区表示目标进入完全跟踪状态;离开区表示目标已经脱离跟踪。算法关键在于如何对相邻帧中同一运动目标建立正确的对应关系,避免产生误配。在目标分割与提取的基础上,可根据保存的目标链来确定r i 的后续r j ;然后用r j 的特征值来刷新其对应的目标链节点,提供给后续跟踪使用,同时保留目标的运动轨迹,并借助卡尔曼滤波来预测其运动位移。由于目标链记录了目标的自身特征和运动特征,随时提供对目标的辨识依据,将作为

目标关联条件的式(7)与以下判断策略相结合,可得到有效的目标关联方法:

a )将开始跟踪时的第一帧图像中出现的目标全部作为新目标。如果目标质心位置的坐标P (x,y )

b )接收后续图像f k ,对当前第i 个目标r i

(1≤i ≤n,n 为被

跟踪目标数),如果其处于跟踪区,则运用卡尔曼滤波进行跟踪,反之则否。对于前一种情况,计算r i 与f k +1内所有目标间

的相似度函数,并根据式(7)进行如下判断:

(a )如果sa me (i,j )=1,说明目标r j 为目标r i 的后续,用r j

的特征值更新r i 的目标链节点,并对该目标r j 作更新标记。

(b )如果sa me (i,j )=0,说明目标r i 在f k +1中没有后续。这时可能出现目标暂时静止、消失或者离开跟踪区三种情况。

可根据r i

的质心坐标作如下判断:若P i (x,y )

P out (x,y ),认为该目标离开跟踪区,应停止该目标对应的卡尔曼模型,同时删除其目标链节点。

(c )在对所有被跟踪目标进行匹配后,检查f k 上所有目标

是否被标记,如果全部目标都被做了标记,则说明对属于f k 的

所有目标找到了关联关系;如果有目标未被标记,那么应判断其质心坐标是否满足P in (x,y )≤P (x,y )

(d )递归处理f k +1,重复(a )～(c ),直至图像序列处理结束。

　实验结果及评价

图3给出一组测试图像

。其中,(a )(b )分别为第k 、k +1

帧原始图像,图中有两个目标分别向右、向左运动。对于(a )中向右运动的目标,表1给出了本文提出的算法与采用目标运动特征和面积特征的算法[6]分别计算的相似度结果比较。

表1中,f1o1为第k 帧中向右运动的目标;f1o2为第k 帧中向左运动的目标;f2o1为第k +1帧中向右运动的目标;f2o2为第k +1帧中向左运动的目标。取γ=ξ=λ=1。

从表1可以看到,本文计算得到的前后帧图像中两个向右运动的目标之间的相似度为0.659,大于文献[6]算得的

0.601;而f1o1与f2o2之间的相似度为0.341,小于文献[6]算

得的0.399,即本文得出相同目标间的相似度较高,不同目标间相似度较低。显然,本文结果的可靠性较高。

　结束语

针对传统算法所采用的运动特征和面积特征存在的特异性小、容易造成误关联的缺陷,提出了一种计算目标形状相似度的方法,并通过将目标形状特征与文献[6]使用的运动特征和面积特征相结合,获得了更可靠的目标关联效果。参考文献:

[1]MAGEE D R.Tracking multi p le vehicles using f oregr ound,back 2

gr ound and moti on models [J ].I m a ge a nd V is i o n Com pu ti ng,

2004,22(2):1432155.

[2]HAR I T AOG LU I,HAR WOOD D ,DAV I S L.W4:real 2ti m e surveil 2

lance of peop le and their activities [J ].I EEE Tra ns o n P a tte rn

Ana l ysis a nd M a chi ne I nte lli gence ,2000,22(8):8092830.[3]

BAR 2SHALOM Y .Tracking methods in a multitarget envir onment [J ].I EEE Tra n s on Au t om a ti c Co n tr o l,1978,23(4):6182

626.

[4]COLL I N S R,L I PT ON A,K ANADE T,et al .A syste m f or video sur 2

veillance and monit oring,C MU 2R I 2TR 200212[R ].Pittsburgh:Car 2negie Mell on University,2000.

[5]张嫣.运动图像序列中多目标跟踪的研究与实现[J ].计算机应用

研究,2002,19(1):74276.

[6]付晓薇,方康玲,邱奕敏,等.一种基于特征代价函数的多目标跟

踪算法[J ].武汉科技大学学报,2004,27(4):4162418.

?

7453?第9期

聂　烜,等:一种用于多目标跟踪的特征关联方法