目标检测与跟踪方法在自动跟踪装置中的应用

第33卷增刊2007年11月

光学技术OPTICAL TECHN IQU E Vol.33Suppl.

Nov.　2007

文章编号:100221582(2007)S 20069203

目标检测与跟踪方法在自动跟踪装置中的应用

Ξ

伍翔,霍炬,杨明,董红红

(哈尔滨工业大学控制与仿真中心,哈尔滨　150082)

摘　要:介绍了一种应用于自动跟踪装置上的运动背景下目标检测与跟踪的方法,采用仿射模型作背景运动估计进行检测以及mean 2shift 算法跟踪目标,并将该方法应用到一套自动跟踪系统实验平台上。

关

键

词:仿射模型;mean 2shift 算法;自动跟踪装置

中图分类号:TP751 文献标识码:A

Application of a moving target detecting and tracking

method in the automatic 2tracking equipment

WU X iang ,H UO J u ,Y ANG Ming ,DONG H ong 2hong

(Control and Simulation Center ,Harbin Institute of Technology ,Harbin 150082,China )

Abstract :This paper presents a moving target detecting and tracking method in moving background for the automatic 2tracking equipment.It uses affine model to estimate the moving character of the background for detecting ,and uses mean 2shift algorithm for tracking.An automatic 2tracking experimental system is realized by using this method.

K ey w ords :affine model ;mean 2shift algorithm ;automatic 2tracking equipment

0　引　言

基于图像处理的运动目标检测与跟踪,作为图像处理技术的一个分支,由于其在民用和军用上的广泛应用

[1,2]

,也逐

渐成为研究的热点。本文主要针对自动跟踪装置,研究与设计一种图像处理的方法,实现运动背景下运动目标检测与跟踪,并应用到所搭建的自动跟踪仿真系统中。

1　自动跟踪系统实验平台

利用图像处理的方法实现自动跟踪功能的跟踪系统一般由摄像机、图像采集卡、计算机、伺服系统几部分组成。摄像机、图像采集卡以及计算机都装载在伺服系统上,当摄像机的视野中出现运动目标时,计算机对图像采集卡采集到的图像进行处理分析,得出运动目标的位置等信息,传递给伺服系统,伺服系统带动相机跟踪目标,使得目标始终保持在视野的中心

。

图1　自动跟踪系统实验平台结构框图

图1即为所搭建的自动跟踪系统实验平台的结构框图,

该平台是专门根据自动跟踪装置的结构和特点设计的,对自动跟踪装置进行模拟。由图1可知,在计算机上实现的图像处理部分,是整个系统的关键。它所要完成的功能是从采集图2　图像处理部分基本流程

到的每幅视频图像中找出运动目标的位置,即运动目标的检测与跟踪。它主要包括两方面:第一,运动目标的检测与提取;第二,目标跟踪。其处理流程图如图2所示。

2　运动目标检测

2.1　背景模型选取

根据摄像机相对于场景的运动情况可以将运动目标检测分为静止背景下运动目标检测和运动背景下运动目标检测两种。由自动跟踪装置的特性可知,在跟踪目标的过程中,摄像机随着伺服系统一起运动,所以应该考虑的是运动背景下运动目标的检测。

本文采用的是运用背景运动估计进行建模的思想,将两帧图像之间的背景运动关系用仿射变换表示,建立一个仿射运动参数模型。如

x k +1=a 1x k +a 2y k +d x y k +1=a 3x k +a 4y k +d y

(1)

9

6Ξ收稿日期:2006212211 E 2m ail :wuxiang602@https://www.360docs.net/doc/733967205.html,

基金项目:国家自然科学基金资助(60434010)

作者简介:伍翔(19842),男,苗族,湖南省人,哈尔滨工业大学硕士研究生,从事图像处理研究。

式中(x k ,y k )为第k 帧图像背景中一像素坐标;(x k +1,y k +1)是其在第k +1帧中的坐标;a 1,a 2,d x ,a 3,a 4,d y 为模型参数。

假设背景做三维刚体运动,那么三维空间中一个刚体位置的运动,在笛卡尔坐标系中可以用仿射变换式(2)来建模[3]

X ′=R X +T =R x αRy βRz θ+T

(2)

式中R 为3×3的旋转矩阵;α、β、θ分别表示绕X 、Y 、Z 轴按右手定则方向的旋转角度,R x α、Ry β、Rz θ分别是绕X Y Z 轴的旋转变换矩阵;T 是三维平移运动矢量。由式(2)可知空间中一刚性三维物体的运动可以分别沿着三个坐标轴的旋转和空间中三个方向的平移运动叠加而成。由此,我们可知,在背景做慢速三维运动时,两帧之间背景图像的变化主要是由背景沿轴的平移和围绕轴的旋转引起的。

另外,在自动跟踪装置跟踪过程中,伺服系统的运动速度相对于摄像机的拍摄速度而言,通常较慢,背景图像的运动体现出的是一种慢背景运动。

所以,用仿射模型(1)式去表示背景运动并应用于自动跟踪装置是完全合适的。

2.2　模型的建立

模型参数的建立采用块匹配法,基于在跟踪瞄准过程中,目标基本是出现在视野的中心区域,因此可以在如式(3)描述的四个小区域内各选取一个待匹配块,式中M ax dx ,M ax dy 分别为背景图像在X ,Y 方向最大可能位移,i H ,iW 分别为帧图像的高和宽,R 为小区域的大小。

Rgn 1:{x ∈(Maxdx ,Maxdx +R ),y ∈(Maxdy ,Maxdy +R )}Rgn 2:{x ∈(iW -M ax dx ,iW ),y ∈(M ax dy ,M ax dy +R )}Rgn 3:{x ∈(M ax dx ,M ax dx +R ),y ∈(i H -M ax dy ,i H )}Rgn 4:{x ∈(iW -M ax dx ,iW ),y ∈(i H -M ax dy ,i H )}

(3)

考虑到当随意选择一个块作为待匹配块时,如果该块含有的细节信息较少,并且由于图像在一定的小范围内通常会相对较为平滑或相似,这样使用该块在下一帧(k +1)图像中寻找匹配块时就很容易出现错误匹配,因此为了减少由此带来的错误匹配,本文选择上述四个区域中方差最大的块作为匹配块。寻找方式如式为

B i (x k ,y k )=

max B

k ,i

∈Rgn

i

{V ar[B k ,i (x ,y ,w ,h )]}

=max {

∑m ,n ∈B

k ,i

[f

k

((m ,n )-m )2]}

i =1,2,3,4

(4)

其中(x k ,y k )为块B i (x k ,y k )中心坐标;m 为块B k ,i (x ,y ,w ,

h )的均值;w ,h 分别为代匹配块的宽和高。

2.3　模型的求解

选定好四个匹配块B i 后,用这四个匹配块与第k +1帧如式(3)的所描述的四个区域相匹配,计算匹配距离,计算公式为

B ′

i (x ,y )=C s ?

∑

m ,n ={-1,0,1}

(w s (n ,m )?B i (x +n ,y +m ))

Π(x ,y )∈B i

(5)

D i (x k +1,y k +1)=

min

f

k +1

∈B

i

1

w h

?

∑m ,n ∈B

i

{w

l

(m ,n )

[f ′

k +1(x k +1+m ,y k +1+n )-B ′i (m ,n )]2

}

(6)

其中w l ,w s 为窗函数,使用的目的是为了消弱由于背景图像旋转而引起块匹配时的误差,同时该窗也起到对图像进行平滑消除噪声影响的作用,本文选用的是三角窗。当计算完四个待匹配块相对应的匹配块的中心坐标后,在四个中选取匹

配距离最小的三个,代入仿射模型(1),构造一方程组,然后求解方程组,便可得到仿射模型式(1)的参数。

2.4　建立匹配图像及检测

首先将第k +1帧的图像f k +1拷贝到匹配图像f ^

k +1,然后利用模型(1),将第k 帧的图像f k 逐像素计算其在第k +1帧

的新坐标(x ′,y ′

),若计算得到的新坐标超出图像的大小范围,则将这一点抛弃,否则用该像素的值代替匹配图像f ^

k +1的值,具体的计算公式见(7),计算完匹配图像后,匹配图像f ^

k +1的背景图像与第k +1帧f k +1的背景图像已经匹配对准,这样就可以利用匹配图像f ^

k +1与第k +1帧图像f k +1的差来进行变换检测,不符合背景运动特性的部分就会凸现出来,即运动目标被检测出来[4]。

a :f ^

k +1=f k +1(x ,y );

Πx ∈(0,Width );Πy ∈(0,Height )

b :

x ′=a 1x +a 2y +d x y ′=a 3x +a 4y +d y

c :if (x ′∈(0,Width )an

d y ′∈(0,Height ))　then f ^

k +1(x ′,y ′

)=f k (x ,y )(7)

3　目标跟踪

目标跟踪是自动跟踪功能的一个重要方面,考虑到自动跟踪装置要求定位精度高的特点,本文选取的是mean 2shift 的跟踪方法,mean 2shift 算法是利用目标图像像素灰度距离中心点的距离和作为特征。将候选目标的特征与模板特征进行比较,再通过mean 2shift 过程使得跟踪算法收敛于平衡点。该方法具有如下优点:

(1)mean 2shift 算法是利用迭代的算法收敛到平衡点,所

以相对耗时较少。

(2)由于mean 2shift 算法对各像素点灰度按到中心点的

距离加权,距离中心点越远,权值越小,通常目标的边缘(距离

中心点较远)最容易受到干扰,所以,mean 2shift 算法的抗干扰能力较强。

(3)mean 2shift 算法中对跟踪框进行了归一化处理,在目

标的形状发生缩放、旋转的情况下仍然能够得到很好的跟踪效果。

(4)mean 2shift 算法对于刚体目标和非刚体目标都具有

很好的跟踪性能[4]。

Dorin C 对mean 2shift 算法在文献[5]中作了详细的介绍

与推导,证明其可以用于跟踪。完整的跟踪算法总结如下:

如果目标具有特征{q ^

u }u =1,…,m ,在前一帧图中位于y ^

0,那么重复以下步骤可得到目标新位置y ^

1:

1.估计当前帧中在y ^

0处候选目标的特征{p ^

u (y ^

)0}

u =1,…,m

,计算ρ[p ^(y ^0),q ^

]=

∑

m

u =1

p ^u (y 0)q ^

u 。

2.计算{w i }i =1,…,m

3.使mean 2shift 方法,计算目标新位置

7光　学　技　术 第33卷

y ^

1=

∑

n

h

i =1x i w i g ‖y ^

-x i h

‖2

∑

n h

i =1w i g ‖y ^

-x i h

‖2 4.更新{p ^

u (y ^

1)}u =1,…,m},计算

ρ[p ^

(y ^

1),q ^

]=

∑

m

u =1

p ^u (y 1)q ^

u

5.如果ρ[p ^

(y ^

1),q ^

]<ρ[p ^

(y ^

0),q ^

],那么y ^

1←

(1/2)(y ^

0+y ^

1),直到ρ[p ^

(y ^

1),q ^

]>ρ[p ^

(y ^

0),q ^

]

6.如果‖y ^1-y ^0‖<ε,停止,否则y ^0←y ^

1,转2。ε为迭代精度的控制量,在本文中选取的ε使y ^0和y ^

1间的距离小于2个像素。

步骤1中p ^

u (y )的意义为特征u =1,…,m 在候选目标当中出现的概率

p ^

u (y )=C h

∑n h

i =1

k

‖

y -x i h

‖2

δ[b (x i )-u ](8)

式中C h 是归一化因子,使得

∑

m

u =1

p ^

u =1,h 的选择,决定了

候选目标的尺度。g (x )=-k ′(x ),k (x )称为核函数g (x )的影子,其导数在x ∈[0,∞

)上除了有限个点外都存在。核的选取可以有多种[5],本文选取产生最小平均积分平方误差的

优化核(Epanechnikov 核)

k (x )=

12c -1d (d +2)(1-‖x ‖2

)if ‖x ‖<10

otherwise

(9)

步骤2中的w i 实际上是统计特征时的加权值,其计算公式为

w i =

∑

m

u =1

δ[b (x i

)-u ]

q ^

u p u (y ^

0)

(10)

对于灰度图像,b (x i )可以这样确定:计算目标区域和候选目标区域的直方图,将直方图划分成m 段,每段包含256/m 个灰度级,若x i 落在某段内,则b (x i )返回该段中心的灰度值,或是该段的序号。对于三通道的彩色图像,则可以计算区域的三个通道的直方图,将每个直方图划分成m 段,x i 的三个分量分别落在每个直方图的m 0,m 1,m 2段,则

b (x i )返回m 2×

m 2+m 1×m +m 0。

第一帧图像中目标的位置坐标由前面介绍的运动目标检测部分得到,以后的每帧图像中目标的位置则均可由mean 2

shift 跟踪算法得到。

4　跟踪实验

图3(a )和图3(b )为在一室内场景中,采用本文所述的检

图3(a )　跟踪图像效果1 图3(b )　跟踪图像效果2测与跟踪方法进行跟踪实验得到的缩小效果图,实际的视频

图像尺寸为640×480像素,宽与高的单位都为像素。图4(a )和图4(b )为目标的实际几何中心坐标变化轨迹和运用本文方法检测并跟踪所得到的中心坐标变化轨迹,坐标系原点选

取的是图像的左上角,横轴为X 轴,纵轴为Y 轴。变化轨迹

图中小圆圈表示的是目标几何中心的实际位置,“+”表示的是检测得到目标中心的位置,纵轴单位为像素,横轴单位为帧。在图中,目标所占的尺寸大小为120×90左右。

图4(a )　X 坐标变化轨迹

根据视频图像中目标的大小以及图4所描绘的检测结果与实际结果的比较,我们可以看到,X 坐标上的最大检测误差小于视频图像中目标宽度的一半(即120/2=

60),Y 坐标上的图4(b )　Y 坐标变化轨迹

最大检测误差小于视频图像中目标高度的一半(即90/2=45),因此,每一帧检测所得的中心坐标都在实际目标范围内,跟踪成功。

另外从图3也可以看到,运用

本文的检测与跟

踪方法,在物体遇到部分遮挡时,能够有效地排除障碍的干扰,找到目标。

5　总结与展望

本文介绍了一种目标检测与跟踪的方法:先采用仿射模型进行背景运动估计检测出运动目标,然后采用mean 2shift 算法对检测出来的目标进行跟踪。将该方法应用到搭建的自动跟踪系统实验平台上,进行了跟踪实验。从实验的结果可以看到运用该方法可以达到很好的跟踪效果,表明了该方法在自动跟踪装置上应用的可行性。

从图3(b )中也可以看到,当出现手电筒障碍物,并被部分遮挡时,跟踪有一些偏差,而且该方法需要适应室外更加复杂多变的环境,这些需要后续更多的实验来进行参数的优化和算法的改进。参考文献:

[1]Haritaoglu I ,Davis H D ,et al.W/sup4/:Who ?When ?Where ?

What ?A real time system for detecting and tracking people[C].Pro 2ceedings of Third IEEE International conference on Automatic Face and G esture Recognition ,1998.222—227.

[2]Stringa E ,Regazzoni C S.Real 2time video 2shot detection for scene

surveillance applications [J ].IEEE Transactions on Image Process 2ing ,2000,9(1):69—79.

[3]Tekalp M.Digital video procesing[M ].Prentice Hall ,Inc ,1996.

94.

[4]郑江滨.视频监视方法研究[D ].西北工业大学,2002,5.

[5]孙剑.基于mean 2shift 的快速跟踪算法设计与实现[J ].计算机工

程,2006,32(15).

[6]Dorin C ,Peter M.Mean shift :a robust approach toward feature

space analysis[J ].IEEE Transactions on Pattern Analysis and Ma 2chine Intelligence ,2002,24(5):603—619.

1

7增刊伍翔,等:　目标检测与跟踪方法在自动跟踪装置中的应用