基于改进均值位移的红外目标跟踪方法

第26卷第6期2007年12月红外与毫米波学报J .I nfrared M illi m .W avesV o.l 26,N o .6D ece m ber ,2007文章编号:1001-9014(2007)06-0429-04收稿日期:2006 10 08,修回日期:2007 05 24 R eceived da te :2006 10 08,revised da te :2007 05 24基金项目:(总装)武器装备预研基金(9140C8002020707)作者简介:宋 新(1979 ),男,博士,山东邹平人,主要研究方向:图像处理与目标识别,计算视觉等.基于改进均值位移的红外目标跟踪方法宋 新, 王鲁平, 王 平, 沈振康(国防科技大学电子科学与工程学院ATR 重点实验室,湖南 长沙 410073)摘要:针对红外序列图像中目标存在旋转的问题,提出了一种改进的M ean sh ift 跟踪方法.首先通过建立带有带宽矩阵G auss i an 核的M ean sh ift 矢量,采用类似E M 的方法给出了递推公式;并且通过对图像序列的运动补偿,提高了算法的适应性;同时通过和K a l m an 滤波相结合,提高了算法的鲁棒性.实验结果证明算法能够成功实现对红外目标的跟踪,并且对目标旋转和缩放具有很强的适应性.关 键 词:均值位移;目标跟踪;卡尔曼滤波器;高斯核函数中图分类号:TP7391 4 文献标识码:AIR TARGET TRAC K ING BASED ON IMPROVEDMEAN SH I FT METHODSONG X i n , WANG Lu Ping , W ang P i n g , S HEN Zhen K ang(ATR K ey L ab ,Schoo l of E lectronic Sc ience and Eng i neer i ng ,N ati onal U niversit y of D efense T echno logy ,Changsha 410073,Ch i na)Abstrac t :Fo r targ et rota tion i n I R i m age sequence ,an i m proved M ean shift track i ng me t hod w as approached .M ean s h iftvec t o r w as establi shed by G auss i an kerne lw it h band w i dth m atr i x ,and recursi ve equations w ere g i ven i n E M li ke m anner .F lex ibility of a l go rith m was i m proved by m otion co m pensation o f i m age sequence .R obust ness of a l gor it hm w as i m proved by comb i n i ng w it h K a l m an filter .Expe ri m en ts show tha t our m ethod ach i eves success i n I R targ et track i ng ,at sa m e ti m e the m ethod can be adapted to the transfor m ations o f rota tion and zoom i ng .K ey word s :M ean shift ;targe t tracki ng ;K a l m an filter ;G aussian kerne l引言红外图像是感应物体辐射得到的图像,因此红外图像可以提供可见光图像中不能提供的信息.然而与可见光图像相比,红外传感器得到的图像信噪比很低,因此在进行目标检测和跟踪时只能提供有限的信息.而且红外图像中目标特征不明显,存在着很大背景杂波等,这些问题使得红外目标的跟踪更加困难.M ean sh ift 作为一种特征聚类的方法,自从Fukunage [1]提出以来在很多方面得到了应用[2],Com an iciu 和M eer 等[3,4]把它用于目标跟踪取得了很大的成功.Y il m az [5]提出把M ean sh ift 用于FLI R 目标跟踪,并且在工程上实现.但是经典M ean shift 方法对目标的尺度变化没有很强的适应能力,于是人们提出了很多改进算法[6,7].已有的算法一般是通过多次计算取最佳值或者采用仿射模型计算缩放比例等方法,来适应目标大小的变化.并且大部分M ean sh ift 的改进方法只能适应目标的平移缩放,很少有方法能够适应目标的旋转变化.文[8]虽然提出了用带宽矩阵,引入目标倾角的方法来跟踪旋转的目标,但是它是采用试探的方法通过多次分别计算水平、垂直和旋转的自由度,然后分别取最佳值;这种方法比较复杂,而且采用固定的变化大小,对目标变化的适应性不强.本文在文[9]的基础上提出了一种能够在目标旋转的情况下仍然能够很好跟踪目标的改进方法.首先,用协方差矩阵作为高斯分布的带宽矩阵;其次用灰度空间联合的直方图来对目标建模,然后建立有带宽矩阵的M ean sh ift 模型,并且根据相似度度红外与毫米波学报26卷量值决定是否对序列进行运动补偿,对红外探测器自身运动引起的图像全局运动进行补偿;最后通过K al m an滤波方法对目标位置进行估计适应目标位置的快速变化.1 M ean shift算法的改进1.1 M ean shift算法思想假设X是d维欧氏空间中的总体,{x i,1 in}是来自总体X的独立同分布样本集,K(x)为核函数,带宽矩阵为H,则X的核密度估计定义为f(x)=1n|H|1/2ni=1K[H1/2(x-x i)] ,(1)经常使用的核函数是Epanechikov核K E(x)=(2c d)-1(d+2)(1-xTx) if xTx<10 ,oth erw i se(2)还有高斯核函数K G(x)=(2 )-d/2exp-12x T x ,(3)文献[2]选择带宽矩阵为h2I,得到的M ean Shift矢量为M h(x)=ni=1x i g x-x ih2ni=1gx-x ih2-x ,(4)由M ean Shift矢量得到M ean Sh ift迭代公式y j+1=ni=1x i gx-x ih2ni=1gx-x ih2 .(5)1.2 采用带宽矩阵的M ean shift算法一般M ean sh ift都采用Epanech i k ov核,但是对于红外图像来说采用高斯核函数更合适,而且高斯核能够得到比Epanech i k ov核更好的结果.经典M ean sh ift方法带宽矩阵选择为h2I,这在目标形状变化不大的情况下,可以适用,但是如果目标出现了大的尺度缩放或者旋转等变化的时候,经典的M ean sh ift算法就不能很好的跟踪.本文采用文献[9]的方法,对于高斯核函数表示的M ean sh ift 过程,高斯联合分布的协方差矩阵就是带宽矩阵的一种表示[10],对于大小为N的独立分布的数据点集合:X={x1,x2,!,x N}假设它的高斯概率密度函数为N(x, ,V),定义目标函数为f( ,V)=Mi=1i N(x i, ,V) ,(6)i为加权值,可以通过类似E M方法的M ean sh ift 迭代过程得到目标函数的极大值:1)E step:保持 (k)和V(k)固定,寻找q i使得目标函数取极大值,最大值通过下面式得到:q i=iN(x i; (k),V(k))Ni=1iN(x i; (k),V(k)).(7)2)M step:保持q i为常数,求出 和V使得目标函数取极大值.q i是常数,根据参数g( ,V)=Ni=1q i log N(x i; ,V) ,(8)从!! g( ,V)=0得到(k+1)=Ni=1q i x i=Ni=1x i i N(x i;(k),V(k))Ni=1iN i;(k),V(k)),(9)采用∀归一化方法得到g∀( ,V)=Ni=1q i log|V|∀/2N(x i; ,V) ,(10)从!!V g∀( ,V)=0,得到从V的更新方程定义为Vk+1=1/(1-∀)Ni=1q i i-(k))i-(k))T.(11) 1.3 相似度测量在彩色图像序列中,常选H SV颜色空间作为特征空间进行目标描述.在红外图像序列中,只有灰度信息可以作为红外目标的特征空间.与颜色空间相比,单一的灰度空间信息量少,而且特征描述受噪声影响大.本文采用[11]的方法采用级联的灰度空间作为特征空间,用在x方向和y方向滤波后的图像上建立加权直方图,形成概率密度分布描述.令x i代表像素的位置, 0是图像中目标的中心初始位置.假设直方图有M个灰度级别,函数b(x i):R2∀1,!,M是把在x i点的像素灰度值函数映射到灰度级的函数.目标的灰度直方图模型包括M个量化级别的M个值o=[o1,!,o M]T.第u个级别的值可以通过下式计算q u=N Vi=1N(x; 0,V0)#[b(x i)-u] ,(12)这里#是de lta函数.用高斯核N更多的依靠在目标中心的点,对在目标边缘的点赋予比较小的权值.从核函数有限邻域中,只用N V0个点,并且超过2.5∃的值都忽略.后续序列中表示目标位置和形状的椭圆形区域用它的位置 和协方差矩阵V描述的形状定义.描述区域外观的颜色直方图是p u( ,V)4306期宋 新等:基于改进M ean shift 的红外目标跟踪方法p u ( ,V )=NVi=1N (x;,V )#[b (x i )-u] ,(13)区域和目标的相似性通过它们的直方图定义.和文献[3]一样,本文用Bhattacharyya 系数作为2个直方图的相似性测度%[p ( ,V),q ]=Mu =1p u ( ,V )q u ,(14)在当前估计p ( (k),V(k))的一阶Tay l o r 展开定义为%[p ( ,V ),q ]#c 1+c 2N Vi=1iN (x i;,V ) ,(15)这里c 1和c 2是常数,并且i =Mu =1q up u ( (k),V(k ))#[b (x i )-u ] .(16)2 运动补偿为了增加目标跟踪的精确度,需要对由于红外传感器引起的振动进行补偿.一般都是采用3个参数的仿射模型,但是这种方法对于红外图像过于简单,不能很好的工作.Y il m az[5]采用了8个参数的伪透视模型,在初始估计正确的情况下,能够很好的工作.但是由于自由度太多,收敛速度很慢并且容易陷入局部的极小值.因此本文采用了6个参数的仿射模型u v =a 1x +a 2y +a 3a 4x +a5y +a 6,(17)写成线性方程的形式uv=x y 100000xy1[a 1a 2a 3a 4a 5a 6]T,(18)(u,v)是光流.可以通过结合光流约束方程解方程,得到6参数的运动估计[g x g y ]uv=-g t ,(19)g t 是时间梯度,g x 和g y 是空间梯度.3 Kal m an 滤波估计在2.3的推导中,相似性函数在p u ( ,V)处进行Tay l o r 展开,Tay lor 展开是在邻域内展开,因此要求起始点的距离不能很大.如果目标的运动速度很快,经典M ean sh ift 算法可能产生目标丢失的问题.本文通过引入Ka l m an 滤波来解决这个问题.由第2帧到k -1帧的位置信息形成目标中心的运动轨迹,把得到的中心位置信息作为Ka l m an 滤波的观测值,用K al m an 滤波预测k 帧目标的位置,作为M ean sh ift 算法中目标的起始位置,这样M ean sh ift 算法就能新的位置邻域内找到最优的目标位置.然后把这个目标位置作为K al m an 滤波的观测值,进行下一帧的运算.假定运动目标中心在X,Y 轴上的运动都是一个随机加速的直线运动,加速度a 是零均值的正态分布的随机变量,a (t)~N (0,∃2w ).信号向量X (k )=[x (k )y (k )v x (k )v y (k )]T,其中x (k )y (k )分别是目标中心x 、y 轴上的位置分量,v x (k )v y (k )分别是x 、y 轴方向上的速度.观测向量Y (k )=[x c (k )y c (k )],其中x c (k )、y c (k )分别是目标中心坐标的观测值.这样,K a l m an 滤波算法的模型为信号模型:X (k )=A (k -1)X (k -1)+B (k )W (k ) ,(20)观测模型:Y(k )=C (k )X (k )+V(k ) .(21)4 算法实验本文在P42.0G 256M 内存的电脑上,用m at lab7.0实现了本文算法,并且与M ean shift 算法进行了比较;测试序列大小为352∃240,共282帧.4.1 算法步骤1.建立目标模型,初始位置为 0,初始带宽矩阵为V (0);2.计算当前帧目标区域的颜色直方图;3.计算加权值,得到Bhattacharyya 系数;4.根据系数判断是否需要进行运动补偿(阈值为0.6);5.计算新的目标位置估计 %k 并且用Ka l m an 滤波进行修正得到新的位置估计 k ;6.计算新的带宽矩阵估计V (k);7.载入下一帧,到步骤2..4.2 实验结果从图1和图2中可以看出,本文算法能够适应目标旋转的变化,而一般的M ean shift 改进方法不能.图3显示了目标坐标的变化,图4显示了目标旋转角度的变化曲线,可以看出本文算法可以很好的跟踪红外目标.跟踪时间如图5所示,可以看出算法时间较快(平均1.265s/帧),如果用其他工程性方法可以实现实时跟踪.5 结语本文采用高斯核函数,并且结合了带宽矩阵来431红外与毫米波学报26卷图1 (第30、120、190、220帧)跟踪结果F i g .1 T racki ng resu lts (the 30th,120th ,190th ,220th fra me)图2 (第10、110、200帧)文[7]方法跟踪结果F ig .2 T rack i ng results of [7]图3 目标坐标变化曲线F i g .3 Curv e o f target position图4 目标旋转角度曲线F i g .4 Curve of targe t rotation angle图5 跟踪时间曲线F i g.5 Curve o f track i ng ti m e适应目标的缩放、旋转等变化,同时采用了运动估计和K al m an 滤波的方法增强了算法的鲁棒性,经过实验证明,本文算法能够很好的跟踪复杂背景条件下红外目标的运动,并且能够适应目标旋转的变化,具有一定工程实用价值.REFERENCES[1]F ukanaga K,H ostetl er L D.The esti m ati on o f the gradiento f a dens it y functi on ,w ith appli cation i n pattern recogn iti on [J].IEEE T r m ation T heory,1975,21(1):32&40.[2]Y izong Cheng .M ean sh ift ,m ode seek i ng ,and cl uster i ng[J].IEEE T rans .P attern A naly sis and M ac h i ne Intelli gence ,1995,17(8):790&799.[3]Coman i c i u D,R amesh V,M eer P .R ea l ti m e track i ng ofnon r i g i d objects using m ean sh ift [C].P roc .IEEE Con ference on Co m pute r V i s i on and Pa ttern R ecogn iti on ,2000:142&149.[4]Co m anic i u D,R amesh V,M eer P .K erne l based ob j ecttrack i ng [J ].IEEE T rans .Pattern A naly sis and M achine Intelli gence ,2003,25(5):564&577.[5]Y il m az A,Shafi que K,Shah M.T arget tracking i n a i rbo rnef o r w ard l ook i ng i m agery [J].Journal of Image and V is i on Co mp uting,2003,21(7):623&635.[6]PENG N i ng Song ,YANG Jie ,L I U Zh,i et al .Au t om aticselecti on of K e rnel bandw i d t h f o rM ean shift object track i ng [J].Journal of Sof t ware (彭宁嵩,杨杰,刘志,等.M ean Sh ift 跟踪算法中核函数窗宽的自动选取.软件学报),2005,16(9):1542&1550.[7]Collins R.M ean sh ift blob tracking t hrough scale space[C].P roc .IEEE Con.f on Co m pute r V isi on and P attern R ecogn iti on ,2003.[8]JIA Ji ng P ing ,Z HANG Y an N i ng ,C HA I Y an M e,i et al .M aki ng track i ng o f ob jec t in i m age sequences steady desp i te co m plex move m ent of objects[J].J ournal of N or t hwestern P oly techn ical Un i vers it y (贾静平,张艳宁,柴艳妹,等.目标多自由度M ean Shift 序列图像跟踪算法.西北工业大学学报),2005,1(5):618&622.[9]Z i vkov ic Z,K rose B .A n E M li ke a l gor it hm fo r co lor h istogra m based object tracking [C ].Proc IEEE Con.f on Co m puter V isi on and Pa ttern R ecogniti on ,2004.[10]W and M P,Jones M C .K ernel Sm oothing [M ].CRC Boca ,R oton L ondon ,N ewY o rk ,W ash i ngton DC :Chap m an and H al,l 1995.[11]CHENG Jian ,YANG Ji e .N ove l i n fra red object trackingm ethod based on m ean sh ift[J].J.Infrare d M illi m.W aves (程建,杨杰.一种基于均值移位的红外目标跟踪新方法.红外与毫米波学报),2005,24(3):231&235.432。