多视频运动对象实时分割及跟踪技术

第42卷第9期2008年9月

浙　江　大　学　学　报(工学版)

Journal of Zhejiang University (Engineering Science )

Vol.42No.9

Sep.2008

收稿日期:2007204227.

浙江大学学报(工学版)网址:https://www.360docs.net/doc/dc14016922.html,/eng

作者简介:孙志海(1981-),男,福建漳州人,博士生,主要从事视频运动对象分割的研究.E 2mail :eeszh @https://www.360docs.net/doc/dc14016922.html,

通讯联系人:朱善安,男,教授,博导.E 2mail :zsa @https://www.360docs.net/doc/dc14016922.html,

DOI :10.3785/j.issn.10082973X.2008.09.030

多视频运动对象实时分割及跟踪技术

孙志海,朱善安

(浙江大学电气工程学院,浙江杭州310027)

摘　要:利用帧间差异积累信息进行自适应背景建模,采用背景差的方法检测视频运动对象区域.设计了一种变系数的空域滤波器,有效地对背景差图像进行了增强,使获得的视频运动对象区域更具有空域连通特性.给出了一种改进的基于Otsu 法的自适应阈值化方法,能更准确地对背景差图像进行阈值化.采用形态学边界提取技术对视频运动对象轮廓进行提取.在获得视频运动对象轮廓的基础上,用区域生长法对视频运动对象进行定位,将矩形中心坐标视为视频运动对象的质心坐标.用基于空间欧氏距离最短的方法对每个视频运动对象质心进行关联跟踪并绘制轨迹.试验结果表明,该方法实时有效.

关键词:运动对象分割;运动对象跟踪;差异积累;空域滤波;背景更新

中图分类号:TP391.41 文献标识码:A 文章编号:10082973X (2008)0921631205

R eal 2time segmentation and tracking technique of multiple

moving objects in video sequence

SU N Zhi 2hai ,ZHU Shan 2an

(College of Elect rical Engineering ,Zhej iang Universit y ,H angz hou 310027,China )

Abstract :Effective background was modeled by accumulative f rame 2to 2frame differences ,and foregro und could be ext racted using background subtraction operation.A variable coefficient spatial filter was presen 2ted ,which could effectively enhance t he background subt raction image and make t he foreground region has much more spatial connectivity.An imp roved Ot su 2based segmentation met hod was presented to accurately t hreshold t he background difference image.Morp hological operation was used in extracting contours of moving object s.After getting t he contours of moving object s ,region growing segmentation met hod was applied to locate t he foreground region ,and t he rectangle cent re was seen as t he mass cent re of t he moving object s.Moving object s were t racked using minimal Euclidean distance and t he motion trajectories were also painted.Experimental result s showed t hat p roposed algorit hm was effective and efficient.

K ey w ords :moving object segmentation ;moving o bject tracking ;difference accumulation ;spatial filte 2ring ;background up date

视频运动对象分割及跟踪处于整个视觉监视系统的最底层,是各种后续高级处理如视频分析[1]、视频编码[2]、视频检索[3]以及视频监控[4]等的基础.运动对象分割是指从视频流中实时提取出运动对象,而运动对象跟踪则是指对目标进行连续的跟踪以确定其运动轨迹.尽管文献[5～7]报道了有关视

频运动对象分割的算法,但视频运动对象自动分割的问题还没完全解决.实时自动分割视频语义对象的难点有:对复杂场景快速准确的背景建模;环境变化及噪声影响算法的鲁棒性;算法通用性差,复杂的分割算法满足不了应用的实时性要求;多运动对象的分割及跟踪[627]对分割算法提出了更高的要求.

Bailo等人[8]从算法实时性角度出发,利用高斯分布特性构建自适应背景更新模型,实现了对视频运动对象的分割,此类算法需要估计镜头噪声或静止背景中由噪声所引起的方差,算法自适应程度较不理想.Yang等人[9]利用视频像素水平及帧水平特性有选择地更新背景模型,然后采用形态学后处理方法对视频运动对象进行分割,该算法对图像R G B颜色空间的三维数据均进行了处理,当视频窗口变大时,算法处理速度成倍下降,影响实时性.Chen等人[10]提出了一种采用背景记录技术恢复背景区域,结合背景差和邻帧差信息分割视频运动对象的算法,该算法如果没有准确的前景物体分割,背景记录技术得到的背景信息则不可靠,反而影响了下一帧运动对象分割的准确性.

本文结合实际视频运动对象的特点,针对实际拍摄的交通视频系列,给出了一种多视频运动对象实时分割及跟踪技术.

1　分割及跟踪技术框架

多视频运动对象实时分割及跟踪的技术框架如图1所示.主要有5部分:自适应背景建模;空域滤波、轮廓提取;目标定位、质心标记;运动对象质心关联;轨迹绘制.

利用每隔一段时间内每个像素的帧间积累差异信息自适应建立背景模型,利用背景差技术检测出运动物体区域;根据背景差图像的特点,设计了一种变系数的空域滤波器,结合形态学处理的方法对背景差图像进行空域滤波并提取出视频运动对象轮廓;采用区域生长法对视频运动对象进行定位和质心标记;在视频运动对象分割的基础上,利用运动对象质心建立视频运动对象帧间向量,并比较运动对象的帧间向量模值,对视频运动对象质心进行关联跟踪及轨迹绘制.

2　视频运动对象分割

2.1　自适应背景建模

设有M帧视频序列f(x,y,t1),f(x,y,t2),…,f(x,y,t M),取f(x,y,t1)为基准图像,则一幅差异积累图像是由将基准图像和视频序列后续图像进行对比得到的[11].当基准图像和序列中图像之间在某个像素位置上出现一次较小差异就令计数器计数一次,这种计数器在差异积累图像每个像素的位置上都有一个.当第k

帧图像与基准图像相比较

图1　多视频运动对象实时分割及跟踪技术框架Fig.1　Frame of real2time segmentation and tracking tech2 nique of multiple moving objects in video sequence

时,差异积累图像中一个给定像素的输入项给出在此位置上对应的像素与基准图像中同一位置的像素间灰度级变化的次数.随着时间的更新,差异积累图像可视为一个像素值在动态更新的矩阵D(x,y, t k),差异大小是根据某阈值T f设定好的.如取第k-r帧图像f(x,y,t k-r)为求取差异积累图像的参考帧,则当前帧f(x,y,t k)与参考帧f(x,y,t k-r)之间的差异图像F(x,y,t kγ)以及差异积累动态矩阵D(x,y,t k)分别如式(1)、(2)所示,通过分析差异积累动态矩阵来决定某像素属于前景或背景:

F(x,y,t kγ)=

1;|f(x,y,t k)-f(x,y,t k-r)|>T f,

0,其他,

(1) D(x,y,t k)=

D(x,y,t k-1)+1,F(x,y,t kγ)=

　0,D(x,y,t k-1)<λ,

0,其他.

(2)式(2)表示当某位置像素的帧间差异较小时,使D(x,y,t k)加1,否则D(x,y,t k)赋值为0,表示该像素的帧间差异比较大,λ记录每个像素差异积累

2361浙　江　大　学　学　报(工学版) 第42卷　

的深度.设当前背景的更新模型为B (x ,y ,t k ),则当D (x ,y ,t k )积累至λ值时(其中λ>0),相应位置的背景像素值可根据式(3)进行自适应更新,对D (x ,y ,t k )为0的点则不更新背景像素值,保持原背景像素值不变.

B (x ,y ,t k )=α?f (x ,y ,t k )+(1-α)?B (x ,y ,t k -1)

(3)

式中:系数α影响着背景缓存平滑滤波的程度及更新的速度,α取值区间为[0,1].根据经验,取值在[0.05,0.1]区间时背景更新效果较好.一般以获取的第一帧图像作为初始背景.2.2　变系数空域滤波根据背景差技术可以快速地区分前景(视频运动对象)和背景区域的特点,将当前帧f (x ,y ,t k )与更新所得背景B (x ,y ,t k )相减得背景差图,记为

B d (x ,y ,t k )=|f (x ,y ,t k )-B (x ,y ,t k )|.(4)从试验结果来看,如果直接对B d (x ,y ,t k )进行二值化操作,所获得的视频对象平面大多具有空域不完整特性,所以需对背景差图像进行空域滤波,使视频对象平面保持空域连通性.常见空域滤波器有均值滤波器、中值滤波器及拉普拉斯滤波器等,但这些滤波器均有其各自的适用场合,直接采用某种滤波器对背景差图像进行滤波并不一定能获得理想的效果.建立在对以上这几种滤波器滤波效果分析的基础上,本文给出了一种新型的变系数空域滤波器(variable coefficient spatial filter ,VCSF )掩模.考虑有意义掩模的最小尺寸为3×3,图2显示了变系数空域滤波器掩模的两种形式,其中w 为待整定的系数,取值为w ≥1,当w =1时,该滤波器即还原为常规的均值滤波器

.

图2　3×3变系数空域滤波器掩模

Fig.2　Mask of 3×3variable coefficient spatial filter

给出的这种变系数空域滤波器,建立在均值滤

波器滤波原理的基础上,调整掩模系数,以适应对不同图像的增强.该滤波器可以理解为均值滤波器和变斜率灰度线性算子先后联合操作的过程,即经过变系数空域滤波器增强的图像,不但带有均值滤波器的平滑效果,而且还具有局部区域的灰度增强特性.从试验的效果来看,给出的这种滤波器掩模

形式很适用于对背景差图像的滤波.

在使用滤波器之前需先整定w 值,这里w 的

整定可采用两种方法:一是直接观察对应系数滤波图像阈值化后的效果;二是根据最大类间方差的原理,比较不同w 系数下滤波图像在特定阈值下的类间方差[12],从而整定w 值.

图3为对MA TL AB 提供的Viptraffic 视频测试序列(160×120,15帧/s )的第68帧图像采用不同空域滤波器及阈值化后的效果示意图.为了更有效地进行比较,所选择的视频帧里含有一辆黑色的车辆,其与背景的对比度明显不如视窗里的白色车辆.从图3(d )可以看出,直接对第68帧的背景差图像进行阈值化,其运动对象平面内部存在比较多的空洞,特别是黑色车辆,这将直接影响视频运动对象下一步的分割定位;在图3(e )中,由于均值滤波器的平滑效果,视频运动对象即三辆小车的内部空洞面积相比图3(d )有所减小;从图3(f )可看出复合拉普拉斯滤波操作不但没有减少空洞区域,反而增加了背景差图像的高频分量;图3(g )则为采用VCSF 滤波器的效果,其视频运动对象的空域连通性对进一步分割定位非常有利.

图4给出了对Vipt raffic 视频测试序列第68帧背景差图像采用变系数空域滤波器时,不同系数值及其对应的最大类间方差比值曲线.图4中

当

3

361第9期孙志海,等:多视频运动对象实时分割及跟踪技术

w /9=0.21时的滤波效果如图3(g )所示,但当w/9>0.22时,会造成过分割问题,即分割结果出

现大面积的前景区域而造成误分割.

2.3　自适应阈值化及轮廓提取

对经过空域滤波后的背景差图像采用自适应阈值算法,即可快速地分割出视频运动对象.基于Ot su 阈值化算法的原理[12],在分析常规Ot su 法当分割目标与背景灰度差异不明显时,会造成误分割的基础上,提出了一种增强的Ot su 法,常规Ot su 法的原理可参阅文献[12].

设由常规Ot su 法求得的当前滤波后背景差帧的最优二值化阈值为T O k ,定义增强的Ot su 法最优二值化阈值为T k ,则T k 可表示为

T k =

T OA ,T O k <ε?T OA ;

T O k ,其他.

(5)式中:

T O k =arg max i ∈[1,n]

(

σ2(T ki )),T OA =

∑β

k =1

T k

/β;β=

k -1,β≥1,

即T OA 为前k -1个T k 值的非零最优二值化阈值的

均值,当β=0时,T OA 需设为适当的初始阈值;ε为一个权系数,经验值区间为[0.5,1].图3(d )～(g )所示的二值图均为采用该阈值化方法的效果.对阈值化后的图像采用适当的形态学腐蚀及膨胀操作,可以使视频运动对象平面更具有空域连通性.再结合形态学边界提取的方法,即可提取出视频运动对象的轮廓.轮廓提取算法描述如下:

设阈值化后的二值图像可表示为集合F ,集合F 运动对象的轮廓表示为β(F ),则β(F )可先由B 对F 腐蚀,然后用F 减去腐蚀得到,见式(6):

β(F )=F -(F ΘB ),(6)式中:B 是一个适当的结构元素,Θ为腐蚀算子.

2.4　目标定位及质心标记有点类似分水岭思想的区域生长法是一种图像分割算法,其基本原理是将有相似性质的像素集合起来构成区域.具体地讲,是先对每个需要分割的区域找一个种子像素作为生长的起点,然后将种子像素周围邻域中与种子像素有相同或相似性质的像素合并到种子像素所在的区域中.运动对象定位就是用包含运动对象的最小矩形框将对象框起来.确定对象的位置,即将一幅图像分割成为有意义的区域,并确定区域间的坐标关系及位置.基于区域生长法的原理,采用两步区域生长法的迭代思想,实现了视频运动对象的准确分割定位.

设第i 个运动对象外接矩形框4个顶点的坐标

点分别表示为(x i 0,y i 0)、

(x i 0,y i 1)、(x i 1,y i 0)、(x i 1,y i 1),记第i 个运动对象的质心为(x i ,y i ).为保证

算法的实时性,直接将运动对象外接矩形的中心标记为运动对象的质心,运动对象外接矩形坐标示意图和质心表达式分别如图5和式(7)所示

.

x i =(x i 0+x i 1)/2,

y i =(y i 0+y i 1)/2.

.

(7)图5　运动对象外接矩形坐标示意图

Fig.5　C oordinates of enclosing rectangle of moving objects

3　视频运动对象跟踪

目标跟踪算法常常用卡尔曼滤波器作为目标状

态估计器,粒子滤波器、Mean Shift 及基于Snake 的跟踪算法等逐步被用于运动对象跟踪.然而,这几种跟踪方法需要大量的运算,特别是在应用于多目标跟踪时,不利于实时处理;受制于算法的数学特性,这些算法也较难移植或应用到嵌入式领域.建立在分割的基础上,根据待测试视频序列的特点,从算法实时性角度出发,采用空间欧氏距离最短的方法,判断邻帧运动对象是否为同一对象,进而完成时域视频运动对象的关联跟踪.跟踪算法描述如下:

在多数情况下,视频序列第k 帧与第k -1帧中同一视频运动对象质心的欧氏距离最短,根据该特点实现对视频运动对象的跟踪.设当前视频帧为第k 帧,并含有N k 个视频运动对象,记Z i (k )=(z ix ,z iy )为第k 帧第i 个运动对象的质心坐标向量,其中i =1,2,…,N k .如果第k -1帧中含有N k -1个视频运动对象,则第k 帧中的某个视频运动对象质心Z i (k )与第k -1帧中N k -1个视频运动对象质心间最短的欧氏距离d ij min 可表示为式(8),其中j =1,2,…,N :

d ij min =arg min j

‖Z i (k )-Z j (k -1)‖,

(8)则d ij min 所对应的第k -1帧N k -1个视频运动对象中的第j 个运动对象质心向量Z j (k -1)与Z i (k )关联,实现了对第k 帧视频运动对象i 质心坐标的跟踪关联.当Z i (k )中的i 从1变化到N k 时,即可在第k -1帧的N k -1个视频运动对象中找到相应的关

4

361浙　江　大　学　学　报(工学版) 第42卷　

联,从而实现对两帧之间同一视频运动对象的跟踪.这里还需要考虑当N k 大于、小于和等于N k -1的情况.如果假设每帧只有一个视频运动对象进入或离开视频窗口,则当N k 等于(N k -1+1)时,说明第k 帧有新对象进入;当N k 等于(N k -1-1)时,说明第k 帧有老对象离开;当N k 等于N k -1时,说明第k 帧没有运动对象进入或离开.这3种情况在算法实现时需分别进行考虑,以自动地创建、释放及保持跟踪器资源,保证每个视频运动对象均有对应的跟踪器,从而实现自适应地对每个视频运动对象进行跟踪

.

图6　多视频运动对象实时分割及跟踪效果示意图 Fig.6　Real 2time segmentation and tracking technique of

multiple moving objects in video sequence

4　实验结果及分析

为测试算法的实际分割及跟踪效果,采用VC ++6.0开发环境,在Windows XP SP2、CPU 为Celeron 2.4GHz ,内存为512MB 的PC 机上对Highway (320×240,15帧/s )的500帧视频测试序

列进行了分割及跟踪试验,视频序列来源于ht 2tp ://https://www.360docs.net/doc/dc14016922.html,/aton/shadow ,每帧处理的平

均耗时为46.6ms ,即每秒可以处理24.5帧,完全可以满足实时处理的要求,图6是对视频运动对象

即车辆的分割及跟踪效果.图6(c )、

(d )为提取出来的视频运动对象轮廓,图6(e )、

(f )为对视频运动对象的定位、跟踪及轨迹绘制的效果.图6(e )有8个

视频运动对象,分别标记为A 、B 、C 、D 、E 、F 、G 、H ,实际运动对象的运动轨迹是一系列点,为了更直

观,程序里面设计了两点之间的线连接;图6(f )即第81帧里面的A 、B 、C 、D 、E 为第68帧的相应视频运动对象,I 、J 则为新进入窗口的运动对象,而第68帧里的H 和F 已在第81帧之前离开了视频窗口.图7示意了Highway 第110～160帧之间视频对象的运

动轨迹

.

图7　Highw ay 第110～160帧之间视频对象运动轨迹

Fig.7　Trochoid of video moving objects between

f rame110and f rame 160in Highway sequence

5　结　语

给出了一种多视频运动对象实时分割及跟踪方案.该方案在背景建模方面采用的是差异积累的方

法,建立的背景模型自适应程度高,且算法易于实现.该方案中给出的变系数空域滤波器,在调整好合适系数的条件下,可以较好地对背景差图像进行增强,以获得空域连通特性更好的视频运动对象平面.在阈值化问题上,考虑到当分割目标与背景灰度差异不明显时,会造成误分割的情况,提出了一种增强的阈值化方法.建立在分割的基础上,利用空间欧氏距离最短的方法对视频运动对象质心进行关联跟踪及轨迹绘制,该跟踪方法不适用于运动对象质心距离很近的情况.在整个方案中没有对阴影存在的情况进行考虑,故该方案比较适用于阴影影响较小的场合.可用于如车辆的运动跟踪、车流统计及交通控制等方面的应用.总之,该算法实现容易、具有良好的实时性,特别适用于大小适中的刚性视频运动对象的检测和跟踪.

参考文献(R eferences):

[1]FORESTI G L.Object recognition and tracking for

remote video surveillance [J ].IEEE T ransactions on Circuits and Systems ,1999,9(7):104521062.

(下转第1660页)

5

361第9期孙志海,等:多视频运动对象实时分割及跟踪技术

Oligonucleotide Array Data:Background,Normaliza2 tion and Summarization[D].Berkeley:University of California,2004.

[32]ROCKE D M,DU RBIN B.A model for measurement

error for gene expression arrays[J].Journal of Com2 putational Biology,2001,8(6):5572569.

[33]HUB ER W,H EY DEBREC K A V,SU EL TMANN

H,et al.Parameter estimation for the calibration and variance stabilization of microarray data[J].Statistical Applications in G enetics and Molecular Biology,2003,2

(1):Article3.

[34]FREUDENB ER GJ https://www.360docs.net/doc/dc14016922.html,parison of background cor2

rection and normalization procedures for high2density oligonucleotide microarrays[R].Leipzig,G ermany: Interdisciplinary Centre for Bioinformatics,2005. [35]COPE L M,IRIZARR Y R A,J A FFEE H A,et al.A

benchmark for affymetrix genechip expression meas2

ures[J].Bioinform atics,2004,20(3):323–331. [36]IRIZARR Y R A,WU Z J,J A FFEE H https://www.360docs.net/doc/dc14016922.html,parison

of Affymetrix GeneChip expression measures[J].

Bioinform atics,2006,22(7):7892794.

[37]IRIZARR Y R A,BOL STAD B M,COLL IN F,et al.

Summaries of Affymetrix GeneChip probe level data [J].Nucleic Acids R es,2005,31(4):e15.

[38]STEFFEN D,YV ES M,AREK K,et al.BioMart and

Bioconductor:a powerf ul link between biological data2 bases and microarray data analysis[J].Bioinform atics, 2005,21(16):343923440.

[39]Textual description of affydata.Vignette[EB/OL].

[2007208208].http:∥https://www.360docs.net/doc/dc14016922.html,/reposi2 tory/devel/vignette/affydata.pdf

[40]IHA KA R,GEN TL EMAN R R.A language for data

analysis and graphics[J].J Comput G raph Stat,1996, 5(3):2992314.

(上接第1635页)

[2]PORIK L I F.Real2time video object segmentation for

MPEG encoded video sequences[C]∥SPIE Conference on R eal2Time Im aging VIII.San Jose:[s.n.],2004, 5297:1952203.

[3]KIM C,HWAN G J N.Fast and automatic video object

segmentation and tracking for content2based applications [J].IEEE T ransactions on Circuits and Systems,2002, 12(2):1222129.

[4]NASCIM EN TO J C,MARQU ES J S.Performance

evaluation of object detection algorithms for video sur2 veillance[J].IEEE T ransactions on Multimedia,2006,8

(4):7612774.

[5]PORIK L I F,WAN G Y.Automatic video object seg2

mentation using volume growing and hierarchical cluste2 ring[J].EURASIP Journal on Applied Signal Process2 ing,2004(1):8142832.

[6]COLOMBARI A,FUSIELLO A,MURINO V.Seg2

mentation and tracking of multiple video objects[J].

P attern R ecognition,2007,40(4):130721317.

[7]L IN Shin2ping,CHEN Yuan2hsin,WU Bing2fei.A real

time multiple2vehicle detection and tracking system with pri2 or occlusion detection and resolution,and prior queue detec2 tion and resolution[C]∥P roceedings of the18th I nterna2 tional Conference on P attern R ecognition.Hongkong:IEEE

C omputer S ociety,2006,1:8282831.

[8]BA ILO G,BARIAN I M,I J AS P,et al.Background

estimation with gaussian distribution for image segmen2 tation,a fast approach[C]∥Proceedings of the2005 IEEE I nternational Workshop on Measurement Systems for H omeland Security.Orlando:Contraband Detection and Personal Safety Workshop,2005:225.

[9]YAN G Tao,L I S Z,PAN Quan,et al.Real2time and

accurate segmentation of moving objects in dynamic scene[C]∥Proceedings of the ACM2nd international Workshop on Video Surveillance&Sensor N etw orks.

New Y ork:ACM,2004:1362143.

[10]CH EN Shao2yi,HUAN G Yu2wen,HSIEH Bing2yu,

et al.Fast video segmentation algorithm with shadow cancellation,global motion compensation,and adaptive threshold techniques[J].IEEE T ransactions on Multi2 media,2004,6(5):7322748.

[11]GONZAL EZ R C,WOODS R E.Digital im age process2

ing(sencond edition)[M].Beijing:Publishing House of Electronics Industry,2002.

[12]OSTU N.A threshold selection method f rom gray2level

histograms[J].IEEE T ransactions on System Manage2 ment and Cybemetic,1979,9(1):62266.

0661浙　江　大　学　学　报(工学版) 第42卷