基于改进Camshift算法的多目标自适应跟踪
70 第31卷 第12期 湖南科技学院学报 V ol.31 No.12 2010年12月 Journal of Hunan University of Science and Engineering Dec.2010
基于改进Camshift 算法的多目标自适应跟踪
曲巨宝
(武夷学院 数学与计算机系，福建 武夷山 354300)
摘 要：针对多目标跟踪中常因目标间遮挡、融合、分离等导致跟踪失败，提出了用动态背景建模技术和RGB 三通道色差法获取目标群组，然后利用Kalman 滤波器预测运动目标初始参量，再用改进的Camshift 算法逐步迭代逼近各个目标精确位置，实现了对多目标的自适应跟踪。经大量实验证明，本算法目标识别能力强，抗噪声性能好，跟踪速度快。
关键词：Camshift ；多目标跟踪；自适应；kalman
中图分类号：TP393 文献标识码：A 文章编号：1673-2219（2010）12-0070-03
运动目标的检测、跟踪是计算机视觉研究的重要内容，被广泛用于智能视觉监控、视频检索等领域。由于运动视频受光线、目标动态变化影响使目标检测和跟踪变得非常困难，尤其对多个运动目标进行同时跟踪，目标间发生遮挡、融合、分离导致跟踪变得异常艰难。文献 [1]提出了基于MeanShift 的多目标粒子滤波跟踪算法设计，但MeanShift 算法不但对抗遮挡能力比较差，而且不具有搜索窗自适应功能；文献[2] 提出用水平集法对多运动目标进行分割；文献[3] 提出用多个摄像机构建系统来处理多个运动目标相互遮挡的问题，但这种系统造价较高且算法复杂，实时性差；本文在研究了多运动目标的颜色特征、运动规律后，使用背景差分法建立动态背景模型，将当前帧同背景帧做差分获得运动目标，通过Kalman 滤波方法对各目标在下一帧的初始位置进行预测后，再调用Camshift 逐次逼近各个目标的精确位置，经实际应用取得了较好的效果。
1 动态背景模型
利用背景差分法建立动态背景模型，以帧间差分法为基础，通过当前帧帧差分的二值图像找到运动区域，对运动区域内的背景保持不变，而非运动区域的背景则用当前帧进行更新，经过一定次数的迭代便可提取出背景。其步骤如下:
(1)将序列图像的第一帧图像I 0作为初始背景图像。 (2)计算当前帧k 的帧间差分二值图像BW k ：
????
?≤?=?otherwise
I I BW k k k k 1
||01τ (1)
其中,I k , I k-1分别为当前帧和上一帧图像，k τ是判断第k 帧是否有变化的阀值(实验中取25) (3)利用二值图像BW k 更新背景B k ：
???????+?==?otherwise
B I BW if B
B k k k k
k 1)1(1αα (2) 其中α为更新系数，取0.2
(4)k=k+1返回到步骤(3)，进行迭代，经过一定次数的迭代后停止迭代，并将此时的Bk 作为背景图像B0
收稿日期：2010－09－20
资助项目：福建省教育厅科技项目（JA09240）、武夷学院智能计算网格科研团队（2009）
作者简介：曲巨宝(1963－)，男，吉林乾安人，副教授，硕士，研究方向为计算机视觉、图形图像、人工智能。
71
2 运动目标获取
将当前帧I k 与背景帧B k 做差分，就得到目标图像P k ，利用反向回溯法获取二值图像对应原图像中彩色RGB 目标的坐标点位。用I.Rk 、I.Gk 、I.Bk, B.Rk 、B.Gk 、 B.Bk 分别表示目标图像I k 和背景模型B k 的R ，G 和B 三个通道的值。
????
?<<<=otherwise P R
R R R R R k 1
0τδτδτδ且且 (3) 其中|..|k k R R B R I ?=δ、|..|k k G G B G I ?=δ、|..|k k B B B B I ?=δ分别代表当前帧与背景帧间R 、G 、B 三通道色差，
B G R τττ,,为R 、G 、B 阀值(实验中取===B G R τττ20)。
经过二值化的目标图像会有许多孤立点、孔洞和间隙，应进行数学形态学中的膨胀、腐蚀等滤波技术将噪声去除，再用
δ
-4连通区域分割法[4]，对分散的区域进行连通或分割，并用外接矩形和数字编号表明该目标块的顺序、位置、高度和宽
度信息；而对于面积小于某个阀值(实验中设Ta=30)的孤立区域要删掉。最后前景区域中余下了的就是最终获得的运动目标群{p k (i)}i=1…n .其中n 为目标个数。图2是对运动车辆视频进行背景建模和目标提取截图。图2(b)是将原图2(a)与背景帧做差后经数学形态学等处理后得到的3个车辆目标。
3 基于Kalman 滤波的运动目标预测
运动目标群是一个不断变化的群体，如何确定不同的目标在下一帧中的位置，在分析了许多学者不同的研究后，本文提出了先利用卡尔曼滤波器进行多目标位置预测，然后再用改进的CamShift 算法进一步逼近目标精确位置，从而实现多目标的快速定位和跟踪。Kalman 滤波器是一个对动态系统的状态序列进行线性最小方差误差估计的算法，它通过状态方程和观测方程来表示系统。根据扩展Kalman 滤波器[5]预测目标i 在下一帧可能出现的区域为：
)(?1i p
k ++)(1i p k +? (4)
其中：
2/)()()()(?21t i a t i v i p i p
k k k k ?+?+=+ (5) 2/)()()()(21t i a t i v i p i p k k k k ??+??+?=?+ (6)
式中：
)(i p k 是第i 个目标的质心位置，)(?1i p
k +是目标i 质心在下一帧中的预测位置，)(1i p k +?是预测目标可能存在的区域，t i p i p i v k k k ??=?/)]()([)(1是目标质心的速度，t i v i v i a k k k ??=?/)]()([)(1是目标质心的加速度，△t
为两帧时间间隔。
4 自适应改进的camshift 算法
为充分利用目标的颜色信息实现目标精确定位，还需要利用CamShift 算法做进一步跟踪。首先将RGB 颜色空间转化成HSV 颜色空间，以适应CamShift 算法，然后利用每个目标i 建立色度直方图，通过直方图归一化将直方图与每一色度级别对应的取值范围归一化到[0,255]区间中，得到每个目标的序列灰度值，在灰度投影图中越亮的像素表明该像素为目标像素的可能性越大[6]。
(a) 原图 (b) 运动目标群及直方图
图2 多目标视频跟踪实验结果
72 用Kalman 滤波后得到的预测目标位置)(?1i p
k +为起点，以255/)()(10i p i s k +?=为搜索窗的初始大小，从i=0，开始进行自适应CamShift 跟踪：
(1)设I(x,y)i 为目标i 在当前帧搜索窗口中的像素位置， I(x,y)i 是投影图中(x,y) i 处的像素值。式中,I(x,y)是坐标为(x,y)的像素值,x 和y 的变化范围为搜索窗的范围。则目标i 搜索窗口的零阶矩M 00、M 10分别如下：
∑∑=x
y i
i y x I M )
,(00，∑∑=
x
y
i
i
y x xI M )
,(10，
∑∑=
x
y
i
i y x yI M )
,(01 (7)
于是目标i 的搜索窗口内的质心位置为：
????????=i i i i i c c M M M M y x 0001
0010,,）（ (8) (2)搜索窗更新256/2i
00M s =
(3)重复(1)和(2)过程,将搜索窗口的中心逐渐移向质心位置。如果移动距离大于预设的固定阈值,则重新计算调整后的窗口质心,进行新一轮的窗口位置和尺寸调整。直到窗口中心与质心间的移动距离小于预设的固定阈值,或者循环运算的次数达到某一最大值,认为收敛条件满足，此时的i c c y x ）（,就是该目标i 的质心坐标。
(4) i=i+1；返回(1)，继续搜索本帧中其他目标的质心，直到将本帧中所有目标都搜索完成后，再进行新帧图像搜索工作。
5 多目标搜索策略及模板更新
由于背景图像的复杂性，目标在图像中可能随时都会发生进入、退出、遮挡、融合、分离等情况。为此本文采取的搜索策略如下：将第k 帧的每个目标同第k+1帧中的每个目标经kalman 滤波后再进行Camshift 跟踪匹配，如果刚好匹配成功，说明目标没有发生变异；如果第k 帧或k+1帧中还有剩余目标时，表明目标发生变异，这时对剩余目标采取排列组合方式进行再次相似性比对跟踪；如果经过多次比对计算后，第k 帧依然有多余目标，则表明有目标离开或被完全遮挡，此时保留第k 帧中这些目标的信息，留待再次出现时使用；如果第k+1帧有多余目标时，表示有新目标进入，这时就增加新编号给新目标；并对现有模板进行更新。
6 实验结果及分析
为了验证本文所提出的检测跟踪算法，利用Windows2003环境，以Visual C++6.0和OpenCV 为平台开发了实验程序，机器的配置为P4/3.0GHz/512M ，视频帧率为25 f/s 。图2是利用本文算法对公园中多目标视频进行跟踪的部分截图。在图2(1)中有两组目标群出现，到2(4)图后融合成一个目标群，在2(5)图又分离成3个目标群，尽管如此，本算法依然可以很好的跟踪到目标，并且自动分组编号。
（下转77页）
图
2 多目标视频跟踪实验结果
参考文献：
[1]琚生根,周激流,何坤,夏欣,王刚.频域光照归一化的人脸识别[J].电子科技大学学报,2009,38(6):1021-1025.
[2]划敬,刘衍聪.局部归一化的人脸光照处理方法[J].郑两天学学报(理学版),2008,40(3):98-101.
[3]章柏幸,苏光大.人脸成像特性研究及人脸归一化的目标
[J].光电子激光,2003,14(4):406-410.
[4]Zimmerman, John B. et al. An evaluation of the
effectiveness of adaptive histogram equalization for contrast enhancement[J]. IEEE Trans on Medical Imaging, 1988, 7(4):304-312. [5]白高峰. 一种基于平面拟合的图像恢复方法[J]. 计算机应用, 2004, 24(11):126-127.
[6]王海涛,刘俊,王阳生. 自商图像[J]. 计算机工程, 2005, 31
(18):179-179.
[7]X.Tan and B.Triggs. Enhanced Local Texture Feature Sets
for Face Recognition under Difficult Lighting Conditions[A].In:Proceddings of the 2007 IEEE Internation- al Workshop on Analysis and Modeling of Faces and Gestures (AMFG'07) [C], LNCS 4778, pp.168-182, 2007.
（责任编校：何俊华）
（上接72页）
7 结束语
针对多目标跟踪中目标容易因遮挡、融合、分离等原因而导致跟踪失败，本文提出利用动态背景建模技术结合Kalman 滤波器对目标先预测，然后再使用CamShift算法进行精确定位的算法。并通过多目标搜索策略及模板更新实现了目标的动态跟踪。大量的实验结果表明，本算法运算速度快，跟踪能力强，鲁棒性好。
参考文献：
[1]杨伟,柴奇,杨华,黄超超.基于mean-shift的多目标粒子滤波跟踪算法设计[J].红外技术,2009,31(5):275-278.
[2]Mansouri A R, Konrad J. Multiple motion segmentation with level sets[J]. IEEE Transactions on Image Processing,
2003,12(2):201-220.
[3]S L Dockstader, A M Tekalp. Multiple Camera Fusion for Multi-object Tracking[C]. Proc of IEEE Workshop on Multi-Object
Tracking, 2001:95-102.
[4]陈柏生.一种二值图像连通区域标记的新方法[J].计算机工程与应用,2006,25(2):46-47.
[5]Comaniciu D, Ramesh V, Meer P. Real-time tracking of non-rigid objects using Mean Shift [A ]. In: Proceedings of the IEEE
Conference on Computer Vision and Pattern Recognition[C], Hilton Head Island, South Carolina, USA, 2000:142-149.
[6]Comaniciu. Kernel-based object tracking[J]. IEEE Transactions onPattern Analysis and Machine Intelligence,
2003,25(2):564-577.
（责任编校：何俊华）
77
CamShift算法
o Camshift 算法 引言 大多数特征跟踪算法的执行都遵循下图所示的目标预测——特征检测——模板匹配——更新四个步骤的闭环结构。首先，以前一帧目标位置和一些运动模型为基础，预测当前帧中目标的可能位置。接着，候选区域的特征和初始特征相匹配，通过优化匹配准则来选择最好的匹配对象，其相应的目标区域即为目标在本帧的位置。算法设计的不同常常由于选择什么特征、预测如何进行、如何选择匹配准则等的不同而不同。许多对目标跟踪算法的完善也是从这三个方面寻找改善措施的 。 除了位置更新步骤，其余三个步骤一般在一个迭代中完成。目标预测步骤主要基于目标的运动模型，运动模型可以是很简单的等速平移运动，也可以是很复 杂的曲线运动。特征检测步骤是在目标区域通过相应的图像处理技术获得特征值，组合成待匹配模板。
d h 模板匹配步骤是选择最匹配的待匹配模板，它的所在区域即是目标在当前帧的位置区域。一般以对目标表象的变化所作的一些合理的假设为基础，—个常用的方法是候选特征与初始特征的互相关系数最小。 三个步骤不断往复。更新步骤常常有两种，一是指对初始模板(特征)的更新，这是因为在目标的运动中，它的姿态、环境的照度等会发生变化，因此模板更新有利于跟踪的继续进行；二是指位置的更新，当在当前帧中找到与目标模板最匹配的模板后，常把该模板的中心位置作为目标在当前帧中的位置，并用该位置对目标的初始位置进行更新，作为下一帧处理时的目标初始位置。 1，Camshift原理 CamShift利用目标的颜色直方图模型将图像转换为颜色概率分布图，初始化一个搜索窗的大小和位置，并根据上一帧得到的结果自适应调整搜索窗口的位置和大小，从而定位出当前图像中目标的中心位置。 2，目标表示（颜色概率分布图） (1) RGB颜色空间对光照亮度变化较为敏感，为了减少此变化对跟踪效果的影响，首先将图像从RGB空间转换到HSV空间。
多目标跟踪
多目标跟踪的基本理论 所谓多目标跟踪，就是为了维持对多个目标当前状态的估计而对所接收到的量测信息进行处理的过程。 目标模型不确定性 是指目标在未知的时间段内可能作己知的或未知的机动。一般情况下，目标的 非机动方式及目标发生机动时的不同的机动形式都可以通过不同的数学模型来加 以描述。在进行目标跟踪过程中，采用不正确的目标运动模型会导致跟踪系统跟踪 性能的严重下降。因而在目标跟踪过程中，运动模型采用的正确与否对目标的跟踪 性能是至关重要的。 观测不确定性 是指由传感器系统提供的量测数据可能是外部的干扰数据，它有可能是由杂波、虚警和相邻的目标所引起的，也可能是由被跟踪目标的对抗系统所主动发出来的虚假信息。这种不确定性在本质上显然是离散的，给目标跟踪问题提出了极大的挑战，相应地也就产生了数据关联的问题。 数据关联 数据关联的作用主要有：航迹保持、航迹建立和航迹终结。 数据关联算法主要有：“最近邻”方法，“全邻”最优滤波器方法、概率数据关联滤波器方法、多模型方法、相互作用多模型一概率数据关联滤波器方法、联合概率数据关联滤波器方法、多假设方法、航迹分裂方法。 1.“最近邻”方法的思想是：在落入跟踪波门中的所有量测中，离目标跟踪预测位置最近的量测认为是有效量测。“最近邻”方法的好处是算法最简单，但是精度差，抗杂波干扰的能力差。“最近邻”方法因为简单，算法易实现，因此也是目前广泛采用的一种数据关联算法． 2 .“全邻”最优滤波器 Singer,Sea和Housewright发展了一类“全邻”滤波器，这种滤波器不仅考虑了所有候选回波（空间累积信息），而且考虑了跟踪历史，即多扫描相关（时间累积信息）假定多余回波互不相关并且均匀分布于跟踪门内，则任何跟踪门的体积V内多余回波的数目Cx服从均值为βV的泊松分布。假定在K-1时刻，轨迹a′正确的概率为Pa(k-1)。关键问题是计算k时刻轨迹的正确概率Pa(k)。
Camshift算法原理
Camshift原理 camshift利用目标的颜色直方图模型将图像转换为颜色概率分布图，初始化一个搜索窗的大小和位置，并根据上一帧得到的结果自适应调整搜索窗口的位置和大小，从而定位出当前图像中目标的中心位置。 分为三个部分： 1--色彩投影图（反向投影）： (1).RGB颜色空间对光照亮度变化较为敏感，为了减少此变化对跟踪效果的影响，首先将图像从RGB空间转换到HSV空间。(2).然后对其中的H分量作直方图，在直方图中代表了不同H分量值出现的概率或者像素个数，就是说可以查找出H分量大小为h的概率或者像素个数，即得到了颜色概率查找表。(3).将图像中每个像素的值用其颜色出现的概率对替换，就得到了颜色概率分布图。这个过程就叫反向投影，颜色概率分布图是一个灰度图像。 2--meanshift meanshift算法是一种密度函数梯度估计的非参数方法，通过迭代寻优找到概率分布的极值来定位目标。 算法过程为： (1).在颜色概率分布图中选取搜索窗W (2).计算零阶距： 计算一阶距： 计算搜索窗的质心： (3).调整搜索窗大小 宽度为；长度为1.2s； (4).移动搜索窗的中心到质心，如果移动距离大于预设的固定阈值，则重复2)3)4)，直到搜 索窗的中心与质心间的移动距离小于预设的固定阈值，或者循环运算的次数达到某一最大值，停止计算。关于meanshift的收敛性证明可以google相关文献。 3--camshift 将meanshift算法扩展到连续图像序列，就是camshift算法。它将视频的所有帧做meanshift 运算，并将上一帧的结果，即搜索窗的大小和中心，作为下一帧meanshift算法搜索窗的初始值。如此迭代下去，就可以实现对目标的跟踪。 算法过程为： (1).初始化搜索窗 (2).计算搜索窗的颜色概率分布（反向投影） (3).运行meanshift算法，获得搜索窗新的大小和位置。
基于meanshift的目标跟踪算法——完整版
基于Mean Shift的目标跟踪算法研究 指导教师：
摘要：该文把Itti视觉注意力模型融入到Mean Shift跟踪方法，提出了一种基于视觉显著图的Mean Shift跟踪方法。首先利用Itti视觉注意力模型，提取多种特征，得到显著图，在此基础上建立目标模型的直方图，然后运用Mean Shift方法进行跟踪。实验证明，该方法可适用于复杂背景目标的跟踪，跟踪结果稳定。 关键词：显著图目标跟踪Mean Shift Mean Shift Tracking Based on Saliency Map Abstract：In this paper, an improved Mean Shift tracking algorithm based on saliency map is proposed. Firstly, Itti visual attention model is used to extract multiple features, then to generate a saliency map，The histogram of the target based on the saliency map, can have a better description of objectives, and then use Mean Shift algorithm to tracking. Experimental results show that improved Mean Shift algorithm is able to be applied in complex background to tracking target and tracking results are stability. 1 引言 Mean Shift方法采用核概率密度来描述目标的特征，然后利用Mean Shift搜寻目标位置。这种方法具有很高的稳定行，能够适应目标的形状、大小的连续变化，而且计算速度很快，抗干扰能力强，能够保证系统的实时性和稳定性[1]。近年来在目标跟踪领域得到了广泛应用[2-3]。但是，核函数直方图对目标特征的描述比较弱，在目标周围存在与目标颜色分布相似的物体时，跟踪算法容易跟丢目标。目前对目标特征描述的改进只限于选择单一的特征，如文献[4]通过选择跟踪区域中表示目标主要特征的Harris点建立目标模型；文献[5]将初始帧的目标模型和前一帧的模型即两者的直方图分布都考虑进来，建立混合模型；文献[6]提出了以代表图像的梯度方向信息的方向直方图为目标模型；文献[7-8]提出二阶直方图，是对颜色直方图一种改进，是以颜色直方图为基础，颜色直方图只包含了颜色分布信息，二阶直方图在包含颜色信息的前提下包含了像素的均值向量和协方差。文献[9]提出目标中心加权距离，为离目标中心近的点赋予较大的权值，离目标中心远的点赋予较小的权值。文献[4-9]都是关注于目标和目标的某一种特征。但是使用单一特征的目标模型不能适应光线及背景的变化，而且当有遮挡和相似物体靠近时，容易丢失目标；若只是考虑改进目标模型，不考虑减弱背景的干扰，得到的效果毕竟是有限的。 针对上述问题，文本结合Itti 提出的视觉注意模型[5]，将自底向上的视觉注意机制引入到Mean Shift跟踪中，提出了基于视觉显著图的Mean Shift跟踪方法。此方法在显著图基础上建立目标模型，由此得到的目标模型是用多种特征来描述的，同时可以降低背景对目标的干扰。 2 基于视觉显著图的Mean Shift跟踪方法
TLD目标跟踪算法
TLD目标跟踪算法 一、算法的背景 TLD(Tracking-Learning-Detection)是英国萨里大学的一个捷克籍博士生Zdenek 出的一种新的单目标长时间（long term tracking）跟踪算法。该算法与传统跟踪算法的显著区别在于将传统的跟踪算法和传统的检测算法相结合来解决被跟踪目标在被跟踪过程中发生的形变、部分遮挡等问题。同时，通过一种改进的在线学习机制不断更新跟踪模块的“显著特征点”和检测模块的目标模型及相关参数，从而使得跟踪效果更加稳定、鲁棒、可靠。 对于长时间跟踪而言，一个关键的问题是：当目标重新出现在相机视野中时，系统应该能重新检测到它，并开始重新跟踪。但是，长时间跟踪过程中，被跟踪目标将不可避免的发生形状变化、光照条件变化、尺度变化、遮挡等情况。传统的跟踪算法，前端需要跟检测模块相互配合，当检测到被跟踪目标之后，就开始进入跟踪模块，而此后，检测模块就不会介入到跟踪过程中。但这种方法有一个致命的缺陷：即，当被跟踪目标存在形状变化或遮挡时，跟踪就很容易失败；因此，对于长时间跟踪，或者被跟踪目标存在形状变化情况下的跟踪，很多人采用检测的方法来代替跟踪。该方法虽然在某些情况下可以改进跟踪效果，但它需要一个离线的学习过程。即：在检测之前，需要挑选大量的被跟踪目标的样本来进行学习和训练。这也就意味着，训练样本要涵盖被跟踪目标可能发生的各种形变和各种尺度、姿态变化和光照变化的情况。换言之，利用检测的方法来达到长时间跟踪的目的，对于训练样本的选择至关重要，否则，跟踪的鲁棒性就难以保证。 考虑到单纯的跟踪或者单纯的检测算法都无法在长时间跟踪过程中达到理想的效果，所以，TLD方法就考虑将两者予以结合，并加入一种改进的在线学习机制，从而使得整体的目标跟踪更加稳定、有效。 简单来说，TLD算法由三部分组成：跟踪模块、检测模块、学习模块；如下图所示 其运行机制为：检测模块和跟踪模块互补干涉的并行进行处理。首先，跟踪模块假设相邻视频帧之间物体的运动是有限的，且被跟踪目标是可见的，以此来估计目标的运动。 如果目标在相机视野中消失，将造成跟踪失败。检测模块假设每一个视帧都是彼此独立的，并且根据以往检测和学习到的目标模型，对每一帧图片进行全图搜索以定位目标可能出现的区域。同其它目标检测方法一样，TLD中的检测模块也有可能出现错误，且错误无非是错误的负样例和错误的正样例这两种情况。而学习模块则根据跟踪模块的结果对检测模块的这两种错误进行评估，并根据评估结果生成训练样本对检测模块的目标模型进行更新，同时对跟踪模块的“关键特征点”进行更新，以此来避免以后出现类似的
目标跟踪算法的分类
目标跟踪算法的分类
主要基于两种思路： a)不依赖于先验知识，直接从图像序列中检测到运动目标，并进行目标识别，最终跟踪感兴趣的运动目标； b)依赖于目标的先验知识，首先为运动目标建模，然后在图像序列中实时找到相匹配的运动目标。 一．运动目标检测 对于不依赖先验知识的目标跟踪来讲，运动检测是实现跟踪的第一步。运动检测即为从序列图像中将变化区域从背景图像中提取出来。运动目标检测的算法依照目标与摄像机之间的关系可以分为静态背景下运动检测和动态背景下运动检测 （一）静态背景 1.背景差 2.帧差 3.GMM 4.光流 背景减算法可以对背景的光照变化、噪声干扰以及周期性运动等进行建模，在各种不同情况下它都可以准确地检测出运动目标。因此对于固定
个关键技术： a)匹配法则，如最大相关、最小误差等 b)搜索方法，如三步搜索法、交叉搜索法等。 c) 块大小的确定，如分级、自适应等。 光流法 光流估计的方法都是基于以下假设：图像灰度分布的变化完全是目标或者场景的运动引起的，也就是说，目标与场景的灰度不随时间变化。这使得光流方法抗噪声能力较差，其应用范围一般局限于目标与场景的灰度保持不变这个假设条件下。另外，大多数的光流计算方法相当复杂，如果没有特别的硬件装置，其处理速度相当慢，达不到实时处理的要求。 二．目标跟踪 运动目标的跟踪，即通过目标的有效表达，在图像序列中寻找与目标模板最相似候选目标区位置的过程。简单说，就是在序列图像中为目标定位。运动目标的有效表达除了对运动目标建模外，目标跟踪中常用到的目标特性表达主要包括视觉特征 (图像边缘、轮廓、形状、纹理、区域)、统计特征 (直方图、各种矩特征)、变换系数特
在MFC对话框的控件中显示Opencv摄像头视频+Camshift跟踪算法实现
在MFC对话框的控件中显示Opencv摄像头视频+Camshift跟踪算法实现 2010-05-07 16:31 一般用opencv显示视频，都用cvNamedWindow新建窗口，并且在while循环中更新每一帧视频，由于窗口是opencv自己创建的，所以在VC中很难对其进行控制，出于这个目的，希望能将视频显示在VC能够控制的部件中。这里给出一个实例说明如何在MFC对话框的picture控件中显示摄像头视频。 主要步骤为： 1.建立对话框工程并设置对话框布局 注意对话框中间的是picture控件用于显示视频。 2.和console的程序一样，设置opencv库环境，加入opencv头文件，并定义所需要的变量。 3.关键的是这一步，定义CvvImage类型的变量m_CvvImage，这个类型的变量里有函数DrawToHDC能在MFC的控件中显示视频。 还有一个关键的一步是设置定时器timer，MFC中不用while循序来更新每帧视频，取而代之的是在定时器timer的响应函数中实现视频的更新，在本程序中每100毫秒进入一次定时器，定时器响应时间可以更改。 这里给出“打开摄像头”和定时器timer的响应函数。 01void COpencvUIDlgDlg::OnOpencamera() //打开摄像头按钮的响应函数
02{ 03// TODO: Add your control notification handler code here 04m_Video=cvCreateCameraCapture(-1);//打开摄像头 05 06if (!m_Video) 07return; 08 09SetTimer(1,100,NULL);//设置定时器 10} 11 12void COpencvUIDlgDlg::OnTimer(UINT nIDEvent) //定时器的响应函数 13{ 14// TODO: Add your message handler code here and/or call default 15// KillTimer(nIDEvent); 16m_Frame=cvQueryFrame(m_Video);//m_Frame是IplImage指针类型 17m_CvvImage.CopyOf(m_Frame,1);//m_CvvImage是CvvImage类型 18m_CvvImage.DrawToHDC(hDC,&rect); 19//将CvvImage显示在picture控件中,hDC是picture控件的句柄.rect是picture的区域. 20b_flagProcess=1; 21 22CDialog::OnTimer(nIDEvent); 23} 4.加入截图和保存视频功能。 本程序下载地址：https://www.360docs.net/doc/643426658.html,/source/1617588 --------------------------------------------------------------------------------------------------------------------------------- 可以对本程序进行二次开发，下面实现在上述程序的基础上实现Camshift跟踪算法。 Opencv中自带Camshift跟踪算法的实现（OpenCV\samples\c\camshiftdemo.c），不过是基于console的，在MFC中实现则不能用其本来的鼠标回调函数来定位目标，而要改用MFC的鼠标消息响应函数。 运行结果为：
静止背景下的多目标追踪(附matlab程序)
静止背景下的多目标追踪 随着计算机技术以及智能汽车行业的发展，多目标的检测与追踪的实用性与研究价值逐渐提高。在计算机视觉的三层结构中，目标跟踪属于中间层，是其他高层任务，例如动作识别以及行为分析等的基础。其主要应用可包括视频监控，检测异常行为人机交互，对复杂场景中目标交互的识别与处理，以及虚拟现实及医学图像。 目标跟踪又包括单目标跟踪和多目标跟踪。单目标跟踪可以通过目标的表观建模或者运动建模，以处理光照、形变、遮挡等问题，而多目标跟踪问题则更加复杂，除了单目标跟踪回遇到的问题外，还需要目标间的关联匹配。另外在多目标跟踪任务中经常会碰到 目标的频繁遮挡、轨迹开始终止时刻未知、目标太小、表观相似、目标间交互、低帧率等等问题。 静止背景下的多目标追踪可分为两步来实现，第一步是在视频文件的每帧中检测出移动的目标，第二步是将检测到的目标与跟踪轨迹实时匹配。在本次实验中，利用混合高斯模型进行背景减除，使用形态学操作消除噪声，通过卡尔曼滤波预测目标位置，最后利用匈牙利算法进行匹配，实现静止背景下的多目标追踪。 1 实验原理 1.1 混合高斯模型 单高斯模型是利用高维高斯分布概率来进行模式分类： 11()exp[(x )(x )] 2T x N C μσμ-=--- 其中μ用训练样本均值代替，σ用样本方差代替，X 为d 维的样本向量。通过高斯概率公式就可以得出类别C 属于正（负）样本的概率。 而混合高斯模型就是数据从多个高斯分布中产生，每个GMM 由k 个单高斯分布线性叠加而成。相当于对各个高斯分布进行加权，权系数越大，那么这个数据属于这个高斯分布的可能性越大。 (x)(k)*p(x |k)P p =∑ 利用混合高斯模型(GMM)可以进行背景减除，将前后景分离，得到移动的目标。对每个像素点建立由k 个单高斯模型线性叠加而成的模型，在这些混合高斯背景模型中，认为像素之间的颜色信息互不相关，对各像素点的处理都是相互独立的。单个像素点在t 时刻服从混合高斯分布概率密度函数： ,,,1 (x )(x ,,)k t i t t i t i t i p w ημτ==∑ 其中k 为分布模式总数， ,,(x ,,)t i t i t ημτ为t 时刻第i 个高斯分布，,i t μ为其均值，,i t τ为其协方差矩阵。 在获得新一帧图像后更新混合高斯模型。用图像中的每个像素点与混合高斯模型匹配,如果成功则判定该点为背景点, 否则为前景点。当背景更新完成后，高
基于改进Camshift算法的多目标自适应跟踪
70 第31卷 第12期 湖南科技学院学报 V ol.31 No.12 2010年12月 Journal of Hunan University of Science and Engineering Dec.2010 基于改进Camshift 算法的多目标自适应跟踪 曲巨宝 (武夷学院 数学与计算机系，福建 武夷山 354300) 摘 要：针对多目标跟踪中常因目标间遮挡、融合、分离等导致跟踪失败，提出了用动态背景建模技术和RGB 三通道色差法获取目标群组，然后利用Kalman 滤波器预测运动目标初始参量，再用改进的Camshift 算法逐步迭代逼近各个目标精确位置，实现了对多目标的自适应跟踪。经大量实验证明，本算法目标识别能力强，抗噪声性能好，跟踪速度快。 关键词：Camshift ；多目标跟踪；自适应；kalman 中图分类号：TP393 文献标识码：A 文章编号：1673-2219（2010）12-0070-03 运动目标的检测、跟踪是计算机视觉研究的重要内容，被广泛用于智能视觉监控、视频检索等领域。由于运动视频受光线、目标动态变化影响使目标检测和跟踪变得非常困难，尤其对多个运动目标进行同时跟踪，目标间发生遮挡、融合、分离导致跟踪变得异常艰难。文献 [1]提出了基于MeanShift 的多目标粒子滤波跟踪算法设计，但MeanShift 算法不但对抗遮挡能力比较差，而且不具有搜索窗自适应功能；文献[2] 提出用水平集法对多运动目标进行分割；文献[3] 提出用多个摄像机构建系统来处理多个运动目标相互遮挡的问题，但这种系统造价较高且算法复杂，实时性差；本文在研究了多运动目标的颜色特征、运动规律后，使用背景差分法建立动态背景模型，将当前帧同背景帧做差分获得运动目标，通过Kalman 滤波方法对各目标在下一帧的初始位置进行预测后，再调用Camshift 逐次逼近各个目标的精确位置，经实际应用取得了较好的效果。 1 动态背景模型 利用背景差分法建立动态背景模型，以帧间差分法为基础，通过当前帧帧差分的二值图像找到运动区域，对运动区域内的背景保持不变，而非运动区域的背景则用当前帧进行更新，经过一定次数的迭代便可提取出背景。其步骤如下: (1)将序列图像的第一帧图像I 0作为初始背景图像。 (2)计算当前帧k 的帧间差分二值图像BW k ： ???? ?≤?=?otherwise I I BW k k k k 1 ||01τ (1) 其中,I k , I k-1分别为当前帧和上一帧图像，k τ是判断第k 帧是否有变化的阀值(实验中取25) (3)利用二值图像BW k 更新背景B k ： ???????+?==?otherwise B I BW if B B k k k k k 1)1(1αα (2) 其中α为更新系数，取0.2 (4)k=k+1返回到步骤(3)，进行迭代，经过一定次数的迭代后停止迭代，并将此时的Bk 作为背景图像B0 收稿日期：2010－09－20 资助项目：福建省教育厅科技项目（JA09240）、武夷学院智能计算网格科研团队（2009） 作者简介：曲巨宝(1963－)，男，吉林乾安人，副教授，硕士，研究方向为计算机视觉、图形图像、人工智能。
多目标跟踪算法
多目标跟踪算法 先来回顾下卡尔曼滤波器： 假定k k x |表示当前k 时刻目标的状态，k 1k x |+表示下一个时刻目标的状态，k z 则表示k 时刻的实际观测。一般地模型都假定为线性的： 这里的1k x +为k+1时刻目标的状态，k x 为k 时刻的状态，为状态转移矩阵，而是服从均值为0方差为的正态分布，表示由噪声等引起的干扰。卡尔曼滤波采取初步估 计： 这里的估计只是初步的估计，状态估计与实际状态的误差矩阵等于状态1k x +的的方差，即： 更新（修正）： 这里已知了实际观察，同样是假定观测与状态的似然关系是线性的，即满足： 服从一个均值为0方差为 的正态分布。 卡尔曼滤波器给出了经过更新后得到的比较合理的k+1时刻的估计为： 相应地得到了更新后方差的估计： 这里： 其实这些都是通过最小二乘法推出来的，即使得误差： 最小，而初步估计也是通过最小二乘法获得，即使得： 最小。有了上述估计方程后，便可以获得一个估计流程：
下面再介绍下贝叶斯公式 先看一个定义 马氏链： 设{} ,,,k j i E =为有限集或可列集，称()0n n X ≥为定义在概率空间()P F,,Ω上，取值于空间E 的马氏链，如果满足下面的马氏性：对一切n 10i i i ,,, 有 [][]1n 1n n n 1n 1n 00n n i X i X P i X i X i X P ----======|,,| 若左边的条件概率有定义，则称[]i X j X P 1n n ==-|为在n-1时刻状态为i,在n 时刻在j 的转移概率函数，若它与n 无关，则记为ij p ，并称为时齐的或齐次的。显然这里的马氏性接近于独立性，在一定程度上可以称为无记忆性或无后效性。 下面我们来推导贝叶斯公式： 容易由条件概率公式定义知 而 ()()()()()()( ) ()() ()( ) ()() ( )() ()()() 1 k 1 k 1k k k 1 k k 1k k k 1k k 1k k k 1k k k k k 1k 1k 1k k k 1k k k k k 1k 1k 1k k k 1k 1k 1k k k 1k 1k 1k 1k 1k z x f dx x f x z f x f x z f z f dx x f x z f x z f z f x f x z f x z f dx z x f x z f z x f x z f x f +++++++++++++++++++++++== ? == ?? ?||||||||||||||||||||||||| 就得到了更新后的公式如下： 这里记 于是就可以得到贝叶斯滤波器跟踪流程如下： 实际上可以证明，卡尔曼滤波器是贝叶斯滤波器的一种特殊形式，由于假定噪声服从正态分布，同样地观测与状态估计的误差也是服从正态分布，那么不难得：
目标跟踪算法
clc; clear; x=[0 16 25 33 50 65 75 82 100]; y=[0 172.5 227.5 324.2 330.7 286.1 237.7 201.7 0]; plot(xx,yy); 的图为 xx = 0:.01:100; yy = spline(x,y,xx); plot(xx,yy)
Matlab画平滑曲线的两种方法（拟合或插值后再用plot即可） 分类：MATLAB2012-12-02 11:15 25540人阅读评论(4) 收藏举报自然状态下，用plot画的是折线，而不是平滑曲线。 有两种方法可以画平滑曲线，第一种是拟合的方法，第二种是用spcrv，其实原理应该都一样就是插值。下面是源程序，大家可以根据需要自行选择，更改拟合的参数。 clc,clear; a = 1:1:6; %横坐标 b = [8.0 9.0 10.0 15.0 35.0 40.0]; %纵坐标
plot(a, b, 'b'); %自然状态的画图效果 hold on; %第一种，画平滑曲线的方法 c = polyfit(a, b, 2); %进行拟合，c为2次拟合后的系数 d = polyval(c, a, 1); %拟合后，每一个横坐标对应的值即为d plot(a, d, 'r'); %拟合后的曲线 plot(a, b, '*'); %将每个点用*画出来 hold on; %第二种，画平滑曲线的方法 values = spcrv([[a(1) a a(end)];[b(1) b b(end)]],3); plot(values(1,:),values(2,:), 'g');
目标跟踪算法的分类
运动目标跟踪就是在一段序列图像中的每幅图像中实时地找到所感兴趣的运动目标 (包括位置、速度及加速度等运动参数)。在运动目标跟踪问题的研究上，总体来说有两种思路： a)不依赖于先验知识，直接从图像序列中检测到运动目标，并进行目标识别，最终跟踪感兴趣的运动目标； b)依赖于目标的先验知识，首先为运动目标建模，然后在图像序列中实时找到相匹配的运动目标。 一、运动目标检测 对于不依赖先验知识的目标跟踪来讲，运动检测是实现跟踪的第一步。运动检测即为从序列图像中将变化区域从背景图像中提取出来。运动目标检测的算法依照目标与摄像机之间的关系可以分为静态背景下运动检测和动态背景下运动检测。 静态背景下运动检测就是摄像机在整个监视过程中不发生移动，只有被监视目标在摄像机视场内运动，这个过程只有目标相对于摄像机的运动；动态背景下运动检测就是摄像机在整个监视过程中发生了移动 (如平动、旋转或多自由度运动)，被监视目标在摄像机视场内也发生了运动，这个过程就产生了目标与摄像机之间复杂的相对运动。 1、静态背景 背景差分法 背景差分法是利用当前图像与背景图像的差分来检测运动区域的一种技术。它一般能够提供最完全的特征数据，但对于动态场景的变化，如天气、光照、背景扰动及背景物移入移出等特别敏感，运动目标的阴影也会影响检测结果的准确性及跟踪的精确性。其基本思想就是首先获得一个背景模型，然后将当前帧与背景模型相减，如果像素差值大于某一阈值，则判断此像素属于运动目标，否则属于背景图像。背景模型的建立与更新、阴影的去除等对跟踪结果的好坏至关重要。 帧间差分法 相邻帧间差分法是通过相邻两帧图像的差值计算，获得运动物体位置和形状等信息的运动目标检测方法。其对环境的适应性较强，特别是对于光照的变化适应性强，但由于运动目标上像素的纹理、灰度等信息比较相近，不能检测出完整
目标定位跟踪算法及仿真程序(修改后)
目标定位跟踪算法及仿真程序 质心算法是最简单的定位算法，如图2-1所示，四个小圆为观测站，实线三角形是目标真实的位置，假设四个圆形观测站都探测到目标的存在，则根据质心定位算法，目标的位置（x,y ）可以表示为：4 4 321x x x x x +++= ， 4 4 321y y y y y +++= ，这里观测站得位置为),(i i y x ，同理，当观测站数目为N 时，这时候的质心定位算法可以表示为： ???? ? ??? ????=??????∑ ∑ ==N i i N i i y N x N y x 1 1 11 图1 质心定位 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % 质心定位算法Matlab 程序 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% function main % 定位初始化 Length=100; % 场地空间，单位：米 Width=100; % 场地空间，单位：米 d=50; % 目标离观测站50米以内都能探测到，反之则不能 Node_number=6; % 观测站的个数 for i=1:Node_number % 观测站的位置初始化，这里位置是随机给定的 Node(i).x=Width*rand; Node(i).y=Length*rand; end % 目标的真实位置，这里也随机给定 Target.x=Width*rand; Target.y=Length*rand; % 观测站探测目标 X=[]; for i=1:Node_number
多目标跟踪方法研究综述
经过近４０多年的深入研究和发展，多目标跟踪技术在许多方面都有着广泛应用和发展前景，如军事视觉制导、机器人视觉导航、交通管 制、 医疗诊断等［１－２］。目前，虽然基于视频的多运动目标跟踪技术已取得了很大的成就，但由于视频中图像的变化和物体运动的复杂性，使得对多运动目标的检测与跟踪变得异常困难，如多目标在运动过程中互遮挡、监控场景的复杂性等问题，解决上述难题一直是该领域所面临的一个巨大挑战，因此，对视频中多目标跟踪技术研究仍然是近年来一个热门的研究课题［３－５］。 １、多目标跟踪的一般步骤 基于视频的多目标跟踪技术融合了图像处理、模式识别、人工智能、 自动控制以及计算机视觉等众多领域中的先进技术和核心思想。不同的多目标跟踪方法其实现步骤有一定的差异，但多目标跟踪的主要 流程是相同的，如图１所示，其主要包括图像预处理、 运动目标检测、多目标标记与分离、多目标跟踪四个步骤。 图１多目标跟踪基本流程图 ２、多目标跟踪方法 多目标跟踪方法可以根据处理图像或视频获取视点的多少分为两大类，一类是单视点的多目标跟踪，另一类就是多视点的多目标跟踪。 ２．１单视点的方法 单视点方法是针对单一相机获取的图像进行多目标的检测和跟踪。该方法好处在于简单且易于开发，但由于有限的视觉信息的获取，很难处理几个目标被遮挡的情况。 块跟踪（Ｂｌｏｂ－ｔｒａｃｋｉｎｇ）是一种流行的低成本的跟踪方法［６－７］。这种方法需要首先在每一帧中提取块，然后逐帧寻找相关联的块，从而实现跟 踪。 例如ＢｒａＭＢＬｅ系统［８］就是一个基于已知的背景模型和被跟踪的人的外表模型计算出块的似然性的多块跟踪器。这种方法最大的不足之处在于：当由于相似性或者遮挡，多个目标合并在一起时，跟踪将导致失败。因此，可以取而代之的方法是通过位置、外观和形状保留清晰目标的状态。文献［９］利用组合椭圆模拟人的形状，用颜色直方图模拟不同人的外观，用一个增强高斯分布模拟背景以便分割目标，一旦场景中发现对应于运动头部的像素，一个ＭＣＭＣ方法就被用于获取多个人的轮廓的最大后验概率，在单相机的多人跟踪应用中取得了非常有意义的结果。Ｏｋｕｍａ等人提出了一种将Ａｄａｂｏｏｓｔ算法和粒子滤波相结合的方法［１０］。该方法由于充分利用了两种方法的优点，相比于单独使用这两种方法本身，大大降低了跟踪失败的情形，同时也解决了在同一框架下检测和一致跟踪的问题。Ｂｒｏｓｔｏｗ等人提出了一个用于在人群中检测单个行人的特征点轨迹聚类的概率框架［１１］。这个框架有一个基本假设是一起运动的点对可能是同一个个体的一部分，并且把它用于检测和最终的跟踪。对于完全和部分遮挡目标以及外观变化，这些方法和另外一些相似的方法都有很大的局限性。 为了解决遮挡问题，一系列单视点跟踪技术应运而生。典型的方法 是利用块合并来检测遮挡的发生［１２］。当被跟踪的点消失， 跟踪特征点的方法就简单的将其作为一个被遮挡特征点。近年来，基于目标轮廓和外观的跟踪技术利用隐含的目标到相机的深度变化来表示和估计目标间的遮挡关系。但大多数方法都只能解决部分遮挡，不能解决完全被遮挡 的情况。 另外，小的一致运动被假设为是可以从遮挡视点中可以预测运动模式的，这些给没有预测运动的较长时间的遮挡的处理带来问题。尽管这些单视点的方法有较长的研究历史，但这些方法由于不能明锐的 观察目标的隐藏部分，因此不能很好地解决有２或３个目标的遮挡问题。 ２．２多视点的方法 随着复杂环境中对检测和跟踪多个被遮挡的人和计算他们的精确 位置的需要，多视点的方法成为研究的热点。 多视点跟踪技术的目的就是利用不同视点的冗余信息，减少被遮挡的区域，并提供目标和场景的３Ｄ信息。尽管通过相机不能很好地解决目标跟踪问题，但却提出了一些很好的想法，如选择最佳视点，但这些方法都以实际环境模型和相机校正为特征。 ９０年代后半期，在很多文献中给出了多视点相关的多目标跟踪方法。 比如利用一个或多个相机与观察区域相连的状态变化映射，同时给出一系列的行为规则去整合不同相机间的信息。利用颜色在多个视点中进行多目标的跟踪的方法，该方法模拟了从基于颜色直方图技术的 背景提取中获得的连接块并应用其去匹配和跟踪目标。 除此之外，也有在原来的单视点跟踪系统进行扩展的多视点跟踪方法。该方法主要是通过一个预测，当预测当前的相机不在有一个好的视点时，跟踪就从原来凯斯的那个单相机视点的跟踪转换到另外一个相机，从而实现多视点的跟踪。基于点与它对应的极线的欧氏距离的空间匹配方法、贝叶斯网络和立体相对合并的方法都是多目标多视点跟踪的常见方法。尽管这些方法都试图去解决遮挡问题，但由于遮挡的存在，基于特征的方法都不能根本解决，其次，这些方法中的遮挡关系的推理一般都是根据运动模型，卡尔曼滤波或者更普遍的马尔科夫模型的时间一致性来进行的。因此，当这个过程开始发散，这些方法也不能恢复遮挡关系。 最近一种基于几何结构融合多个视点信息的Ｈｏｍｅｇｒａｐｈｉｃｏｃｃｕｐａｎｃｙｃｏｎｓｒｒａｉｎｔ（ＨＯＣ）［１２］方法，可以通过在多场景平台对人的定位来解决遮挡问题。仅采用随时间变化的外表信息用于从背景中检测前景，这使得在拥挤人流的场景中的外表遮挡的解决更健壮。利用多视点中的前景信息，主要是试图找到被人遮挡的场景点的图像位置，然后这些被遮挡的信息用于解决场景中多个人的的遮挡和跟踪问题。在这种思想指导下，Ｍｉｔｔａｌ，Ｌｅｉｂｅ，Ｆｒａｎｃｏ等的研究工作和机器人导航中基于遮挡网格的距离传感器的并行工作是相似的，这些方法在融合３Ｄ空间信息的时候需要进行校正相机。但ＨＯＣ方法是完全基于图像的，仅需要２Ｄ结构信息进行图像平面的融合。当然也有另外一些不需要进行相机校正的算法被提出，但需要学习一个与相机最小相关的信息。在目标跟踪过程中，由于这些方法依赖于单个相机的场景，对于拥挤场景中目标分布密度增加九无能为力了。在ＨＯＣ的多视点的目标跟踪中，对于任何单一相机的场景，或者相机对的场景，都不需要进行定位和跟踪目标，而是从所有相机的场景中收集证据，形成一个统一的框架，由于该方法能够从多个时间帧的场景中进行场景被遮挡概率的全局轨迹优化，因此可以同时进行检测和跟踪。 ３、总结 动态目标检测与跟踪是智能监控系统的重要组成部分，它融合了图像处理、模式识别、自动控制及计算机应用等相关领域的先进技术和研究成果，是计算机视觉和图像编码研究领域的一个重要课题，在军事武器、工业监控、交通管理等领域都有广泛的应用。尤其是对于多目标检测与跟踪中的遮挡与被遮挡的处理，对提高智能监控中目标的行为分析有着重要的意义。随着监控设备的发展和设施的铺设，多视点的场景图像是很容易得到的，因此借助信息融合的思想，充分利用不同角度对目标的描述信息，可以很大地改进目前基于单视点的多目标检测和跟踪的精度，能够很好地解决单视点方法中不能很好解决的遮挡问题。参考文献 ［１］胡斌，何克忠．计算机视觉在室外移动机器人中的应用．自动化学报，２００６，３２（５）：７７４－７８４． ［２］Ａ．Ｏｔｔｌｉｋ，Ｈ．－Ｈ．Ｎａｇｅｌ．ＩｎｉｔｉａｌｉｚａｔｉｏｎｏｆＭｏｄｅｌ－ＢａｓｅｄＶｅｈｉｃｌｅＴｒａｃｋｉｎｇｉｎＶｉｄｅｏＳｅｑｕｅｎｃｅｓｏｆＩｎｎｅｒ－ＣｉｔｙＩｎｔｅｒｓｅｃｔｉｏｎｓ．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２００８，８０（２）：２１１－２２５．多目标跟踪方法研究综述 苏州联讯图创软件有限责任公司 陈宁强 ［摘要］文章对目前现有的多目标跟踪方法从信息获取的不同角度进行了综述。主要分析比较了目前单视点和多视点目标跟踪方 法对于目标遮挡问题的处理性能，并指出多视点的基于多源信息融合的思想，可以较好地解决场景中目标的遮挡问题。［关键词］单视点多视点目标跟踪信息融合基金项目：本文系江苏省自然科学基金（ＢＫ２００９５９３）。 作者简介：陈宁强（１９７３－），男，江苏苏州人，工程师，主要研究方向：ＧＩＳ、模式识别和图像处理与分析。 目标跟踪多目标标记与分离 匹配 目标模型 运动检测当前帧图像 背景提取 去噪 ＲＯＩ 预处理 视频序列 （下转第２６页）
视频目标跟踪算法综述_蔡荣太
1引言 目标跟踪可分为主动跟踪和被动跟踪。视频目标跟踪属于被动跟踪。与无线电跟踪测量相比，视频目标跟踪测量具有精度高、隐蔽性好和直观性强的优点。这些优点使得视频目标跟踪测量在靶场光电测量、天文观测设备、武器控制系统、激光通信系统、交通监控、场景分析、人群分析、行人计数、步态识别、动作识别等领域得到了广泛的应用[1-2]。 根据被跟踪目标信息使用情况的不同，可将视觉跟踪算法分为基于对比度分析的目标跟踪、基于匹配的目标跟踪和基于运动检测的目标跟踪。基于对比度分析的跟踪算法主要利用目标和背景的对比度差异，实现目标的检测和跟踪。基于匹配的跟踪主要通过前后帧之间的特征匹配实现目标的定位。基于运动检测的跟踪主要根据目标运动和背景运动之间的差异实现目标的检测和跟踪。前两类方法都是对单帧图像进行处理，基于匹配的跟踪方法需要在帧与帧之间传递目标信息，对比度跟踪不需要在帧与帧之间传递目标信息。基于运动检测的跟踪需要对多帧图像进行处理。除此之外，还有一些算法不易归类到以上3类，如工程中的弹转机跟踪算法、多目标跟踪算法或其他一些综合算法。2基于对比度分析的目标跟踪算法基于对比度分析的目标跟踪算法利用目标与背景在对比度上的差异来提取、识别和跟踪目标。这类算法按照跟踪参考点的不同可以分为边缘跟踪、形心跟踪和质心跟踪等。这类算法不适合复杂背景中的目标跟踪，但在空中背景下的目标跟踪中非常有效。边缘跟踪的优点是脱靶量计算简单、响应快，在某些场合（如要求跟踪目标的左上角或右下角等）有其独到之处。缺点是跟踪点易受干扰，跟踪随机误差大。重心跟踪算法计算简便，精度较高，但容易受到目标的剧烈运动或目标被遮挡的影响。重心的计算不需要清楚的轮廓，在均匀背景下可以对整个跟踪窗口进行计算，不影响测量精度。重心跟踪特别适合背景均匀、对比度小的弱小目标跟踪等一些特殊场合。图像二值化之后，按重心公式计算出的是目标图像的形心。一般来说形心与重心略有差别[1-2]。 3基于匹配的目标跟踪算法 3.1特征匹配 特征是目标可区别与其他事物的属性，具有可区分性、可靠性、独立性和稀疏性。基于匹配的目标跟踪算法需要提取目标的特征，并在每一帧中寻找该特征。寻找的 文章编号：1002－8692（2010）12-0135-04 视频目标跟踪算法综述* 蔡荣太1，吴元昊2，王明佳2，吴庆祥1 （1.福建师范大学物理与光电信息科技学院，福建福州350108； 2.中国科学院长春光学精密机械与物理研究所，吉林长春130033） 【摘要】介绍了视频目标跟踪算法及其研究进展，包括基于对比度分析的目标跟踪算法、基于匹配的目标跟踪算法和基于运动检测的目标跟踪算法。重点分析了目标跟踪中特征匹配、贝叶斯滤波、概率图模型和核方法的主要内容及最新进展。此外，还介绍了多特征跟踪、利用上下文信息的目标跟踪和多目标跟踪算法及其进展。 【关键词】目标跟踪；特征匹配；贝叶斯滤波；概率图模型；均值漂移；粒子滤波 【中图分类号】TP391.41；TN911.73【文献标识码】A Survey of Visual Object Tracking Algorithms CAI Rong-tai1,WU Yuan-hao2,WANG Ming-jia2,WU Qing-xiang1 （1.School of Physics,Optics,Electronic Science and Technology,Fujian Normal University,Fuzhou350108,China; 2.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Science,Changchun130033,China）【Abstract】The field of visual object tracking algorithms are introduced,including visual tracking based on contrast analysis,visual tracking based on feature matching and visual tracking based on moving detection.Feature matching,Bayesian filtering,probabilistic graphical models,kernel tracking and their recent developments are analyzed.The development of multiple cues based tracking,contexts based tracking and multi-target tracking are also discussed． 【Key words】visual tracking;feature matching;Bayesian filtering;probabilistic graphical models;mean shift;particle filter ·论文·*国家“863”计划项目（2006AA703405F）；福建省自然科学基金项目（2009J05141）；福建省教育厅科技计划项目（JA09040）