视频目标跟踪算法综述_蔡荣太

1引言

目标跟踪可分为主动跟踪和被动跟踪。视频目标跟踪属于被动跟踪。与无线电跟踪测量相比，视频目标跟踪测量具有精度高、隐蔽性好和直观性强的优点。这些优点使得视频目标跟踪测量在靶场光电测量、天文观测设备、武器控制系统、激光通信系统、交通监控、场景分析、人群分析、行人计数、步态识别、动作识别等领域得到了广泛的应用[1-2]。

根据被跟踪目标信息使用情况的不同，可将视觉跟踪算法分为基于对比度分析的目标跟踪、基于匹配的目标跟踪和基于运动检测的目标跟踪。基于对比度分析的跟踪算法主要利用目标和背景的对比度差异，实现目标的检测和跟踪。基于匹配的跟踪主要通过前后帧之间的特征匹配实现目标的定位。基于运动检测的跟踪主要根据目标运动和背景运动之间的差异实现目标的检测和跟踪。前两类方法都是对单帧图像进行处理，基于匹配的跟踪方法需要在帧与帧之间传递目标信息，对比度跟踪不需要在帧与帧之间传递目标信息。基于运动检测的跟踪需要对多帧图像进行处理。除此之外，还有一些算法不易归类到以上3类，如工程中的弹转机跟踪算法、多目标跟踪算法或其他一些综合算法。2基于对比度分析的目标跟踪算法基于对比度分析的目标跟踪算法利用目标与背景在对比度上的差异来提取、识别和跟踪目标。这类算法按照跟踪参考点的不同可以分为边缘跟踪、形心跟踪和质心跟踪等。这类算法不适合复杂背景中的目标跟踪，但在空中背景下的目标跟踪中非常有效。边缘跟踪的优点是脱靶量计算简单、响应快，在某些场合（如要求跟踪目标的左上角或右下角等）有其独到之处。缺点是跟踪点易受干扰，跟踪随机误差大。重心跟踪算法计算简便，精度较高，但容易受到目标的剧烈运动或目标被遮挡的影响。重心的计算不需要清楚的轮廓，在均匀背景下可以对整个跟踪窗口进行计算，不影响测量精度。重心跟踪特别适合背景均匀、对比度小的弱小目标跟踪等一些特殊场合。图像二值化之后，按重心公式计算出的是目标图像的形心。一般来说形心与重心略有差别[1-2]。

3基于匹配的目标跟踪算法

3.1特征匹配

特征是目标可区别与其他事物的属性，具有可区分性、可靠性、独立性和稀疏性。基于匹配的目标跟踪算法需要提取目标的特征，并在每一帧中寻找该特征。寻找的

文章编号：1002－8692（2010）12-0135-04

视频目标跟踪算法综述*

蔡荣太1，吴元昊2，王明佳2，吴庆祥1

（1.福建师范大学物理与光电信息科技学院，福建福州350108；

2.中国科学院长春光学精密机械与物理研究所，吉林长春130033）

【摘要】介绍了视频目标跟踪算法及其研究进展，包括基于对比度分析的目标跟踪算法、基于匹配的目标跟踪算法和基于运动检测的目标跟踪算法。重点分析了目标跟踪中特征匹配、贝叶斯滤波、概率图模型和核方法的主要内容及最新进展。此外，还介绍了多特征跟踪、利用上下文信息的目标跟踪和多目标跟踪算法及其进展。

【关键词】目标跟踪；特征匹配；贝叶斯滤波；概率图模型；均值漂移；粒子滤波

【中图分类号】TP391.41；TN911.73【文献标识码】A

Survey of Visual Object Tracking Algorithms

CAI Rong-tai1,WU Yuan-hao2,WANG Ming-jia2,WU Qing-xiang1

（1.School of Physics,Optics,Electronic Science and Technology,Fujian Normal University,Fuzhou350108,China;

2.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Science,Changchun130033,China）【Abstract】The field of visual object tracking algorithms are introduced,including visual tracking based on contrast analysis,visual tracking based on feature matching and visual tracking based on moving detection.Feature matching,Bayesian filtering,probabilistic graphical models,kernel tracking and their recent developments are analyzed.The development of multiple cues based tracking,contexts based tracking and multi-target tracking are also discussed．

【Key words】visual tracking;feature matching;Bayesian filtering;probabilistic graphical models;mean shift;particle filter

·论文·*国家“863”计划项目（2006AA703405F）；福建省自然科学基金项目（2009J05141）；福建省教育厅科技计划项目（JA09040）

算法

描述能力状态表示方法拓扑结构KF 线性、高斯一个随机变量（向量）固定PF 非线性、任意分布

一个随机变量（向量）

固定HMMs 非线性、任意分布一个随机变量（向量）

固定DBNs

非线性、任意分布

随机变量（向量）集

可变

表1

贝叶斯跟踪方法

过程就是特征匹配过程。

特征提取是一种变换或者编码，将数据从高维的原始特征空间通过映射，变换到低维空间的表示。根据

Marr 的特征分析理论，有4种典型的特征计算理论：神经还原论、结构分解理论、特征空间论和特征空间的近似。神经还原论直接源于神经学和解剖学的特征计算理论，它与生物视觉的特征提取过程最接近，其主要技术是Gabor 滤波器、小波滤波器等。结构分解理论是到目前为止唯一能够为新样本进行增量学习提供原则的计算理论，目前从事该理论研究的有麻省理工学院实验组的视觉机器项目组等。特征空间论主要采用主分量分析（PCA ）、独立分量分析（ICA ）、稀疏分量分析（SCA ）和非负矩阵分解（NMF ）等技术抽取目标的子空间特征。特征空间的近似属于非线性方法，适合于解决高维空间上复杂的分类问题，主要采用流形、李代数、微分几何等技术[1]。

目标跟踪中用到的特征主要有几何形状、子空间特征、外形轮廓和特征点等。其中，特征点是匹配算法中常用的特征。特征点的提取算法很多，如Kanade Lucas

Tomasi （KLT ）算法、Harris 算法、SIFT 算法以及SURF 算法等。特征点一般是稀疏的，携带的信息较少，可以通过集成前几帧的信息进行补偿。目标在运动过程中，其特征（如姿态、几何形状、灰度或颜色分布等）也随之变化。目标特征的变化具有随机性，这种随机变化可以采用统计数学的方法来描述。直方图是图像处理中天然的统计量，因此彩色和边缘方向直方图在跟踪算法中被广泛采用。

3.2贝叶斯跟踪

目标的运动往往是随机的，这样的运动过程可以采

用随机过程来描述。很多跟踪算法往往建立在随机过程的基础之上，如随机游走过程、马尔科夫过程、自回归（AR ）过程等。文献[3]和文献[4]采用二阶AR 模型来跟踪目标的运动，采用一阶AR 模型来跟踪目标的尺度变化。随机过程的处理在信号分析领域较成熟，其理论和技术（如贝叶斯滤波）可以借鉴到目标跟踪中。

贝叶斯滤波中，最有名的是Kalman 滤波（KF ）。KF 可以比较准确地预测平稳运动目标在下一时刻的位置，在弹道目标跟踪中具有非常成功的应用。一般而言，KF 可以用作跟踪方法的框架，用于估计目标的位置，减少特征匹配中的区域搜索范围，提高跟踪算法的运行速度。KF 只能处理线性高斯模型，KF 算法的两种变形

EKF 和UKF 可以处理非线性高斯模型。两种变形扩展了KF 的应用范围，但是不能处理非高斯非线性模型，这个时候就需要用粒子滤波（PF ）。由于运动变化，目标的

形变、非刚体、缩放等问题，定义一个可靠的分布函数是非常困难的，所以在PF 中存在例子退化问题，于是引进了重采样技术。事实上，贝叶斯框架下视觉跟踪的很多工作都是在PF 框架下寻找更为有效的采样方法和建议概率分布。这些工作得到了许多不同的算法，如马尔可夫链蒙特卡洛（MCMC ）方法、Unscented 粒子滤波器（UPF ）、

Rao-Blackwellised 粒子滤波器（RBPF ）等。文献[5]引入了一种新的自适应采样方法———序贯粒子生成方法，在该方法中粒子通过重要性建议概率密度分布的动态调整顺序产生。文献[6]根据率失真理论推导了确定粒子分配最优数目的方法，该方法可以最小化视觉跟踪中粒子滤波的整体失真。文献[7]计算最优重要性采样密度分布和一些重要密度分布之间的KL 距离，分析了这些重要密度分布的性能。文献[8]在粒子滤波框架下，采用概率分类器对目标观测量进行分类，确定观测量的可靠性，通过加强相关观测量和抑制不相关观测量的方法提高跟踪性能。

除了KF 和PF 之外，隐马尔科夫模型（HMMs ）和动态贝叶斯模型（DBNs ）[9]也是贝叶斯框架下重要的视觉跟踪方法。HMMs 和DBNs 将运动目标的内部状态和观测量用状态变量（向量）表示，DBNs 使用状态随机变量（向量）集，并在它们之间建立概率关联。HMMs 将系统建模为马尔科夫过程。这些算法的主要区别如表1所示。

表1中每个简单的算法都可以看成是下一行复杂算法的特例。反之，每个复杂算法都可以看成是简单算法的扩展。其中，DBNs 具有最佳的灵活性，可以处理不同的运动模型和不同的状态变量组合。

DBNs 又可以看作概率图模型（PGMs ）[9]的一个例子。PGMs 的基本思想是用图形的方式将多变量概率分布分解，统计变量用图的节点表示，变量间的条件关系用图的连接或边表示。PGMs 可以分为有向图（DAGs ）和无向图（Ugs ）。前者能够处理时间模式，适合目标跟踪和场景理解等任务。后者能很好地描述图像像素之间的空间依赖性，适合图像分割和图像分析等任务。

通过组合图理论和概率理论，PGMs 可以用来处理问题描述中的不确定性。不确定性恰好符合人类视觉系统中天然的概率性和视觉模糊性（如遮挡、从3D 到2D 投影的信息损失）。通过规定概率模型元素之间的关系，PGMs