运动目标跟踪技术综述

绪论 运动目标跟踪是一门多学科交叉的技术， 是计算机视觉领域的 一个重要课题， 它综合应用了图像处理 、 模式识别 、 自动控制 、 人工 智能等学科的理论知识。 运动目标跟踪， 是指给定一段视频序列， 在 该视频序列的每帧图像中实时地找到感兴趣的运动目标， 并评估其 运动轨迹。一般来说， 典型的目标跟踪系统一般包含的四个过程[1]： 目标初始化， 特征模版表示， 相似性度量和运动估计， 进行目标定 位。运动目标跟踪问题的难点如： 目标本身特征的多样性和不稳定 性、 外部环境的复杂多变性、 目标之间的遮挡等。 解决跟踪问题的关 键点在于： 完整地分割目标、 有效地表示目标和准确识别目标。 通过对于大量目标跟踪领域文献的阅读， 可以分析出之前较多 的目标跟踪综述文献[1][2][3]主要是从特征模版表示或不同跟踪算法等 角度对跟踪进行分类，但是对于读者对整个跟踪系统框架把握不 清。文章根据目标跟踪系统中实现过程， 从一种新颖角度总结出一 般的目标跟踪方法体系结构分为以下三个部分： （1 ） 运动目标的特 征选取和表示； （2 ） 运动目标跟踪常用算法框架； （3 ） 运动目标预测 算法。 目标跟踪算法一般的都不会超出这三个部分。 分别从这三个部 分进行跟踪算法的分析研究， 第一考虑选取不同的目标特征， 如颜 色、 纹理、 形状等； 根据选择目标特征， 运用合理的目标表示方法， 如 颜色直方图， 纹理直方图 、 轮廓特征模板等； 第二， 选择一种或几种 适合的跟踪算法框架。第三， 采用目标跟踪预测的方法更加合理准 确的找到目标。我们结合目标跟踪领域提出的许多方法， 论述了三 个部分如何有机组合实现有效的运动目标跟踪。此外， 文中所列举 的大量跟踪方法实例都可以从以上三个部分进行归类， 这将有助于 相关领域的研究人员清晰的把握目标跟踪技术脉络， 让研究人员尽 快的从以上三个方面进行深入研È É A B C D Å Â Æ Á Â Ã Ä E F G H Ç ! " # $ % & ' ( ) 0 1 ! 2 3 4 ! 5 6 7 8 9 @
2014 年第 18 期
科技创新
运动目标跟踪技术综述
仝晓龙 窦腾飞 刘艳红
- 18 -
科技创新
但是为了减少搜索特征 匹配或训练分类器分类方法进行目标跟踪。 匹配的区域， 提高实时性， 我们常常对目标运动轨迹预测选取最可 能的目标区域。状态评估公式： xt=f 和 zt=h 其中 xt 是 （xt-1， vt-1 ） （xt， w） t ， f 是状态方程， vt-1 是过程噪声， zt 是当前观测值， h 是测量 当前状态， 方程， wt 是测量噪声。 一般常用预测方法有如，固定搜索窗半径 r （r 为大于 0 的实 数 ） ， r 的大小是根据跟踪目标的不同设定的。我们以上一帧目标所 在位置为中心 r 为半径， 产生多个检测窗口进行当前帧搜索计算找 到最大可能的位置作为本帧目标位置。还可以统计之前 N （N=2， 3， … ） 帧跟踪的目标位置信息， 计算出目标运动的大致方向和速度， 预 判下一帧中可能的目标位置， 从而减少计算量。比较经典的预测方 法如： Ellis 等 2010 年提出线性回归预测算法， 、 Kalman 在 1960 年提 出的 Kalman 滤波器预测算法、 Isard 和 Blake 等 1998 年提出的粒子 滤波器预测算法， 选取最可能的目标区域。文章主要的任务是让读 者有一个关于跟踪目标算法清晰的思路， 快速的了解目标跟踪技术 关键要点。在这里不再具体的详述具体预测算法。 4 经典跟踪算法 一般的运动目标跟踪的实现， 必然是采用具体某种跟踪算法作 为依托 。首先， 文章将介绍的四种经典的运动目标跟踪算法： 基于 Mean Shift 目标跟踪； 基于卡尔曼滤波目标跟踪； 基于粒子滤波目标 跟踪； 基于支持向量机 SVM 分类学习目标跟踪。 人们目前常用的跟 踪方法一般都会采用这四种经典的跟踪算法一种或几种， 去实现运 动目标的高效、 稳定的跟踪。 然后， 文章列举的大量的实例依据文章 所提出的跟踪算法体系结构的组成部分进行分析分解， 这样做有助 于相关领域的研究人员，清晰的把握实例中采用的跟踪算法结构 。 最后， 介绍了近年来提出一些受到研究人员越来越多关注的新的跟 踪算法。 4.1 基于 Mean Shift 目标跟踪 Mean Shift （均值移动） 算法由 Fukunaga 于 1975 年在一篇关于 概率密度梯度函数的估计的文章中首次提出， 其含义为移动的均值 向量， 该算法计算简单， 实时性强， 对目标的形状变化 、 尺度变化不 敏感， 但是对颜色相近的干扰情况， 跟踪效果不够理想。Mean Shift 算法是一个迭代收敛的过程， 即计算当前点的偏移均值， 移动该点 到其偏移均值， 然后以此为新的起始点继续移动， 直到满足一定阈 值条件或迭代次数限制条件的约束 。Comaniciu 最早将 Mean Shift 算法应用于图像滤波、分割和目标跟踪领域。Camshift 算法是一种 基于均值漂移 （Mean Shift ） 的算法， 在连续帧上使用 Mean Shift 算 法就是 Camshift 跟踪算法。Camshift 同经典的均值移动跟踪算法的 基本思想是相同的， 所不同的是， Camshift 是建立在颜色概率分布图 和矩的基础之上， Camshift 算法对室内环境下的目标跟踪具有较高 的鲁棒性。 陈建军 [4] 等人提出了一种基于核共生矩阵的均值移动跟踪算 法， 使用目标的纹理特征作为跟踪线索， 将灰度共生矩阵改进成核 共生矩阵作为特征模板， 采用 Bhattacharyya 系数度量核共生矩阵的 相似度， 在 Mean Shift 跟踪算法基础上实现了人脸的跟踪； 田纲[5]等 人使用目标的颜色和运动特征，将目标的运动矢量作为特征模板， 在 Mean Shift 跟踪算法基础上实现了跟踪； 袁广林 [6]等人使用目标 的颜色特征， 通过多颜色直方图自适应组合作为特征模板， 利用目 标区域对每一颜色直方图的概率图的均值和方差的比值， 自适应计 算权值， 在 Mean Shift 跟踪算法基础上实现稳定跟踪， 该方法对目 标外观变化具有较强的鲁棒性。 4.2 基于卡尔曼滤波目标跟踪 卡尔曼滤波算法是一种经典的预测估计算法， 如果已知目标运 动是线性的， 且图像噪声服从高斯分布， 便可应用卡尔曼滤波预测 目标下一帧位置， 从而实现目标跟踪。卡尔曼滤波器是一个最优化 自回归数据处理算法， 对动态系统的状态序列进行线性最小方差估 计， 利用状态方程和观测方程描述动态系统， 根据之前的状态序列 对下一个状态作最优估计， 预测时具有无偏、 稳定的特点， 在存在部 分短暂遮挡的目标跟踪中有很好的跟踪效果。其计算量小， 实时性 强， 可以准确预测目标的位置和速度， 但是它只适合于线性高斯系 统。 提出一种交互多模型作为 徐哈宁[7]等人使用目标的运动特征， 目标特征模板， 交互多模型包括匀速模型、 加速度模型、 转弯模型以 及 “当前” 统计模型等， 并将传统的卡尔曼滤波跟踪算法基础上进行 改进， 即在去偏转换测量卡尔曼滤波器 （CMKF-D ） 框架下完成了体 育视频中球类目标的跟踪； 齐美彬 [8]等人提出一种基于自适应权值 的区域马尔科夫随机场 （MRF ） 分割与跟踪方法， 利用相邻像素的空 间相关性， 自适应更新系统能量函数中的参数， 使用目标的灰度直
（中国传媒大学 信息工程学院， 北京 100024 ）
摘 要： 运动目标跟踪是一个颇具挑战性的问题， 文章对当前运动目标跟踪问题的相关方法进行分析研究。 首先从一个崭新的角 度提出了一套分析运动目标跟踪技术的体系结构方法。然后采用这种体系结构对列举的每种跟踪算法方案进行阐述和归类， 指 出了每种方案适用范围及其局限性。最后针对研究过程中所面临的难题， 展望了运动目标跟踪技术新的发展趋势。 关键词 ： 运动目标跟踪； 特征模板提取； 跟踪算法框架； 运动目标预测
科技创新与应用
目标稍大， 可以是矩形或椭圆形 ） ， 然后采用目标的某些特征来有效 地表示该运动目标。实际中的运动目标往往具有很多特征， 如果将 其所有特征都记录下来， 就需要计算机花大量时间计算， 从而满足 不了要求实时性的跟踪。 所以， 不需要考虑运动目标的全部特征， 而 只需要利用一些显著特征即可，所提取的特征应尽量做到计算简 单， 以便快速识别。另外， 选用的特征应尽量具有相对稳定性， 即对 图像的旋转 、 平移 、 尺度变化 、 光照条件变化等不敏感， 从而减轻外 部环境对跟踪效果的影响。 在处理跟踪问题时， 跟踪系统将要跟踪的运动目标用其显著特 征表示， 计算机处理这个 “表示” 的过程是将目标的显著特征数据从 高维的原始特征空间， 通过映射变换到低维空间， 形成简化计算量 的可供计算机理解的数据， 同时计算机认为该特征数据即为运动目 标的特征模板， 即计算机 “认识” 了要跟踪的目标。计算机将运动目 标用其模板表示的目的是为后续的跟踪工作做准备。 常用的目标模 板包括： 颜色直方图、 灰度共生矩阵、 纹理直方图等 （图 1a ） 。在实际 应用中， 上述这些模板可以进行适当的改进以提高跟踪的鲁棒性。 2 跟踪算法框架 2.1 目标特征模版更新 我们可以比较容易的提取一般图像的特征， 然而是否这些特征 可以有效表达要跟踪的目标， 经常需要根据特定的环境采用不同的 特征还可能采用多特征联生成有效的目标模板。 上一节在介绍目标 特征提取时候， 可以将提取特征模板直接作为生成的目标的特征模 板直接使用，还可以选用这些特征模板来生成新的目标特征模板， 往往这样做会更有效的表达表达目标。 目标特征模板生成后常常不是唯一不变， 在目标运动的过程中 由于目标的形变和光照的变化会影响目标的有效表达， 因此需要对 目标模板运动跟踪过程中进行更新。 目标特征模版更新问题在跟踪 领域关注度越来越高， 主流的研究方法是在线特征选择， 需要用特 征模版和当前图像的目标数据进行比对来决定是否进模版更新。 还 有一种模版的更新策略， 根据跟踪到的目标实时的更新目标的模版 而不进行比对。模版更新问题较为困难， 首先如果在目标存在遮挡 情况下， 模版更新较快很容易造成错误的模版更新。 其次， 模版更新 较慢不能适用目标快速变化的情况。一般来说， 感兴趣目标在一段 视频序列中不会发生特别大的改变， 鲁棒的模版更新机制也就没有 必要了。 当然， 在要求严格的自动化商业系统中， 一般是需要通过有 图 1 运动目标跟踪算法体系结构 监督的方法辅助进行模版更新。 1 运动目标特征提取 2.2 模板匹配 1.1 目标特征 跟踪系统在将运动目标用其特征模板表示之后， 跟踪过程也进 特征是一个物体具有可靠性、 独立性 、 且可区别于其他物体的 入了计算相似性度量阶段。在视频图像的后续帧中， 采用一定的相 属性， 一个运动目标一般具有很多特征， 充分的了解这些特征将有 似性度量方法， 通过计算目标模板与后续帧中所有候选目标区域的 助于提高解决运动目标跟踪问题的效率和准确性。一般来讲， 常见 相似性函数值， 选择函数值最大的候选目标区域 （也即与目标特征 的运动目标的特征包括： 颜色、 纹理 、 边缘 、 运动等如何根据特定的 模板最相似的区域 ） 作为运动目标在新一帧图像中的位置。用这样 就可以实现运动目标 场景选择合适的目标特征， 成为影响跟踪效果好坏的重要因素 。希 的方式在每一帧图像中进行计算相似性度量， 望通过有效特征选取， 来区分感兴趣运动目标和场景中其他运动目 的连续跟踪。在图像处理与分析理论中， 常用的相似性度量方法有 标。例如， 在足球比赛中， 对特定某个运动员跟踪， 而选择了不恰当 欧式距离、 加权距离、 Bhattacharyya 系数等。 的特征， 例如形状， 接下来在运动员遮挡的时候， 就很难正确跟踪 2.3 分类学习 了。 对于特定场景的应用， 特征的选择十分重要， 因而作为跟踪方法 利用分类器将跟踪目标从背景中分割出来是以模式分类的方 结构的第一部分， 文章所举出的是基本的视觉目标特征， 研究人员 法解决视频跟踪问题。我们把跟踪看作分类问题， 通过训练分类器 也可以采用或设计一些新的视觉特征来更好实习目标的跟踪。 来区分背景和目标。 通过在参考图像中提取每一像素的一个特征向 1.2 目标特征提取 量，经过训练得到一个分类器来识别一个像素是属于目标还是背 目标特征提取，是指使用运动目标的某些显著特征表示目标。 景。给定新的一帧图像， 我们使用训练好的分类器测试侦查区域里 也可将其分解为两个部分视觉表征和统计模型。 视觉表征目标是采 的像素并得到置信图， 我们认为图中的峰值点就是物体移动到的地 用各种不同的视觉特征构建鲁棒的目标描述。 统计模型是采用统计 方。 学习的方法建立有效的分辨目标的数学模型。 3 运动预测 在运动目标跟踪过程的开始阶段， 首先要选择感兴趣的跟踪目 运动预测， 相当于是一个动态的状态评估的问题， 在跟踪上一 标， 通过图像分割或人为框选得到覆盖整个目标的区域 （该区域比 帧的运动个目标后， 提出目标特征， 然后在下一帧图像中采用特征