第四章 基于粒子滤波的多视觉特征自组织融合的稳健跟踪

第四章基于粒子滤波的多视觉特征自组织融合的稳健跟踪在视觉跟踪中，视觉特征的选择是非常重要的，常用的视觉特征有：形状[20,40,85]、颜色[35,36,39,55,59,117]、纹理[115]和运动[55]等。

为了评价视觉特征的可用性和适用性，在3.4.1节提出了两个定性的指标，即视觉特征的区分性和稳定性。

在视觉跟踪中，为了获得较好的跟踪性能，都期望能获得区分性和稳健性较好的视觉特征。

然而，对于不同场景，各视觉特征的区分性是不同的，不可能找到一个普遍适用的视觉特征。

特别地，在复杂场景中，各视觉特征的区分性是时变的，是不稳定。

因此，在复杂场景中，单一视觉特征很难取得良好的视觉跟踪性能。

为了提高复杂场景下视觉跟踪稳健性，多视觉特征融合是非常有前景的解决途径，当前已成为视觉跟踪的研究热点[54-56,118,123]。

从信息融合观点来说，在动态的复杂环境中，单传感器信息（或单特征）是不充分的和不稳定的，很难稳健执行特定复杂任务；而多传感器信息（或多特征）融合能利用各信息间的互补性和冗余性，从而显著提高算法的性能。

一般地，对于视觉跟踪问题，视觉特征是冗余的，而且一些视觉特征对场景的动态变化又是互补的。

因此，在复杂场景下多视觉特征融合跟踪能显著提高算法的稳健性。

从信息融合理论出发，Kragic等将投票（Voting）算法[124]和模糊逻辑融合算法[125]应用于多视觉特征融合跟踪，并在机器人视觉伺服控制取得了可靠、稳健的性能[7]。

在动态的复杂场景下，各视觉特征区分性是时变的，自适应融合是非常重要的；而且该自适应融合过程是非指导的，是自组织的。

从多视觉特征自适应、自组织融合角度出发，Triesch等提出了一种多视觉特征自组织融合算法，称为民主合成（Democratic Integration）[126-128]，并成功应用于人脸跟踪[126,127]。

由粒子滤波原理和视觉跟踪定义（见定义 3.2）可知，在粒子滤波理论框架下可以很容易地通过观测概率合成实现多视觉特征概率融合跟踪。

Isard等通过重要性采样思想，简单地把颜色特征融合到基于粒子滤波的轮廓跟踪中[60]。

Wu等提出了一种互推理的多特征融合视觉跟踪方法，通过粒子滤波和互推理过程把形状和颜色特征合成实现了在复杂场景下的稳健视觉跟踪[54]。

但是，这两种跟踪方法缺点在于其算法原理仅能实现两个视觉特征的融合，很难推广到多视觉特征的融合跟踪。

Perez 等提出了一种分层采样的多特征融合的视觉跟踪方法，讨论了颜色、运动和声音特征的融合跟踪，并在一些场景中取得了较好的跟踪效果[55]。

但是，该多视觉特征融合跟踪方法的缺点在于：（1）要对处理场景有充分了解，根据足够的先验知识，确定主视觉特征；（2）根据主视觉特征和其他视觉特征间的互补性关系，确定分层采样的顺序，如果分层采样顺序不当，将使得视觉跟踪性能较低；（3）分层采样是串联的处理过程，影响算法效率。

通过对比分析多视觉特征民主合成跟踪算法和粒子滤波融合跟踪算法，Spengler等提出了一种基于粒子滤波的多视觉特征融合跟踪算法，并分析得到基于粒子滤波的多特征融合视觉跟踪算法性能更有优势的结论[56]，但该算法只是简单的将各视觉特征的观测概率密度进行了加权合成。

在此，通过对基于粒子滤波的多视觉特征融合跟踪算法的深入讨论和性能分析发现：粒子滤波是处理多视觉特征融合跟踪的有效理论框架；同时，通过对基于民主合成的多视觉特征自组织融合跟踪算法性能的深入分析可知：多视觉特征自组织融合是提高多视觉特征融合跟踪性能的有效方法。

为了充分利用这两种算法优势，在此将民主合成算法机理嵌入到粒子滤波理论框架中，从而形成有效的多视觉特征融合跟踪理论框架，并提出一种基于粒子滤波的多视觉特征自组织融合跟踪算法。

在此基础上，进一步研究多视觉特征自组织融合跟踪的有效性问题，提出一种特征生灭机制，从而提高该多视觉特征自组织融合跟踪的有效性。

本章主要讨论基于粒子滤波的多视觉特征自组织融合的稳健跟踪问题。

首先，讨论了常用视觉特征的统计描述，并分析各视觉特征的适用性和稳定性；然后，在粒子滤波理论框架下讨论多视觉特征融合跟踪问题，并分析基于粒子滤波的多视觉特征融合跟踪的性能；接着，讨论多视觉特征自组织融合跟踪问题，并分析多视觉特征自组织融合跟踪的优势；接下来，深入讨论基于粒子滤波的多视觉特征自组织融合跟踪问题，将多视觉特征自组织融合在基于粒子滤波的视觉跟踪框架下实现，提出一种基于粒子滤波的多视觉特征自组织融合跟踪算法，并在复杂场景下实现该视觉跟踪算法，进而对比分析其算法性能。

最后，讨论该多视觉特征自组织融合跟踪的有效性问题，提出一种特征生灭机制。

4.1 视觉特征统计描述及其观测概率在粒子滤波理论框架下，视觉跟踪的一个基本的问题就是视觉特征的统计描述。

通过建立视觉特征的有效统计描述，在视觉跟踪中实现各视觉特征观测概率计算。

一般地，对于视觉跟踪，视觉特征是冗余的，有很多视觉特征可用于跟踪，常用的有：颜色、形状、纹理和运动等。

对于不同的视觉特征，其统计描述方法也是不同的。

本节主要讨论常用视觉特征的统计描述问题，并通过视觉特征统计描述讨论该视觉特征的观测概率计算方法。

此外，对于不同场景，各视觉特征的区分性是不同的；而且，在动态复杂场景下，各视觉特征的区分性又是时变的，是不稳定的。

因此，针对不同的视觉特征，本节也将简单讨论其区分性和稳定性以及对不同场景的适用性。

4.1.1 颜色特征特性及其统计描述与观测概率计算在视觉跟踪中，颜色特征是基本的视觉特征[35,36,39,55,59,117]。

颜色特征的描述方法很多，常用的是颜色直方图统计法[59]，而基于核的统计描述是非常有效的方法[35,36,39,117]。

为了便于讨论单特征、单目标跟踪，在 3.2.2节已详细讨论了基于核的颜色直方图的统计描述及观测概率计算方法，因此本节不再讨论其统计描述和观测概率计算方法。

在计算机视觉中，视觉目标所采用的颜色空间有很多种，图4.1显示了常用的两种颜色空间：RGB颜色空间和HSV颜色空间。

对于不同的场景，颜色空间的区分性和稳定性是不同的[36,129]。

本节将简要讨论颜色空间的选择问题和特定颜色空间的区分性和稳定性问题。

(a) (b)图4.1 颜色空间示意图, (a) RGB颜色空间, (b) HSV颜色空间Fig. 4.1 Color space, (a)RGB color space, (b) HSV color space一般地，RGB颜色空间不太稳定，原因在于：RGB空间各个颜色分量间存在相关性，对光照变化影响较大。

因此，在很多实际应用中颜色直方图往往不采用RGB颜色空间而是采用HSV颜色空间。

HSV颜色空间是由标准的RGB空间中从白色区域沿着立方体的对角线往黑色方向投影得到的（如图4.1(a)所示）。

HSV颜色空间把色度从饱和度、亮度中分解出来，从而对光照变化影响较小。

此外，一些学者还将三维的RGB颜色空间进行组合计算，从而获得较好的颜色表示方法[130]。

特别地，归一化的两维颜色空间可表示为：))/(),/((),(B G R G B G R R g r ++++= (4.1)但是，这种方法对光照仍然较为敏感。

这是由于色饱和度没有被单独分离出来，而色饱和度通常受光照影响很大[129]。

因此，在光照变化强烈的场景中，采用HSV 颜色空间进行视觉目标的颜色核直方图描述更有优势。

对于视觉跟踪，颜色特征是广泛采用的视觉特征，其优势在于：对视觉目标的部分遮挡、旋转和尺度变化都是稳定的[35,36,39,59]。

由3.4.1节对颜色特征的区分性和稳定性研究可知，在视觉跟踪中采用单一的颜色特征存在两个缺点：（1）当视觉目标颜色在场景中没有明显的区分性时，视觉跟踪性能将下降；（2）当场景中出现一些颜色相近的视觉目标时，视觉跟踪将受到较大干扰，甚至引起误跟踪。

因此，在复杂的场景中，采用单一的颜色特征进行视觉跟踪，跟踪性能会受到严重影响。

4.1.2 形状特征特性及其统计描述与观测概率计算在视觉跟踪中，视觉目标的形状特征也是基本的视觉特征[10,20,40,85]。

在计算机视觉研究领域，视觉目标形状的描述方法很多，经典的形状描述方法为活动轮廓模型[58,85,131,132]。

一般地，在活动轮廓模型中使用一些离散控制点来表达视觉目标的轮廓，并通过B-样条拟合获得视觉目标的细节轮廓，而视觉目标轮廓动态变化通过仿射变换控制。

因此，对于特定视觉目标，用活动轮廓模型描述其形状必需两个基本条件：（1）根据视觉目标先验，确定具有完备离散控制点的先验轮廓模型，比如B-样条轮廓模型等；（2）描述视觉目标轮廓动态变化的仿射模型。

于是，在视觉跟踪中可根据活动轮廓模型的思想在仿射形状空间上建立视觉目标的概率轮廓模型，从而实现形状模型的统计描述，并以此计算形状特征的观测概率[20,85]。

在二维图像域上，如果设M 个离散控制点集的视觉目标轮廓为{}1,,M =x x x ，对于控制点m x ，根据仿射变换则有：1112121222m m a a t a a t ⎡⎤⎡⎤'=+⎢⎥⎢⎥⎣⎦⎣⎦x x (4.2) 其中，{}1112212212,,,,,s a a a a t t =X 构成仿射形状空间。

显然地，如果给定特定视觉目标的先验轮廓模型和仿射变换参数，则可完全确定该视觉目标的形状。

图4.2显示了人体头部形状的具有8个离散控制点B-样条轮廓模型描述。

一般地，视觉目标的先验轮廓模型，可通过特定训练图像序列学习获得[132]。

但在视觉跟踪中，为了简化计算复杂度，可根据视觉目标的形状先验选取特定的几何轮廓模型，比如圆、椭圆等二次曲线模型[54,122]。

对于图4.2所示的人体头部形状描述，可选择椭圆轮廓模型。

在基于粒子滤波的视觉跟踪中，视觉目标的形状采样粒子在仿射形状空间sX上抽取[54]，并可根据视觉目标的先验轮廓模型获得其轮廓采样粒子的观测Z。

图4.2 人体头部形状的B-样条轮廓模型描述Fig. 4.2 The head shape description by B-spline contour models图4.3 视觉目标形状观测示意图，其中黄色椭圆为视觉目标轮廓采样，黑色曲线为视觉目标的边缘或杂波边缘，椭圆法线上的蓝色圆点为形状的观测点Fig. 4.3 Sket ch of visual object shape observation: the yellow ellipse is a sample of visual object shape;black curves are the edge of the visual object or the clutter;blue dots are the shape observat ion point on the normal of the ellipse 在基于粒子滤波的视觉跟踪理论框架下，视觉目标的轮廓采样粒子的观测概率计算是非常关键的，在此采用Blake和Isard的方法[20,85]计算形状观测概率。