基于运动矢量对消和差分原理的快速全局运动估计

第31卷第4期电子与信息学报Vol.31No.4 2009年4月Journal of Electronics & Information Technology Apr. 2009

基于运动矢量对消和差分原理的快速全局运动估计

郑雅羽田翔陈耀武*

(浙江大学数字技术及仪器研究所杭州 310027)

摘要：该文针对全局运动估计计算复杂度过高的问题，提出了一种基于运动矢量对消和差分原理的快速全局运动估计方法。基于不同象限运动矢量对之间存在的对称抵消特性，首先估计出平移运动参数分量；再使用运动矢量对的差分原理，并结合一种置信判断的策略，估计出变换运动参数分量。在5组几何全局运动模型和真实视频序列上的实验结果表明，与基于迭代最小二乘(ILS)和基于偏导数(PD)的估计算法相比，该方法在保证估计精度的情况下，所需的平均计算时间只要它们的50％左右。

关键词：全局运动模型；运动矢量场；全局运动补偿；参数估计

中图分类号：TP391 文献标识码：A 文章编号：1009-5896(2009)04-0840-04

Fast Global Motion Estimation Based on Symmetry

Elimination and Difference of Motion Vectors

Zheng Ya-yu Tian Xiang Chen Yao-wu*

(Institute of Advanced Digital Technology and Instrument, Zhejiang University, Hangzhou 310027, China)

Abstract: To reduce the computational complexity of Global Motion Estimation (GME), a fast GME method based on the principle of the symmetry elimination and difference of motion vectors is proposed. First, the translational parameters are estimated by using the technique of the symmetry elimination of motion vectors. And then the transform parameters are estimated by utilizing the principle of the difference of motion vectors and the strategy of the belief judgment. Experimental results on five geometric global motion models and the real video sequence show that the proposed method, compared with the estimation methods based on the Iterative Least Square (ILS) and the Partial Derivative (PD), only need approximately 50% of their computational time while achieving the comparable estimation accuracy.

Key words: Global motion model; Motion vector field; Global motion compensation; Parameter estimation

1引言

摄像机操作引起的二维图像运动称之为全局运动。全局运动的估计在图像和视频处理等领域中发挥着关键的作用。在图像配准[1]和视频运动分割[2]等应用中，全局运动估计是进行配准或者分割操作的一个必要步骤；在进行视频摘要时，为了计算运动相关的感知信息，也需要估计全局运动[3]；在视频去抖动应用中，全局运动估计是决定去抖动效果的关键步骤之一[4]。上述应用中，为了保证系统的实时性，一般期望全局运动估计算法能在保证估计精度的前提下，占用尽可能少的计算资源。随着研究的深入，已有多种基于参数模型的全局运动估计方法被提出。Su等人[5]采用基于分层的迭代牛顿-拉夫逊方法来估计八参数的透视全局运动模型。Rath等人[6]采用迭代最小二乘方法(ILS)来估计四参数的线性全局运动模型。虽然迭代估计的方法可以获得较精确的参数估计结果，但是迭代计算方式一般需要耗费较大的计算资

2008-02-01收到，2008-08-12改回

浙江省科技计划重大科技攻关项目(2005C11001-02)资助课题

*通讯作者源。为了能快速地估计出全局运动参数，Jozawa等人[7]通过不同位置的运动矢量对来计算初始的3个运动参数，然后使用直方图方法来估计最终的参数。Demin等人[8]使用了运动矢量场的偏导数(PD)来快速地估计四参数全局运动模型。虽然上述两种方法所需的估计时间比基于迭代的方法要少，但是在计算资源受限的实时系统中，仍然期望有一种更加有效的全局运动估计算法。

本文提出了一种基于运动矢量对消和差分原理的四参数快速全局运动估计算法。算法首先基于不同象限运动矢量对之间存在的对称消除特性来估计平移参数分量，然后使用差分原理来估计剩余的变换运动参数分量，该算法可以在保证参数估计精度的情况下，有效地减少计算复杂度。

2全局运动模型参数估计

表征摄像机全局运动的两种主要方式分别为：稠密运动矢量场(dense motion field)和全局运动模型[9]。其中，前者是非参数形式，后者是参数形式。全局运动模型具有形式简单、建模能力强的优点，因此得到了广泛的应用。不同类型的全局运动模型具有不同的全局运动建模能力。比如，最简

第4期 郑雅羽等：基于运动矢量对消和差分原理的快速全局运动估计 841 单的二参数平移运动模型，只能对平移运动进行建模；四参数几何运动模型，可以对平移、缩放、旋转以及它们的组合运动进行建模；六参数仿射运动模型还可以建模更复杂的几何变换运动。上述3种模型都属于线性模型。当需要考虑景深时，往往需要使用非线性的八参数透视运动模型。由于四参数几何运动模型可以满足诸如视频监控或者可视电话等常见的应用，因此本文将它作为主要研究对象。

四参数几何运动模型定义如下：

()1221,x y a a x t f a

a y t ???

??????????=+=+??????????????z A T Az T (1) 式中1a 和2a 为反映缩放、

旋转等运动的变换参数，x t 和y t 分别为反映x 和y 方向运动的平移参数；[x , y ]T 为像素点空间坐标，坐标原点位于图像正中心。 2.1 平移参数T 的估计

全局运动的物理中心在二维图像的正中心。以图像的正中心为坐标原点，常见的平移、缩放和旋转等全局运动都存在着对称属性。Huang 等人

[10]

利用运动矢量的对称属性来筛

选特征点，可以有效地提高后续递归最小二乘估计的鲁棒

性。从另外一个角度来看，这种运动矢量的对称属性可以转换成为对消特性，即在对称位置的运动矢量对上，除平移运动分量外的其他运动可以相互抵消。本文利用这种对消特性来计算全局运动的T 参数。首先，以二维图像的正中心为坐标原点，x 轴的正方向向右，y 轴的正方向向下，把二维图像划分为4个象限区域，分别为I 象限(右下区域)、II 象限(左下区域)、III 象限(左上区域)和IV 象限(右上区域)。取I 象限的任意一像素点，其空间坐标表示为T I [, ](0,i j i =>z 0)j >，容易确定这点在其他3个象限的对称点，它们的坐

标分别为T T II III [,],

[,] i j i j =?=??z z 和T IV =[,]i j ?z 。 由于任意像素点的对应运动矢量可以表示为

()()(),f =?=?+z z A T z A I z T MV (2) 因此，I 象限和III 象限之间存在的运动矢量对的对消特性为 ()()()()()()I III I I III III I III ,, 22 (3)f f +=?+?=?++=z z z A T z z A T z A I z z T T MV MV

从上述的推导可以看出，把I 象限和III 象限对称像素点的运动矢量相加，可以对消除平移运动以外的其它全局运动分量。利用相似的原理，可以获得基于II 象限和IV 象限之间对消特性的T 参数表示

()()II IV 2+=z z T MV MV (4) 利用式(3)和式(4)，可以计算得到T 参数。在本文算法中，根据每一公式分别计算得到N 组初始T 参数数据，因此总共包含2N 组初始T 参数数据。受光照变化、亮度噪声或者局部物体运动的影响，运动矢量场中往往存在着与全局运动无关的异常运动矢量，所以在使用上述初始T 参数数据集来估计最终的T 参数之前，应该先剔除其中的异常数据。传统的直方图方法可以有效地剔除异常数据，但是如何设置直方图的bin 数是一个难点：bin 数太小不利于异常数据的剔除，

bin 数太大则需要较多的计算资源，不利于实时实现。本文采用一种基于均值距离的阈值判断方法来剔除异常数据[4]。该方法首先计算所有T 参数数据的均值，

然后再计算所有数据与此均值的残差，并且把这些残差的绝对平均值作为阈值，最后剔除掉对应残差绝对值大于这个阈值的异常数据，剩余初始T 参数数据的均值被作为最终T 参数的估计值。

2.2 变换参数A 的估计

利用运动矢量的差分原理可以计算出变换参数A 。下面首先推导这种运动矢量差分原理的一般表示。如果给定同一

行上的两个像素坐标T 11=[, ]

y i c z 和T 22[,]y i c =z ，其中21=i i +x s 。则由式(2)可以推得：

()()

()()()()

()()()()()()()2122111221121211

,, 11 11 (5)x x x x y x y x x f i f i a i a c t a i a c t a i i a s ?=???=?×?×+??×?×+=??=?×z z z A T z A T MV MV 因此可以得到一个关于1a 参数的差分公式：

()()2111x x x

a s ?=+z z MV MV (6)

同理可以得到一个关于2a 参数的差分公式： ()()212y y x a s ?=z z MV MV (7)

如果给定同一列上的两个像素坐标T 31 = [,]x c j z 和4=[, x c z

T 2]j ，其中21=+y j j s ，使用和上述相同的推导方式，可以得到关于1a 和2a 参数的另外一组差分公式：

()()

432x x y

a s ?=?

z z MV MV (8) ()()

4311y y y

a s ?=

+z z MV MV (9)

虽然根据一对运动矢量信息即可计算得到一组1a 和2

a 参数的解，但是由于局部运动干扰的存在和运动矢量估计精度的影响，关于1a 和2a 参数的任何一组解都有可能是不可靠的。因此，本文提出了一种有效的方法来估计最终的变换运动参数分量。下面以对1a 参数的估计为例来阐述该算法的具体实现步骤：

步骤1 获得每行和每列运动矢量的差分和。分别计算 每行x 方向运动矢量分量的差分和()j =R

1

(([x w s x i i ?=+∑MV

[]T

T ,])(,))x x j i j ?s MV ，每列y 方向运动矢量分量的差分和

()()[]()()T

T

y 1

,,y

h s y y

j i i j i j ?=??=

+?????

∑C s MV MV ，集合R 的元

素个数为h ，集合C 的元素个数为w 。h 为运动矢量的行数，

w 为运动矢量的列数。

步骤2 异常数据剔除。使用和T 参数估计过程中相同的基于均值距离的阈值判断方法分别剔除R 和C 中的异常

数据，更新后的有效数据集合表示为l R 和l C ，其中的元素个数分别为R n 和C n 。

842 电 子 与 信 息 学 报 第31卷 步骤3 基于置信判断的参数估计。以/R n h 和/C n w 作为l R

和l C 的置信判断依据。如果/R

n h 大于/C

n w ，则取l R 的均值再除以x s 作为1a 参数的估计值，如果/C n w 大于

/R

n h ，则取l C

的均值再除以y

s 作为1

a 参数的估计值，如果/R n h 相等/C n w ，则用上面两个1a 参数估计值的平均值作为

1a 参数的最终估计值。

在上述估计方法中：采用了基于行或者基于列的差分和作为基本的估计单位，这样可以有效地减少后续计算步骤的

数据量；通过置信判断的方法，从l R

和l C 中选择一个较可靠的集合来估计1a 参数，可以有效地避免水平或者垂直带状移动物体的局部运动干扰。

3 实验结果及分析

实验首先使用了5组全局几何运动模型来验证本文算法

(以下简称SED)的有效性，并且与ILS 算法和PD 算法做了比较。在测试每组全局几何运动模型时，首先在一定数值范围内随机生成几何运动参数，并且按352×288分辨率生成运动矢量，运动矢量再被量化到整像素精度，然后按16×16块大小采样得到估计算法所需的运动矢量场。为了测试局部运动干扰对不同算法的影响，在后3组全局参数模型上叠加了局部干扰运动矢量。实验过程中，在每一组全局运动模型上都进行200次测试，差分步长x s 和y s 统一设置为192。采

用基于运动矢量的SNR [3]来测试算法对各种模型参数的估 计精度。所有算法都使用matlab 语言编写，在ILS 算法中的矩阵求逆采用matlab 内嵌的pinv 函数。测试电脑配置为

P4 2.8 GHz ，内存1.5 Gbyte 。

表1给出了5个全局几何运动模型的参数表达和局部运动物体的位置以及运动参数。

表2给出了3种算法对5组全局几何运动模型的参数估计误差和估计时间，每组模型对应的数据都为200次测试的平均值。由于3种算法对T 分量的估计误差都为0，因此不在表中列出。从实验结果可以看出，在模型1和模型2两种没有局部运动干扰的测试条件下，由于ILS 方法在最小二乘准则下可以得到最优的解，因此在参数估计上取得了最好的结果。但是在真实应用中，往往存在着各种局部运动干扰。因此估计算法对后3组模型的估计结果更为重要。根据表2，

ILS ，PD 和SED 3种算法在后3组模型上的平均SNR 可以计算得到，分别为：37.7 dB ，34.3 dB 和37.5 dB 。SED 算法比ILS 算法只低了0.2 dB ，而比PD 算法提高了3.2 dB 。因此，从估计结果来看，SED 算法平均估计精度和ILS 相当，而比PD 算法有一定的提高。表2也比较了ILS ，PD 和SED

3种算法的估计时间，其平均估计时间可以计算得到，分别为：0.91 ms ，0.77 ms 和0.41 ms 。可以看出，SED 算法需要的估计时间平均仅为ILS 算法的45％，PD 算法的53％。

表1 5种模型的参数配置

注：其中s i = 0.0001, i = 1,2,",8。 m , n 取1到300之间的随机值。 rand(n 1,n 2)表示取[n 1, n 2]之间的随机整数值

表2 5组模型的估计结果比较

算法 ILS PD

SED

a 1 a 2

a 3

a 4 SNR t a 1 a 2 a 3

a 4 SNR t a 1 a 2 a 3

a 4 SNR t

参数

3

(10)?× (dB) (ms)

3

(10)?× (dB) (ms) 3

(10)?× (dB) (ms)

模型1 0.7 0 0 0.7 34.1 0.53 1

1

32.1 0.73 0.7 0 0 0.7 34.1 0.39 模型2 0.1 0.1 0.1 0.1 48.7 0.89 0.4 0.3 0.3 0.4 44.3 0.77 0.4 0.4 0.4 0.4 44.1 0.42 模型3 0.9 0.4 0.4 0.9 29.2 0.96 1.3

0 1.3

29.4 0.76 0.7 0 0 0.7 33.3 0.41 模型4 0.2 0.5 0.5 0.2 43.3 0.97 0.4 0.4 0.4 0.4 43.2 0.78 0.3 0.5 0.5 0.3 42.8 0.41 模型5 0.5 0.1 0.1 0.5

40.7 1.21 2.3 0.4 0.4 2.3

30.3 0.82 0.8

0.5 0.5 0.8

36.5 0.42

全局运动参数

局部运动物体坐标

局部运动参数

全局运动模型

A T

C

OA OT

模型1 [0.97 + ns 1 0; 0 0.97 + ns 1] [2, 3]T 模型2

[0.97 + ns 2 -0.05-ms 3;

0.05 + ms 3 0.97 + ns 2]

[2, 10]T

模型3 [0.97 + ns 4 0; 0 0.97 + ns 4] [4, 3]T

[sw1 sh1; sw1 + 250 sh1 + 60]( sw1 = rand(-176, -136)，sh1 = rand(-20, 20) ) [1 0; 0 1] [-5, 7]T

模型 4 [0.97 + ns 5 -0.05-ms 6;

0.05 + ms 6 0.97+ns 5][2, 10]T [sw2 sh2; sw2 + 50 sh2 + 200]( sw2 = rand(-20, 20)，sh2 = rand(-144, -104) ) [1 0; 0 1] [4, 7]T 模型 5

[0.97 + ns 7 -0.05-ms 8;

0.05 + ms 8 0.97+ns 7]

[1, -2]T

[sw3 sh3; sw3 + 150 sh3 + 120]( sw3 = rand(-176, 0)，sh3 = rand(-144, 0) )

[0.98 0; 0 0.98]

[0, 0]T

第4期郑雅羽等：基于运动矢量对消和差分原理的快速全局运动估计843

为了验证本文算法在真实视频序列上的估计效果，使用352×288分辨率的Coastguard视频片断作为测试序列。原始运动矢量场使用全搜索算法获得，块大小为16×16。实验中，把原始运动矢量场分别和上述3种算法估计得到的运动矢量场相减，并且只显示运动矢量幅值大于1的运动矢量。图1(a)为Coastguard序列第63帧图像，图1(b)，图1(c)和图1(d)分别为采用ILS，PD和SED算法补偿后的运动矢量场。可以看出，ILS算法和SED算法都较好地估计出了全局平移运动，而PD算法却存在较多未补偿的背景运动矢量。

图1 Coastguard序列估计效果比较

4结束语

本文提出的算法，首先采用了一种基于运动矢量对消特性的方法来估计平移运动参数分量，然后使用运动矢量间的差分原理来估计变换运动参数分量。在5组全局运动模型和真实视频序列的实验结果表明，该算法能有效地估计出全局运动，而且由于算法只需较低的计算量，因此可以在嵌入式监控、手持终端等实时性要求高的系统中得到应用。另外，在视频去抖动应用中，通常会采用直方图的方法来估计平移运动，但是当运动矢量场中存在变换运动分量时，基于直方图的方法在估计平移运动时存在困难。本文基于对消特性的估计方法，可以从各种变换运动耦合的运动矢量场中有效地估计出平移运动分量，因此该方法在视频去抖动中也具有应用价值。

参考文献

[1] Zitova B and Flusser J. Image registration methods: A survey.

Image and Vision Computing, 2003, 21(11): 977-1000.

[2] Liu Z, Zhang Z Y, and Shen L Q. Moving object

segmentation in the H.264 compressed domain. Optical Engineering, 2007, 46(1): 017003.

[3] You J Y, Liu G Z, and Sun L, et al.. A multiple visual models

based perceptive analysis framework for multilevel video summarization. IEEE Trans. on Circuits and Systems for Video Technology, 2007, 17(3): 273-285.

[4] Chen H H, Liang C K, and Peng Y C, et al.. Integration of

digital stabilizer with video codec for digital video cameras.

IEEE Trans. on Circuits and Systems for Video Technology,

2007, 17(7): 801-813.

[5] Su Y P, Sun M T, and Hsu V. Global motion estimation from

coarsely sampled motion vector field and the applications.

IEEE Trans. on Circuits and Systems for Video Technology,

2005, 15(2): 232-242.

[6] Rath G B and Makur A. Iterative least squares and

compression based estimations for a four-parameter linear global motion model and global motion compensation. IEEE

Trans. on Circuits and Systems for Video Technology, 1999,

9(7): 1075-1099.

[7] Jozawa H, Kamikura K, and Sagata A, et al.. Two-stage

motion compensation using adaptive global MC and local

affine MC. IEEE Trans. on Circuits and Systems for Video

Technology, 1997, 7(1): 75-85.

[8] Demin W and Limin W. Global motion parameters

estimation using a fast and robust algorithm. IEEE Trans. on

Circuits and Systems for Video Technology, 1997, 7(5): 823-826.

[9] Dufaux F and Mosheni F. Motion estimation techniques for

digital TV: A review and a new contribution. Proc. IEEE,

1995, 83(6): 858-876.

[10] Huang Y R, Kuo C M, and Kuo C L. Efficient global motion

estimation algorithm using recursive least squares. Optical

Engineering, 2006, 45(5): 057003.

郑雅羽：男，1978年生，博士生，研究方向为视频编码、机器学习、实时信号处理.

田翔：男，1979年生，博士后，研究方向为实时信号处理、并行算法、高性能FPGA算法设计.

陈耀武：男，1963年生，教授，博士生导师，主要研究方向为嵌入式系统、智能信息处理、网络多媒体技术.