通信视频 第2章二维运动估计

• 2.1.2二维运动估计
设估计点x=(x,y)从t1到t2的位移为d(x,t1;t2)，当前帧为f(x,y,t1) ，
参考帧为f(x,y,t2) ，简写为f1(x)和f2(x) ，由亮度守恒假设有： f1(x)= f2[x+d(x,t1;t2) ] 前向运动估计：t1＜t2； 后向运动估计：t1＞t2 ； 存在问题：遮挡
少运动信息，但块内像素可能属于不同物体，从而导致运动估计精度降低。 2.匹配准则与匹配函数 运动搜索的目的就是在搜索窗内寻找与当前块最匹配的数据块，搜索策略选择适 当与否对运动估计的准确性及其速度有很大的影响，这样就存在着如何判断两个块是 否匹配的问题，即如何定义一个匹配准则。而匹配准则的定义与运算复杂度和编码效 率直接相关，常用的匹配标准有均方差(MSE)、平均绝对误差(MAE或MAD)、绝对差
投影运动和仿射运动实际上是三维刚体运动在图像平面上的投射投影和正交投影，双线性运 动没有对应的具体物理运动。仿射运动和双线性运动可以写成多项式的形式，因此又称 为多项式运动模型。
2.2.2相位相关法
假定两帧图像f1(x)和f2(x)做平移运动，有：
f1(x) = f2[x+d(x,t1;t2) ]
d(xi,t1;t2),i=1,2,…。
运动估计的基本问题 是估计运动前后相邻 两帧图像上对应点的 坐标pi(xi,yi)和pi’ (xi’,yi’)，i=1,2,3…。 即像平面上对应的二 维运动矢量di(xi,t1;t2)。
4.运动分析方法：主要有两种 ①.根据时间相邻的两幅或多幅图像求解物体的运动参数和三维结构信息。 ②图像序列的光流分析法。 运动信息包括：物体的一阶（位移）、二阶（速度）、三阶（加速度）等。 研究内容包括：运动目标检测与分割、运动参数估计等。 光流：指视觉观察到的图像中产生的光强变化。它一般对应物体的运动，但也 有不一致的情况。 换句话说，在视频图像序列运动估计中，观察到的二维运动叫光流。 或定义：视频序列空间坐标关于时间的变化率称为光流，即(vx,vy)T=(dx/dt,dy/dt)T, 其对应于像素的瞬时速度矢量。
我们能观察到的二维运动是“视在运动”，是由像素的亮度随时间变化体现
出来的。因此会存在的问题：
1 ) 由于缺乏足够的图像亮度变化，造成有真实的运动存在却觉察不到。
上述这个运动没有产生任何亮度变化，因而是不可观测的。
2 ) 由于外部光照的变化，造成静止物体相同位置的像素亮度随着时间
发生变化，从而在图像上观测到了运动。
值和(SAD),定义如下：
1 MSE 2 N
参考区域的左上像素。
(C ij Rij ) 2 i Nhomakorabea j 0
N 1 N 1
这里Cij是当前块的一个像素,Rij是参考区域的像素,C00,R00分别是当前区域和
平均绝对误差可以较好地衡量残余能量。
SAD Cij Rij
i 0 j 0
仿射运动为：
[
d x x, y a a x a2 y ][ 0 1 ] d y x, y b0 b1 x b2 y
双线性运动为：
[
d x x, y a a x a2 y a3 xy ][ 0 1 ] d y x, y b0 b1 x b2 y b3 xy
主要内容
• 本章有两个目的：介绍二维运动估算问题的基本概念，重 点讨论基于块的运动估计。
• 二维运动估算问题被确定为不适定问题。二维运动估算除
了作为运动补偿滤波和压缩的主要部分，它还常常是迈向 三维运动分析的第一步。
2.1概述
• 2.1.1几个基本概念 1.时间序列图像：随时间而变化的一系列图像称为时间序列图像或运动图像。 2.运动物体特征：指物体形状或表面特征，如尖锐点、边缘线等。 可以通过运动物体的特征来观察分析物体的运动。 3.运动估计的基本问题 运动估计研究的是视频序列图像中投影坐标在像平面上的变化，获取运动参数， 但是投影会造成信息丢失（不可逆），导致估计误差。
1 fx , f y 2 fx , f y ~ C1, 2 f x , f y 1 fx , f y 2 fx , f y
若f1(x)和f2(x)为纯平移关系，则得：
C～1,2(fx, fy)= exp{j2(dxfx+dyfy)}
再对上式求逆傅里叶变换，可得相位相关函数为： c～1,2(x, y)= (x+dx, y+dy) 可见平移关系图像的相位相关函数为一个冲激函数，冲激所在位置就是两 幅图像的全局平移矢量。
内有时会包含多个不同的运动物体，单一平移矢量无法确保准确性。
2.可变形块运动模型 可变形块运动模型可以实现对物体旋转、缩放和变形等运动建模，常用的可变形
运动模型有投影运动、仿射运动、双线性运动等。
投影运动为：
a0 a1 x a2 y x d x x, y 1 c1 x c2 y [ ][ ] b0 b1 x b2 y d y x, y y 1 c1 x c2 y
特征对应：运动物体上的特征与其在二维平面上的投影坐标的对
应关系。见下图示：
设t1→t2时，物体由P运动至P’，即： 空 间：P(X,Y,Z) → P’(X’,Y’,Z’)
像平面： p(x,y) → p’(x’,y’) 二维位移（△x, △y ）称为二维运动 矢量，标记为d(x,t1;t2)。
对于一组点，二维空间位移记为
N 1 N 1
3.搜索算法 最简单也是最精确的搜索算法思路是进行全搜索，称为全搜索块匹配算法
（EMBA）。假设f1(x)中当前块大小为N1×N2 ，f2(x)中搜索窗中心与当前块位置相同，
搜索窗大小为(N1+2s)×(N2+2s)，窗内候选块个数为(2s+1)2，位移矢量范围为dx[-s,s]， dy[-s,s]。 相邻两个候选快之间的距离称为步长，全搜索的步长为一个像素，称为整数像素
• •
•
• •
具体的算法步骤如下： （1）分别对搜索窗口中心周围步长为2的8个点、步长为4的8个点和起始点 进行检测，如果最小匹配误差出现在起始点，则停止搜索；如果最小匹配误 差在起始点周围步长为2的8个点上，则向下执行（2）；如果最小匹配误差在 最外层的8个点上则直接执行第（3）步。 （2）以上一步中得到的最佳匹配点为中心继续检测其周围步长为1的8个点组 成的3×3搜索窗口，以此类推向下搜索。由于存在需要重复搜索的点，因此 实际需要检测的点数不都为8个，一般为3～5个。直到最匹配的点出现在 3×3搜索窗的中心，则可以确定此点所在的块为最匹配的块。 （3）此步的搜索过程与原三步搜索算法的搜索过程相同，不再介绍。 对于缓慢变化的序列它的运动矢量也相对小了很多，那么拥有中心偏置特性 的新三步搜索算法NTSS的平均信噪比将明显高于原三步搜索法TSS的，即搜 索质量高。但是对于变化相对较快特别是运动平均的序列NTSS的优势就不明 显了。如果把新三步法中心的小正方形分别换成十字形、菱形、六边形等， 会在不同性能方面有所提高。
精度搜索。
全搜索一个像块需要计算减法、绝对值和加法各N1×N2(2s+1)2次。计算量大， 为此需要降低计算量的快速匹配算法。 4.分数精度
物体的位移未必是整像素，为此需要使用分数像素精度进行搜索，即搜索步长为
分数值。 处于分数像素位置的数据采用内插进行估计。 不足：以增加计算量为代价。如使用1/2像素精度搜索时，计算量是整数精度的4 倍，且内插也需要一定的计算量。
第二章 二维运动估计
信息工程学院
运动估计涉及: 图像平面运动(二维运动) 和空间物体运动(三维运动),运动分
析与估计是数字视频处理的基本问题之一, 也是数字视频处理的难点和热点。
运动分析与估计广泛应用于计算机视觉、目标跟踪、工业监视和视频压缩 等场合
不同应用场合对运动估计要求不同，有如下区分：
真实运动估计：要求估计获得的物体运动和实际运动基本一致。 如计算机视觉、目标跟踪、工业监视。 非真实运动估计：在不被察觉的情况下允许有估计误差，从而 最大限度降低信息量和传输带宽。如广播电视中的视频压缩。
2.2.4降低复杂度的方法
常用的方法有①在不降低估计进度的前提下减少计算量②使用快速搜索算法 1.不降低估计精度的搜索算法 (1)部分失真算法 部分失真算法也称为提前退出法，假设已计算了m个块，当前最小匹配函数值为D，对应 运动矢量为dbest ，计算第m+1个候选块方法如下： Dpartial=0 for x B
像的各种特证，可以实现很好的编码性能，主要有：自适应十字搜索
算法（ARPS）、非对称十字型多层次六边形个点搜索算法 （UMHexagonS）和增强预测区域搜索算法（PEZS）。下面就这些 算法进行一一的介绍。
（1）.三步搜索法（TSS，Three Step Search ）
三步搜索法是由T.Koga等人在1981年提出的在搜索范围中限制搜索点的一种搜索算法，顾名 思义，三步搜索算法只进行三步搜索，其搜索步骤如图所示。三步搜索法在搜索过程中逐渐减小搜 索步长，下一步的搜索中心是上一步搜索的结果，搜索精度为整像素。对于全搜索法（FS）要完成 搜索15×15=225个点的计算量，采用TSS搜索法只需计算25个搜索点便可完成。 图中搜索窗口为 (N1+2s)×(N2+2s)，s=7。 • 具体的算法步骤如下： （1）首先，以搜索窗口的中心点为起始搜索点，以4为步长，对搜索中心周围的8个点以及中心点 进行检测，如果最小匹配误差出现在起始点，则认为静止；否则，比较其他8个点的匹配误差找出 最匹配点； （2）以上一步中得到的最匹配点为中心，将搜索步长缩短到第一步的一半，即以2为步长，对其周 围的8个点进行检测，然后通过9个点的比较找出最佳匹配的点； （3）类似上一步，将搜索步长再次缩短一半，对上一步中最佳匹配点周围的8点进行检测，比较它 们的匹配误差，匹配误差最小的点所在的块即为所要得的最佳匹配快。 三步搜索法的数据读取比较规则，也易于硬件实现，所以被许多标准推荐使用。但是三步搜索算法 对视频序列的中心偏置特性欠缺考虑，使得算法第一步过于粗糙，在搜索范围较大(或更大)时，对 于运动矢量较小的块来说初始步长就显得太大了，跳出了可能性比较大的区域，从而导致搜索方向 的不确定性，很容易陷入局部最优。