第三讲光流分析法

第三讲 光流分析法

3．1 二维运动与视在运动 1．

而我们所能得到的是时变图像的某种采样点阵（或采样栅格）的图像序列，问题是： 2．可控与可观测问题—>即真实二维位移场与速度是否可观测？

3．二维运动——也称投影运动： 透视、 正交投影

三维运动可由物体像素的三维瞬时速度或三维位移来描述，但三维瞬时速度及三维位移正是我们要估计的，这是一个逆问题。而我们可观测到的是视在运动。 （1）假定投影中心在原点

P P ' — 三维位移矢量

p p ' — 二维成像平面上的二维位移矢量

成像平面，投影平面 ← 光学上

三维场景 ——> 二维的时变图像 ——> 数学上 3D →2D 投影

二维位移场

二维速度场

t 时刻

t ′时刻 P ′

P ′ 投影 P P 投影

（2）假定投影中心在O 1点

由于投影作用，从P 点出发， 终点在O 1P / 虚线上的三维位移矢 量均有相同的二维投影位移矢量。 所以说，投影的结果只是三维真实 运动的部分信息。

（3）设t l t t R t X ?+='∈,),(3

由像素的运动

'(,)(,,)C C

X t d X t t S

→ 二维位移矢量函数

对应于点阵 ∧3 ，则有

，

；；),(),(t l t X d t l t X d C P ?=?（x ，t ）∈ ∧3

)

,(),(t l t X d l k n d P ?=?；； （n ，k ）∈ Z 3

k 表达了t ‘- t 的时间离散 T n n n ),(21=?

假定三维瞬时速度为),,(3

21X X X &&&，则

),(),(k n V t X V C P =

4．光流场与对应场 （1）p p ' 定义为对应矢量

光流矢量定义为某点 3),(R t X ∈ 上的图像平面坐标的瞬时变化率，

为一个导数。

T T dt dx dt dx V V V )/,/(),(2121==

表征了时空变化，而且是连续的变化。

（2） 当0→-'=?t t t 时，则光流矢量与对应矢量等价。如果在某个点阵∧3可

观测到这种变化，则就意义

对应场<——像素的二维位移矢量场 光流场<——像素的二维速度矢量场

也分别称为二维视在对应场与速度场。一般而言，对应矢量 ≠位移场 光流矢量≠速度场 （

O 1

p ′ p

O

X 2

X 1

P ′

P

图像平面X 3 X

亮度均匀的话，则不产生光流， 不可观测。

光照变化——>将防碍二维运动场的估计。

则有光流，但没有运动。

3．2 二维运动估计

1．正向估计：

12112212112212

(,,)((,;),(,;),)

P C k k l T

S x x t S x d X t l t x d X t l t t l t S x x S x d X x d X t k t

d X d X d X +=+?+?+???=++=?=离散化等价（，）（（），（））

其中对应矢量（）（（），（））

2．逆向估计

121122k k l S x x S x d X x d X t k t -=++=?（，）（（），（））,其中

3．数学上问题

（1）光流的估计——>若每一个△t 间隔时，速度矢量不变。则光流估计与对应 估计等价；否则在有加速度的情况下，估计光流需要多

帧运算，至少三帧。

P =（x 1，x 2） t P ′=（x 1′，x 2′）

t--l △t P ′=（x 1′，x 2′） t+l △t

（2）解的存在性——>如遮挡与显露问题。 （3）解的唯一性——>产生孔径问题。位移各分量是否解耦合的。若独立，未

知量的个数是方程数的2倍。 （4）解的连续性——>产生噪声<——不连续

4．数学描述有两种主要方法

（1）参数模型<——基于三维曲面的表达式 （2）非参数模型

a ． 光流方程

b ．块运动模型

c ． 像素递归法

d ．贝叶斯（最大后验概率）

3．3 光流方程

1．设),,(21t x x S C 是连续时空亮度分布，若沿运动轨迹上的亮度保持不变，有 12(,,)

0(3.31)dS x x t dt

=-- 注意上式x 1，x 2随t 变化，因此为一全导数。由上式可得

dt

dx

dt dx t

t X S t X U x t X S t X U x t X S C C C 212211)

23.3(0)

,(),(),(),(),(→←↑↑--=??+??+??坐标速度分量

我们的估计就是要在帧之间保持（3.3—1）式成立，需要的先验知识较多。

2．二阶微分法

(,)

0(3.33)C d S X t dt ?=--

使空间图像梯度守恒。

3．块运动模型

定义像素块B 上的光流方程误差为

(,)

(

)(3.34)C X B

dS X t E dt

∈=

--∑

使E 最小为约束条件，为使E —>E min ，应有

12

00E x E x ??=????

??=??? (3.3—5)

4．H-S 法

它是一个搜索过程，使光流矢量逐步达到最小值。通过迭代计算使 (,)

min

C dS X t dt

? (3.3—6)

5． 梯度估计

将（3.3—2）式中的偏微分项用梯度估计出来

1212121121221212(,,)

(,,)

(3.37)(,,)

(,,)

(3.38)(,,)

(,,)

(3.39)

C x C C x C C t C S x x t S x x t x S x x t S x x t x S x x t S x x t t

?=?--??=?--??=?--?

6．其它的算法，如自适应方法。

第四讲 基于块的分析法

4．1 块运动模型 1． 图像的块模型 （1） 图像由块构成

（2） 块运动由平移和二维变形构成

2． 平移块运动 （1） 模型

在纯平移情况下，设块B ∈n ，而n =（n 1，n 2），D=（d 1，d 2）T 是位移矢量，且第k 帧中图像块B 为S （n 1，n 2，k ），则有

121122(,,)(,,1)

(4.11)S n n k S n d n d k =+++--

注意上式中D 为已被采样点阵抽样及量化后的值。最接近真正（d 1，d 2） 的整数。

（2） 重叠问题

图在下面：

可知块B 在k 与k+1帧之间可能重叠的，(a)在未重叠时，块B 有单一的运动矢量。(b)在重叠时，可选择重叠区内平均运动矢量作为补偿。

(３) 应用

未重叠块 重叠块

平移的块运动模型算法简单

(a) 每一块只需一个运动矢量

而光流法要附加的条件来表示运动场 (b) 算法规整简单，便于VLSI 实现

(c) 不能用于变形运动

３．变形的块运动 (１) 位射变换

设k 帧中某像素的坐标为(x 1, x 2) ，而在k+l 帧中的对应像素的坐标为(x’1, x’2)，则由一般的位射变换有

X’=AX+D

(4.1—2)

其中X’=(x’1, x’2)T ，X=(x 1, x 2)T ，D=(d 1, d 2)T (4.1--2)可处理

平行四边形

长方形旋转

长方形??{的变换，而位射是正交投射。

（2）透视变换 非线性处理

1

281732211,

1'2{

++++=x a x a a x a x a x x

（4.1--3）

（3引入了非线性处理

4.2 相位相关法 频域法 1. 线性相位差项

在（4.1--1）试两边取付氏变换

121121122(,)(,).exp{2()}k k S f f S f f j d f d f π+=+ （4.2--1）

因此对应块之间的相位差为

121121122arg{(,)}arg{(,)}2()k k S f f S f f d f d f π+-=+

（4.2--2）

可见相位差只是在（1,2f f ）坐标上一个平面方向，则帧间的运动矢量可以由这个方向指示来估计。（4.2--1）式也表明空间场的相对位移引入傅立叶场的线性相位项，而光学的傅立叶常谱特性更容易得到快速算法。

2. 相位相关函数

定义k, k+1帧间的相关函数为

,1121212(,)(,,1)*(,,)k k C n n S n n k S n n k +=+-- （4.2--3）

11281732211,

1

2

81762514'2{

++++=

++++=x a x a a x a x a x x a x a a x a x a x

相复功率谱有

*,11211212(,)(,)(,)k k k C f f S f f S f f ++=

（4.2--4）

归一化功率谱为

(4.2--5)

若为平移运动,有

,1121122(,)exp{2()}k k C f f j d f d f π+=+% (4.2--6) 上式反变换有

,1121122(,)(,)k k C n n n d n d δ+=--% (4.2--7) (4.2--7)式称为相位相关函数,是一个δ函数，即δ函数的位置生成位移矢量。

3 实现及问题 实现步骤：

（1）计算块的二维DFT （k, k+1帧） （2）计算（4.2--5）式的归一化功率谱 （3）求反二维DFT

（4）检测相位相关函数峰值位置

问题： （1）伪峰的出现 （2）峰分裂 （3）分辨率 （4）频谱泄露

优点：

（1）不敏感照明的变化 归一化的功率谱

（2）可检测多物体运动 每个峰将指示一个特定运动

4.3块匹配法 时域法 1. 块匹配法

（1）算法在时域进行，算法本身简单、归整 （2）便于VLSI 实现，MPEG1、2、4均大量采用 （3）原则

（a ） 合适的块大小

)

,(),(),().(),(~

21*

21'121*

211211,f f S f f S f f S f f S f f C k k k k k k +++?=

（b ） 匹配准则 （c ） 搜索方法 2. 匹配准则

（1）最小均方误差MSE, 定义：

(4.3--1)

准则为求（12

?,d d )

）T ，使得 121212

?(,)min{(,),(,)}T

d d MSE d d d d D =∈) (4.3--2) D 表示（1

2

?,d

d )

）T 的域 MSE 可看成光流的约束条件（指块内） 但不利于VLSI 实现

（2）MAD 最小绝对值法，定义：

(4.3--3)

求（12?,d d )）T ，使得 121212?(,)min{(,),(,)}T T d d MAD d d d d D =∈) (4.3--4)

其中D 是（1

2

?,d d )）T 的域

可见 MAD 便于VLSI 实现，但块范围大后，性能下降。

（3）MPC 最大匹配像素数法

对块中的每一个像素，定义：

(4.3--5)

由(4.3--5)决定该像素是否匹配像素 则块中的匹配像素的个数为

(4.3--6)

求（12?,d d )）T ，使得 121212?(,)min{(,),(,)}T T d d mpc d d d d D =∈) (4.3--7)

其中D 是（12?,d d )）T 的域

MPC 法只需逻辑运算及计数，便于硬件实现

12121212(,)(,)(,;,)n n B

Mpc d d T n n d d ∈=∑2

)2,(21212

1211)]

,,(),,([1),(∑∈+-=

B

n n k n n S k n n S N N d d MSE 12121212(,)

121

(,)(,,)(,,1)

n n B MAD d d S n n k S n n k N N ∈=-+∑121212121,(,,)(,,1)0,(,,,){

S n n k S n n k t T n n d d -+≤←=门限其它

3．搜索过程

（1）全程搜索费时，但可靠，保证全局极值点

（2）快速搜索法三步搜索与预期的精度有关

交叉搜索

4.4 分级运动估计

1.图象的多分辨率表达形式在小波变换下可提供为相位相关法急块匹配改善运

动估计

2.低分辨率开始运动估计大块的运动

…….小块运动运动解高分辨率

若有理解初始值，则可以减小窗口的大小

降低运动量

3.重建时可根据需要重建

4.5 一般的块运动估计

1．平移估计的缺陷

（1）上述方法只能用于平移情况

（2）旋转、变形、运动场有不连续点时不能适用

2．改进

（1）后处理

（2）空间变换

后处理：在H.26x,MPEG1,MPEG2中图象分成１６╳１６块易引入边界效应。

先在块Ｂ决定一个运动估计，然后块被分成k个区域块或子块，每个子块有一个单一运动估计，将k个附加的运动估计与分割图象处理联系起来，在边缘处传递合适的运动估计（而大块长的运动估计），因此，而传递了更多的运动信息。

变形匹配：将变形块细化成三角形或小四边形，追求最佳分解；然后在给定的空间变换中寻求最佳匹配三角形或四边形，而基础是SME法、MAD法或MPC法。