第三章_二维运动估计之二
第三章_二维运动估计之二
动矢量是从每个块中独立预测得到的。
–解决方法：基于网格的运动估计
当块内有多物体运动或者因照明产生变化时，
DBMA效果不好
–三模型法：
• 先对每个块实行EBMA • EBMA误差小的块具有平移运动 • EBMA误差大的块具有非平移运动 –对这些块运用 DBMA
目录
EBMA的问题 可变形块匹配算法 (DBMA) – 基于节点的运动模型 基于网格的运动估计 基于区域的运动估计 全局运动估计 – 直接估计法 – 间接估计法 多分辨率运动估计 – 分层块匹配算法(HBMA) 小结
过程： 1. 将锚定帧分割成多个规整的块 2. 对每个块采用较复杂的运动模型
xm,1
（如仿射，双线性或投影映射） 3. 对每个块进行独立的运动参数估计
6.5 可变形块匹配算法
仿射 (6 个参数):
– 三角形映射
d x ( x, y ) a0 a1 x a2 y d ( x, y ) b b x b y 2 y 0 1
基于网格的运动估计
当前帧被分割为不重 叠的多边形单元（网 格），运动估计为网 格的每个节点在参考 帧找到对应点（即得 到其运动矢量），其 余点的位移矢量由节 点的运动矢量插值得 到。
(a) 使用三角形网格
(b) 使用四边形网格
基于网格的运动估计
(a) 基于块匹配的运动估计
(b) 基于网格的运动估计
全搜索块匹配 (半像素精度)
预测图像
基于网格
基于网格的运动估计与块匹配法的比较
网格
– 当前帧可以分成规则的或不规则的网格 – 参考帧中的不规则网格是不重叠的 – 每个节点只有一个运动矢量
可变形块
一种基于二维运动重构的旋转对称目标拟规则进动参数估计方法
一种基于二维运动重构的旋转对称目标拟规则进动参数估计方法洪灵;戴奉周;刘宏伟【摘要】在初始扰动和扭矩的作用下，自旋稳定空间飞行器的运动形式是章动和进动合成的拟规则进动。
拟规则进动目标运动参数的估计对于确定目标姿态和预测目标落点具有重要意义。
针对拟规则进动的旋转对称目标，该文提出一种基于宽带雷达观测的运动参数估计方法。
首先推导了拟规则进动的运动学模型，而后将基于多散射中心1维径向距离历程的目标运动3维重构方法扩展到旋转对称目标的2维运动重构，然后基于2维运动的欧式重构采用序列二次规划和非线性最小二乘循环迭代的方法估计目标的章动和进动参数。
最后，利用电磁仿真数据验证了算法的有效性。
%Under the effects of the initial perturbation and torque, the motion of the spin-stability spacecraft is the compound of nutation and precession, named quasi-regularized precession. The motion parameters estimation of the quasi-regularized precession object is important to the determination of the attitude and the reentry point of the object. This paper presents a novel method to estimate the motion parameters of the rotation symmetric object based on the measurements from wideband radar. Firstly, the kinematic model of the quasi-regularized precession is derived;and then the algorithm of 3D motion reconstruction from 1D radial range histories of multiple scatterers is extended to the 2D motion reconstruction of the rotation symmetric object; and thirdly based on the 2D Euclidian motion reconstruction result, the method of nutation and precession parameters estimation is proposed by using the cyclic iterativeof sequential quadratic programming and nonlinear least square algorithm. The electromagnetic simulated data show that the proposed method is validated for its effectiveness.【期刊名称】《电子与信息学报》【年(卷),期】2014(000)007【总页数】7页(P1538-1544)【关键词】宽带雷达;旋转对称目标;章动参数估计;2维运动重构【作者】洪灵;戴奉周;刘宏伟【作者单位】西安电子科技大学雷达信号处理国家重点实验室西安 710071;西安电子科技大学雷达信号处理国家重点实验室西安 710071;西安电子科技大学雷达信号处理国家重点实验室西安 710071【正文语种】中文【中图分类】TN957.51航天器的姿态估计对于卫星稳定性和毁伤分析以及再入式飞行器的落点预测具有重要意义。
第三章二维运动估计之一
v vnen vtet
vn ||
||
t
0
2.2 运动估计的一般方法
后向运动估计
Time t
Time t +t
Time t - t x
d(x, t - t) 当前帧
x 参考帧
d(x, t + t) x
当前帧 前向运动估计
参考帧： 1(x, t1) 当前帧: 2(x, t2)
– 基于光流的运动估计 – 基于像素的运动估计 – 基于块的运动估计（EBMA）
3-D运动 -> 2-D运动
3-D MV
2-D MV
2.1 2-D 运动 vs. 光流
2-D 运动: 3-D 运动的投影, 取决于3D 物体运动和投影 操作。
光流: 观测的或表现的二维运动。
– 不仅可以由物体运动引起，还可以由摄像机运动或照明条件 变化引起。注：不等同于真实的二维运动。
xB
w(
x)
x
vˆx
y
vˆy
t
x
0
xB
w(
x)
x
vˆx
y
vˆy
t
y
0
2.3.1 多点邻域约束
多点邻域约束
则光流矢量的估计值为：
vˆx vˆy
xB
vtet
v
vnen
e t 为切线方向上的单位矢量
Tv 0
t
vn
t
0
只能确定图像空间梯度方向上的分量（法向流）
第三章 数字电视视音频信号压缩编码技术
为帧内预测编码；三维预测与前面的帧有关，所以也称为帧 间预测编码。
二、 变换编码
变换编码也有变换、量化、编码三大过程：
1、离散余弦变换——DCT的基本思想
DCT变换是把空间域上的信号变换到 频率域上，使能量在空间域上分散分布的 原信号变换后能量在频率域上相对集中到 某些少数区域内，即将空间域上的信号样 值变换成频率域上的系数，经变换后的系 数按频率由低到高分布。
率为 p(xi )，且有 p(xi ) 1，则x1,x2,x3…xn所包含的 i 1
信息量分别为 log2 p(x1), log2 p(x2 ) log2 p(xn ) 。 于是，每个符号所含信息量的统计平均值，即平均
信息量为：
H(x) p(x1)log2 p(x1) p(x2)log2(x2)
⑵对每一块像块进行DCT变换。 ⑶对变换后的系数进行量化。 ⑷进行之字形扫描（读出）和零游程编码。
3、DCT压缩编码的过程为：
三、统计编码（熵编码）
统计编码是基于信号统计特性的编码技术。 基本原理：
按信源符号出现概率的不同分配以不同长
度的码字（bit数），概率大的分配以短的码字， 概率小的分配以长的码字。这样使最终的平均
三、压缩的途径及方法
1、行、场逆程不传送，在接收端重新形成。 2、亚奈奎斯特取样 fs＜2fm。使混叠分量与 亮度谱线交错。
3、采用高效编码――信源编码。去除电视信号 中的冗余。
3.3 常用的数字电视视频压缩编码技术
一、 预测编码
1、预测编码的基本原理 利用某种数学模式对以前已知的相关数据进
概率论与数理统计第三章
(x, y) (X, Y)
☺ 说明
(x1, y2)
(x2, y2)
(x1, y1)
(x2, y1)
x
由上面的几何解释,易见: 由上面的几何解释,易见: 随机点(X, 落在矩形区域 落在矩形区域: 随机点 Y)落在矩形区域: {x1<X≤x2, y1<Y≤y2} 内的概率 P{x1<X≤x2 , y1<Y≤y2} =F(x2, y2)-F(x2, y1)- F(x1, y2)+F(x1, y1)
•
计算机科学学院
•
裘国永
第三章 多维随机变量及其分布
二维随机变量 边缘分布 条件分布 相互独立的随机变量 两个随机变量的函数的分布
本章内容是第二章内容的推广 一维随机变量及其分布
多维随机变量及其分布
由于从二维推广到多维一般无实质性的困难， 由于从二维推广到多维一般无实质性的困难， 我们重点讨论二维随机变量。 我们重点讨论二维随机变量。
二、联合分布函数 X和Y的联合分布函数（Joint distribution） 和 的联合分布函数（ ）
F( x, y) = P{( X ≤ x) I(Y ≤ y)}
= P { X ≤ x,Y ≤ y}
一维随机变量X 一维随机变量
∆
−∞ < x , y < ∞
X的分布函数 的分布函数
F( x) = P{ X ≤ x}
的分布律。 求(X,Y)的分布律。 的分布律
解：
A2 P{ X = 1, Y = 1} = 2 2 A5
2× 3 P{ X = 1, Y = 0} = 2 A5
3× 2 P{ X = 0, Y = 1} = 2 A5
A P{ X = 0, Y = 0} = A
第四章 二维运动估计
4.2
二维运动估计的基本方法
数字视频信息 处理与传输
侯 颖
ying_hou@
第四章
4.1 4.2 4.3 4.4 4.5 4.6
二维运动估计
二维运动估计和光流方程 二维运动估计的基本方法 基于像素的运动估计 基于块的运动估计 基于全局的运动估计 基于区域的运动估计
第四章
二维运动估计
运动估计是视频处理系统的一个重要的组成
= 0
或 其中(
v + t
T
= 0
v y )表示速度矢量（也称为流矢量）， vx ，
= [ 梯度矢量。
x ， y
]
T是
( x, y, t ) 的空间
第四章
4.2
二维运动估计
二维运动估计的基本方法 两个给定帧 ( x, y, t1 ) 和 ( x, y, t 2 )，在时刻 t1
( x d x，y d y，t dt )
=
( x, y , t )
4.1
二维运动估计和光流方程
（a） 锚定帧（参考帧） 图4.4
（b） 目标帧（当前帧） 恒定亮度假设
4.1
二维运动估计和光流方程
4.1
二维运动估计和光流方程
应用Taylor(泰勒) 展开公式，当 d x ，d y ， d t 很小 时，有
4.2
二维运动估计的基本方法
二维光流运动估计的方法
二维光流运动估计的方法嘿，咱今儿个就来唠唠二维光流运动估计的方法。
你说这光流运动估计啊，就像是给运动的物体安上了一双眼睛，能让我们清楚地知道它是咋动的。
先来说说基于梯度的方法吧。
这就好比是在一个迷宫里找路，通过观察周围的变化来确定方向。
这种方法呢，简单直接，能快速地算出个大概来。
但是呢，它也有它的局限性，就像走迷宫有时候也会碰到死胡同一样，可能会不太准确。
然后呢，还有基于区域匹配的方法。
这就像是拼图游戏，把相似的部分找出来拼在一起，从而了解物体的运动情况。
这种方法呢，相对来说更准确一些，就好像拼图拼对了就能看到完整的画面。
可它也不是完美的呀，有时候找那些相似的部分也挺费劲儿的呢。
再有就是基于相位的方法啦。
这个就有点像听音乐的节奏，通过节奏的变化来感知运动。
它有它的独特之处，能在一些复杂的情况下发挥作用，就像音乐的节奏能带动人的情绪一样。
还有基于特征的方法呢，这就像是抓住物体的一些关键特点，然后根据这些特点的变化来估计运动。
就好比你记住了一个人的独特之处，下次再见到就能认出来一样。
咱说了这么多种方法，每种都有它的长处和短处。
就像人一样，没有一个人是完美无缺的，每种方法也都有它适用的场景和不适用的情况。
那咱在实际应用的时候可得好好琢磨琢磨，到底哪种方法更适合当下的情况呢。
你想想啊，要是在一个很复杂的环境里，那是不是就得选一个更能应对复杂情况的方法呢？要是在一个简单的场景下，也许就不需要那么复杂的方法啦，简单直接的说不定更好用呢。
总之呢，二维光流运动估计的方法有很多，咱得根据具体情况来选择，可不能瞎用一通啊。
这就好比你去爬山，总不能穿着高跟鞋去吧，得选对鞋子才能爬得稳当呀！咱对待这些方法也得这样，选对了，才能让我们更好地了解物体的运动，为我们的研究或者应用提供有力的支持。
你说是不是这个理儿呀？。
二维运动估计
基于像素的运动估计
基于梯度下降的算法(Netravali-Robbins)
最小化位移帧差函数
E ( x ,d ) [ e ( x ,d )2 ] [2 ( x d i) 1 ( x )2]
迭代方程：d (l 1 ) d (l) e ( x ,d (l)) d e ( x ,d ( l))
随机场
视频图像函数 观察模型
运动场
运动场模型
用概率密度函数建模
后向运动估计 t-dt
t
x
d(x,t;t-dt)
x
t+dt x
d(x,t;t+dt)
前向运动估计
二维运动估计存在的几个问题 遮挡问题 孔径问题
噪声问题
二维运动模型及估计方法
参数模型：物体运动被建模为某种映射形式。
➢ 全局 --- 摄像机移动、单个运动物体 ➢ 区域 --- 多个运动物体 （运动区域分割）
运动图像处理
二维运动参数估计 三维运动参数估计 运动目标检测与分割 运动物体的三维结构及各个物体之间的空间关系
刚体运动
运动物体分为刚体和非刚体（柔体）。 所谓刚体是指物体在运动过程中其几何特征保持不变
对应于不同刚体运动模型的二维运动
平移
仿射
双线性
透视投影
观察到的二维运动与真实的投影二维运动 的不一致性
为光流场。
基于光流的运动估计
光流v的分解
将光流v分解为两个正交的分量：
vvnenvtet
其中： e n 为图像空间梯度方向
vtet
v
vnen
上的单位矢量
e t 为切线方向上的单位矢量
Tv 0
t
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
a 表示全局运动参数矢量
可以是仿射、双线性、投影运动模型中的任意一种
w(x) 可减小与全局运动不匹配的 w(x) 为权值系数，调节
像素对误差函数的影响。
全局运动估计
间接估计法
– 假设已经得到一些特征点 x n 的运动矢量 d n – 匹配误差函数：
1 2 E w(n)[d(x n ; a) d n ] 2 n
• 规则网格 • 自适应网格 复杂运动的区域节点密集，简单运动的区 域节点稀疏
– 节点运动估计
• 最小化位移帧差函数 – 二阶梯度迭代 • 先后顺序 – 光栅扫描 – 根据节点处图像梯度值 – 分组
自适应三角形网格的建立
~ ( x 1, y ) ~ ( x 1, y ) ~ ( x, y 1) ~ ( x, y 1) SG( x, y ) 2 2 2 2
目录
EBMA的问题 可变形块匹配算法 (DBMA) – 基于节点的运动模型 基于网格的运动估计 基于区域的运动估计 全局运动估计 – 直接估计法 – 间接估计法 多分辨率运动估计 – 分层块匹配算法(HBMA) 小结
多分辨率运动估计
前面介绍的运动估计方法存在的问题 – 最小化误差函数可能收敛到局部最小值 – 最小化误差函数过程的计算量很大 多分辨率运动估计可有效解决这两个问题 – 首先在最小分辨率层（由空间低通滤波和欠取样 获得）进行运动估计，并把结果作为下一层的初 始解。 – 然后每层依次进行运动估计，每层的运动估计结 果都将作为下一层的初始解 – 每层的运动估计可使用前面介绍的方法，如基于 光流、像素、块、网格等运动估计方法
其中
搜索方法:
d(x) k (x)d k
k 1
K
– 穷尽搜索法:
• 实际中要同步搜索K个节点的运动矢量，搜索维度高，不可 行。
– 梯度下降法:
• 牛顿-拉夫森搜索算法 • 搜索的结果依赖于初始解。好的初始解可通过EBMA得到。
DBMA的问题
块边界会产生运动的不连续性，是由于节点的运
节点运动估计
步骤
– 节点运动估计初始值：块匹配法 – 按顺序迭代估计每个节点
• 给定某个节点，固定其他节点 • 在不改变拓扑结构的范围内移动该节点，计算误差函数 • 最小化误差函数更新的运动矢量
– 满足某条件，终止迭代
每个节点的更新过程
– 全搜索 – 梯度下降
基于网格的运动估计
参考帧
当前帧
6.5.1 基于节点的运动表示
假设 –在块中选择若干个控制节点，这些节点能够自由运 动 –而且任何中间点的位移可以通过节点的位移内插得 到。 令K 表示控制节点数， dm,k 表示Bm 中控制节
点的运动矢量，则块的运动函数可以表示为： K d m m, k (x )d m, k , x Bm
基于区域的运动估计
将视频图像分割为多个区域，每个区域对应一个特
定的运动，然后为每个区域估计运动参数 区域分割：力图区域内的所有像素的运动具有一致 性，可以由一个运动模型表示 运动模型：仿射模型、双线性模型、投影模型 方法分类
– 区域优先 – 运动优先 – 联合区域分割和运动估计
基于区域的运动估计
k 1
其中, 0 m,k (x) 1
k 1
K
m,k (x) 1, x Bm
内插核 m,k (x)取决于Bm中第k个控制点对x的贡献期望值
6.5.1 基于节点的运动表示
控制点举例：块角
点 其他点的运动通过 角点dm,k 的运动矢 量插值得到。 控制点的运动矢量 可以是整数像素精 度或者半像素精度， 所有控制点的运动 参数同等重要。 K 平移，仿射，双线 d m m, k (x )d m, k , x Bm 性是这个模型的特 k 1 例。
EBMA的问题 （2）
运动域是随机的 – 块和块之间的运动矢量估计是独立的 – 解决方法1：加入光滑性约束，调整预测误差项和平 滑项的权重。 – 解决方法2：多分辨率方法 – 解决方法3：基于网格的运动估计 光滑区域产生错误的MV – 当光梯度接近0时无法估计出运动。 – 解决方法：基于区域的运动估计 非常大的运算量 – 解决方法1：快速算法，牺牲部分精度 – 解决方法2：多分辨率运动估计
区域优先的方法
– 基于当前帧的纹理、边缘信息进行区域分割
• 局部区域的直方图 • 区域连接增长
– 为每个区域估计运动参数 1 E [ 2 (x d(x; a n ))] 1 (x)]2 区域误差函数： 2 xRn
d(x; a n ) 表示当前帧第n个区域Rn中像素x的运动矢量 a n 表示Rn的运动参数矢量
更新第n个节点的运动矢量时，其余节点的运动矢量保持不变
d (nl 1) d (nl ) arg min E S ( n ) (u n )
un
S(n)表示与第n个节点相连接的多边形单元的误差函数
ES ( n )
1 ~ (x)]2 [ 1 ( x d m (x)) 2 2 mS ( n ) x 2 ,m
(c) 基于网格的运动跟踪
基于网格的运动估计
•每个网格节点只有一个运动矢量，与其相邻的所有多 边形单元共享此运动矢量
单元内像素的运动由节点的运动矢量内插得到
d m (x) m,k (x)d n ( m ,k ) , x Dm
k 1
Km
基于网格的运动估计
主要步骤 – 建立网格
内插公式
k 1 K=1，退化为平移模型 x的贡献， K=3，对应于仿射运动模型 第k个节点对像素 称内插核 K=4，对应于双线性运动模型
d(x) k (x)d k
K
6.5.2 基于节点模型的运动估计
匹配函数:
1 2 E [ 2 (x d(x)) 1 (x)] 2 x
全局运动估计
整幅图像的运动可以用单一的运动模型表示 通常指摄像机相对于静止场景运动产生的运
动 整个场景作为一个整体运动（很少发生）。 方法
– 直接估计法 – 间接估计法
全局运动估计
直接估计法
– 误差函数：
1 E w(x)[ 2 (x d(x; a))] 1 (x)]2 2 x
基于区域的运动估计
联合区域分割和运动估计的方法
– 区域分割和运动估计相互依赖，相辅相成。 – 可交替进行区域分割和运动估计
目录
EBMA的问题 可变形块匹配算法 (DBMA) – 基于节点的运动模型 基于网格的运动估计 基于区域的运动估计 全局运动估计 – 直接估计法 – 间接估计法 多分辨率运动估计 – 分层块匹配算法(HBMA) 小结
d(x n ; a) 是 a 的线性函数，即 d(x n ; a) A(x n )a
对上式求偏导并令其为零，可得运动参数：
1
T T a w(n)[ A (x n )] [ A (x n )] w(n)[ A (x n )] d n n n
目录
EBMA的问题 可变形块匹配算法 (DBMA) – 基于节点的运动模型 基于网格的运动估计 基于区域的运动估计 全局运动估计 – 直接估计法 – 间接估计法 多分辨率运动估计 – 分层块匹配算法(HBMA) 小结
可变形块匹配算法
B’m
xm,3 Bm xm,4
xm,2
全搜索块匹配 (半像素精度)
预测图像
基于网格
基于网格的运动估计与块匹配法的比较
网格
– 当前帧可以分成规则的或不规则的网格 – 参考帧中的不规则网格是不重叠的 – 每个节点只有一个运动矢量
可变形块
– 当前帧分成规则的网格 – 参考帧中的不规则网格是重叠的 – 每个节点有多个运动矢量
不可变形块
多分辨率运动估计
双线性 (8个参数) :
– 四边形映射
d x ( x, y ) a0 a1 x a2 y a3 xy d ( x, y ) b b x b y b xy 2 3 y 0 1
仍然不能解决块内存在多个运动的问题，块效
应和光照效应等问题。
动矢量是从每个块中独立预测得到的。
–解决方法：基于网格的运动估计
当块内有多物体运动或者因照明产生变化时，
DBMA效果不好
–三模型法：
• 先对每个块实行EBMA • EBMA误差小的块具有平移运动 • EBMA误差大的块具有非平移运动 –对这些块运用 DBMA
目录
EBMA的问题 可变形块匹配算法 (DBMA) – 基于节点的运动模型 基于网格的运动估计 基于区域的运动估计 全局运动估计 – 直接估计法 – 间接估计法 多分辨率运动估计 – 分层块匹配算法(HBMA) 小结
– 当前帧分成规则的网格 – 参考帧中的规则网格是重叠的
目录
EBMA的问题 可变形块匹配算法 (DBMA) – 基于节点的运动模型 基于网格的运动估计 基于区域的运动估计 全局运动估计 – 直接估计法 – 间接估计法 多分辨率运动估计 – 分层块匹配算法(HBMA) 小结
过程： 1. 将锚定帧分割成多个规整的块 2. 对每个块采用较复杂的运动模型
xm,1
（如仿射，双线性或投影映射） 3. 对每个块进行独立的运动参数估计
6.5 可变形块匹配算法
仿射 (6 个参数):
– 三角形映射
d x ( x, y ) a0 a1 x a2 y d ( x, y ) b b x b y 2 y 0 1
基于网格的运动估计
当前帧被分割为不重 叠的多边形单元（网 格），运动估计为网 格的每个节点在参考 帧找到对应点（即得 到其运动矢量），其 余点的位移矢量由节 点的运动矢量插值得 到。