数字影像匹配方法
影像匹配的基本算法共35页
两影像窗口灰度差绝对值和即灰度矢 量X与Y之差矢量之分量的绝对值之和
N
Sx1y1x2y2 xNyN xiyi
i 1
当N=2时，
Sx1y1x2y2 min
基于物方的影像匹配（VLL法）
影像匹配的目的是提取物体的几何 信息，确定其空间位置，
能够直接确定物体表面点空间三维 坐标的影像匹配方法得到了研究，这 些方法也被称为“地面元影像匹配”
差平方和（差矢量模）
S2(p,q)[g(x,y)g(xp,yq)]2dxd
(x,y) D
mn
S2(c,r)
(gi,j gir,jc)2
i 1 j 1
若S2（c0, r0） < S2（c, r），则c0, r0为搜 索区影像相对于目标区影像的位移行、列 参数。对于一维相关应有r 0。
两影像窗口灰度差的平方和即灰度向 量X与Y之差矢量
R（ p0, q0）＞ R（p, q）（ pp0， qq0）
若 R（ p0, q0）＞ R（p, q）（ pp0， qq0），则 p0, q0为搜索区影像相对 于目标区影像的位移参数。对于一维相 关应有q 0。
离散灰度数据对相关函数的估计公式为
mn
R(c,r)
gi,j gir,jc
i1 j1
若
i1
它是N维空间的一个超平面。当N=2时 R＝ x1yl＋ x2y2
（X· Y）＝ |X| · |Y|·cos＝ max
|Y|cos＝ max
相关函数最大 （即矢量X与Y 的数积最大） 等价于矢量Y在 X上的投影最大
协方差函数（矢量投影）
C (p ,q ){ g (x ,y ) E [g (x ,y )] g (x } p ,{ y q ) E [g (x p ,y q )d ]} x
摄影测量学 影像匹配
vv min
仅仅认为影像灰度只存在偶然误差
n1 g1 ( x, y ) n2 g2 ( x, y )
v g1 ( x, y ) g2 ( x, y )
Photogrammetry,2004
Photogrammetry & Remote Sensing-----Surveying & Mapping Engineering
利用影像匹配获得的同名点进行相对定向
Photogrammetry & Remote Sensing-----Surveying & Mapping Engineering
主要内容：
相关系数匹配的基本原理
核线几何关系解析
最小二乘法影像匹配的原理
单点最小二乘法影像匹配 最小二乘法影像匹配精度
Photogrammetry,2004
Photogrammetry & Remote Sensing-----Surveying & Mapping Engineering
最小二乘影像匹配的数学模型
“灰度差的平方和最小”
S 2 X Y ( x1 y1 ) 2 ( x 2 y 2 ) 2 .... ( x N y N ) 2 min
同时解决“多点”影像匹配或“多片”
影像匹配
引入“粗差检测”，从而大大地提
高影像匹配的可靠性
Photogrammetry,2004
Photogrammetry & Remote Sensing-----Surveying & Mapping Engineering
1、最小二乘影像匹配原理
影像灰度的系统变形：产生影像灰度分布之间的差异。
摄影考试重点题目与答案
名词解释1。
摄影测量学:利用光学摄影机摄影的像片，研究和确定被摄物体的形状、大小、位置、性质和相互关系的一门科学技术2。
像点位移:当地面起伏、像片倾斜时,地面点在像片上的构像相对理想情况时产生的位置差异。
3．摄影比例尺：摄影像片当作水像片，地面取平均高程时，这时像片上的一段的水平距L 之比为摄影比例尺.4。
数字影像相关：利用计算机对数字影像进行数字计算的方式完成影像的相关，识别出两幅（或多幅）影像的同名像点。
5．解析空中三角测量：以像点坐标为依据，采用一定的数学模型，用少量控制点作为平差条件，解求加密点物方坐标的理论方法或作业过程。
6．摄影基线：相邻两摄站点之间的连线7．航线弯曲度：偏离航线两端像片主点间的直线最远的像主点到该直线的距离与该直线距离之比。
8．立体像对：在航空摄影时，同一条航线相邻摄站拍摄的两张像片具有60％左右的重叠度，这两张像片成为立体像对。
9．相对定向：确定一个立体像对中两张像片相对位置的参数10。
绝对定向：确定相对定向所建立的几何模型的比例尺和模型空间方位。
11。
中心投影:投影光线相互平行的投影12.影像内定向：将仪器坐标系中的像点坐标转换为像平面坐标系中坐标的过程13.摄影基线：航线方向相邻两个摄影站点间的空间距离14。
航向重叠：同一条航线上相邻两张像片的重叠度15。
像片的外方位元素：确定摄影瞬间像片在空间坐标系中位置和姿态的参数。
或称为表示摄影中心和像片在地面坐标系中的位置和姿态的参数.16。
内方位元素：确定投影中心(物镜后节点)相对于像平面位置关系的参数17。
核线相关:沿核线寻找同名像点18.DEM：数字地形模型中地形属性为高程时称为数字高程模型19。
影像数字化:将透明正片或负片放在影像数字化器上，把像片上像点的灰度值用数字形式记录下来，此过程为影像数字化20。
模型绝对定向：用已知的地面控制点求解相对定向所建立的几何模型的比例尺和模型空间方位元素21。
同名核线：同一核面与左右影像相交形成的两条核线，其中核面指物方点与摄影基线所确定的平面22.同名像点：同一地面点发出的两条光线经左右摄影中心在左右像片上构成的像点称为同名像点。
第六章最小二乘影像匹配
二．单点最小二乘影像匹配
采用最小二乘影像匹配，解求变形参数 的改正值dh0,dh1, da0,…。
计算变形参数 a0i xa0i 21 daa0 0iaa10ix1daa1i2y b0i 1da2i
g2 g1 g 22
1
h0
1 n
(
g1
g2 ( g2 )h1 )
h0 0
h1
g2 g1 g 22
1
一．最小二乘影像匹配原理
消除了两个灰度分布的系统的辐射畸变后，其残余的灰度差 的平方和为
v h0 h1g2 ( g1 g2 )
vv
(g2
1
da0i
db0i
0 1 da1i
db1i
b b a db b db i 0 i 11
0i 1 0 i 1 i 1 i
1
ida2i
1 i
a01i 1
1
a1i i 11
1
a2i 1i
x
1 i
1
2 i
b b a db b db 12 db2i 2b0i1 b1i21 b2i11 y 2
g1g2
g2 2
h1
g1
g2 n
(
g2 )2 n
g2 g1 g 22
1
h0
1( n
g1
g2 (
g2 )h1 )
一．最小二乘影像匹配原理
对g1，g2中心化处理 g1 0; g2 0;
影像匹配的方法与参数选择技巧
影像匹配的方法与参数选择技巧在现代科技的推动下，人们能够轻松地获取到大量的影像数据。
然而，如何高效地利用这些数据，并从中提取出有效的信息，一直是一个挑战。
影像匹配作为一种关键的技术，被广泛应用于地理信息系统、计算机视觉、机器人导航等领域。
本文将介绍影像匹配的基本原理和常用方法，并探讨参数选择的技巧。
一、影像匹配的基本原理影像匹配是指将两幅或多幅影像中的对应点或相似特征进行匹配的过程。
其基本原理是通过计算图像中像素或特征之间的相似度，来确定匹配关系。
常见的影像匹配方法包括基于灰度值的匹配、基于特征点的匹配和基于深度学习的匹配等。
首先，基于灰度值的匹配是一种较为简单直接的方法。
其原理是通过比较同一位置处像素的灰度值，并计算相似度。
然而，由于光照变化、噪声等因素的存在，该方法的鲁棒性较差，精度相对较低。
其次，基于特征点的匹配是一种常用且较为有效的方法。
在该方法中，首先通过特征提取算法（如SIFT、SURF等）从影像中提取出关键点和其特征描述子，然后通过比较特征描述子的相似度来进行匹配。
这种方法不受光照和噪声的影响，具有较高的鲁棒性和准确度。
最后，基于深度学习的匹配是近年来兴起的一种方法。
通过训练神经网络模型，将影像转化为特征向量，并通过计算特征向量之间的相似度来进行匹配。
这种方法具有较高的准确度和鲁棒性，但需要大量的训练数据和计算资源。
二、常用的影像匹配方法除了上述提到的基于灰度值、特征点和深度学习的匹配方法，还有一些其他常用的方法，例如基于几何模型的匹配和基于光流的匹配。
基于几何模型的匹配是通过建立影像之间的几何关系来进行匹配。
常见的几何模型包括仿射变换、透视变换等。
该方法能够在一定程度上解决遮挡、亮度变化等问题，但对几何约束条件较为敏感，精度受限。
基于光流的匹配是通过分析连续帧之间的像素运动来进行匹配。
这种方法基于光流法的基本假设，即相邻像素之间的灰度变化是由相机运动引起的，从而通过计算像素之间的位移来进行匹配。
影像匹配基础理论与算法
四像元平均
九像元平均
金字塔影像层的确定方法
原始影像称第零层，第一层影像每一像素相当于零层（ 原始影像称第零层，第一层影像每一像素相当于零层（l×l）l 个像素， 层影像每一像素相当于零层的（ 个像素，第k层影像每一像素相当于零层的（l×l）k个像素
由影像匹配窗口大小确定金字塔影像层数
w＜INT（n/lk＋0.5）＜l·w ＜ 影像 长度
1 T
(τ ) =
lim
T →∞
∫
T
0
x ( t ) y ( t + τ ) dt
估计值
ˆ xy ( τ ) = 1 R T
∫
T
0
x ( t ) y ( t + τ ) dt
当x(t)=y(t)时 时 R xx ( τ ) =
自相关函数
∫
+∞ −∞
x ( t ) x ( t + τ ) dt
均值
R xx ( τ ) =
一.常见的五种基本匹配算法
同名点的确定是以匹配测度为基础 同名点的确定是以匹配测度为基础 匹配测度
G ( g ij )
一种适用于近景数码影像的概率松弛匹配方法
是 同名地物在立体像对左右两影像 中变形大 ， 其中
包 括影 像 断 裂 、 遮 蔽 以及 影 像 的 形 状 变 化 和 位 移 等； 三是 摄 影 比例 尺 相 对 较 大 ， 可 能 出现 影 像 纹 理 单 一或 者 一 定 影 像 区 域 灰 度 变 化 微 小 的 情 况 ］ 。
基于这些特殊性 ， 如果用传统的基于格 网点 的概率
松 弛法 对近 景数 码 影 像进 行 匹配 ， 在 初 始 点 匹 配 过
程 中极 易 因连续 失 配 或错 误 匹配 而 导 致 匹 配 中 断 ， 此 时 即使 重 新设 置 匹 配 引 导 点 也 将 在 很 大 程 度 上 影 响匹 配 的效率 ； 如 果 考 虑 用 提取 影 像 特 征 点 的方 法来 实 现初 始点 匹 配 过程 ， 可 以 克服 影 像 变 形 带来
第１ ３卷
第 ７期 ２ ０ １ ３年 ３月
科
学
技
术
与
工
程
Ｖｏ １ ． １ ３ Ｎｏ ． ７ Ｍａ ｒ ．２ ０ １ ３
１ ６ ７ １ —１ ８ １ ５ ｆ ２ ０ １ ３ ） ０ ７ — １ ７ １ ３ — ０ ５
Ｓ ｃ ｉ ｅ ｎ ｃ ｅ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ａ ｎ ｄ Ｅ ｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ
。
科
学
技
术
与
工
程
１ ３卷
左影像
右影像
１
Ｂ ｙ Ｂ ｚ Ｉ
金字塔影像生成 ｌ
ｌ 金 字塔影像生成
ｌ
） ，
一 ｆ ｌ ＝ ０ ｌ
10 第五章数字摄影测量(2)
g2(xi)
Xi
搜索窗
Xi -X0
目标窗
可有： 可有：
∆g ( xi ) = g 2 ( xi ) − g 1 ( xi ) = g1 ( xi − x0 ) − g1 ( xi ) + n 2 ( x i ) − n1 ( x i ) g1 ( xi − x0 ) = g1 ( xi ) − (
2
σ gg' = σ gg =
1 n
2
∑∑(g
i =1 j =1 n n
n
n
ij
′ − g)(gij − g′)
1 n
2
∑ ∑
i=1
n
n
∑∑
i=1 j =1 n n
(g − g)2
ij
g
n
ij
j =1
1 n
2
∑ ∑
i =1
n
g i′ ,
σ g'g' =
j
1 n
2
∑∑
i=1 j =1
′ (gij − g′)2
.
.
5.4 同名核线与核线匹配
一、 二、 三、 四、 核线及性质 相对水平像对同名核线获取 核线重采样 核线匹配
cj
一、 核线及性质
1、核线定义 、 2、核线性质 、
cj
倾斜影像
水平影像
左核 线
cj
S1
a
1
S2 核 面
A′ A
x(p) a2′ a
2
右核 线
a2〞
左右视 差
y(q) 地表
二、相对水平像对同名核线获取
x = − f d1xt + d 2 d 3xt + 1 e1 x t + e 2 y = − f e3 xt + 1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
旋转矩阵
⎡ a1 ⎢b ⎢ 1 ⎢ c1 ⎣
a2 b2 c2
a3 ⎤ b3 ⎥ ⎥ c3 ⎥ ⎦
最简单基于灰度区域的匹配——相关系数法
影像 f 的窗口与影像 g 的窗口的相关系数为
ρ (i0 , j0 ; Δx, Δy ) =
(i0 , j0 )为左影像窗口中心
ij∈W
∑(f
ij
ij
− fW )( gi +Δy , j +Δx − gW )
拍摄方式及过程
共主点成像：由于每个相机镜头之间的距离很短(8cm)，所以相邻镜头之 的曝光时间也很短(大约1ms)，因此所有镜头几乎都是在同一位置、同一姿 态下曝光，这样就能将9个CCD面阵拼接，得到一个完整的中心投影大幅面 全色影像。
影像合成过程
地面分辨率 GSD
飞行高度
覆盖范围(m) 旁向/航向
2.2cm 5cm 7.5cm 10cm 15cm 20cm 50cm
305 694 1042 1389 2083 2778 6944
317/207 722/471 1082/6782 1443/942 2165/1413 2886/1884 7215/4710
高冗余、大重叠度的影像
1.能够让遮挡区域和投影差带来的影响降到最小，是全自动生成真正射影像（Ture orthophoto）的基本条件，也是生产高质量DEM、DSM的基础。 2.支持新一代数字摄影测量系统（DPS），即多目视觉、多影像匹配的技术在摄影测 量中的应用。 3.提高影像匹配的精度和可靠性，提高基高比。 4.最大程度减少或消除航带中可能产生的航摄漏洞，特别是在大比例尺的航空摄影中。
′ ′
分别以 ( xi′ , y i′ ) 与 ( xi ″ , y i ″ ) 为中心在左右影像上取影 像窗口，计算其匹配测，得到 ρ 0 , ρ1 , ρ 2 , L , ρ n 取其最大者
ρ k = max{ρ 0 , ρ1 , ρ 2 , L , ρ n }
2 ij∈w
ij∈W
∑(f
− fW )
∑ (g
i +Δy , j +Δx
− gW )
2
相关系数越大，说明相关性越强
（Δx, Δy)为右影像窗口的偏移量
目标区 目标区
搜索区 搜索区
f ij
g ij
几何约束互相关方法(GC3)
Geometrically Constrained Cross-Correlation (Zhang Li, 2005)
对应高程为 Z k = Z min + k • ΔZ 则认为地面A点高程 Z = Z k
利用 ρ k 及其相邻的几个相关系数拟合一抛物线，以 其极值对应的高程作为A点的高程，以进一步提高精 度，或者更小的高程步距在一小范围内重复以上过 程
+
IF
IN IB
=
Z
Pmax P Y
Z0+ΔZ
ΔZ
Z0 (Approximate)
O
X
Pmin
ΔZ
Z0+ΔZ
1 n SNCC ( p, Z k ) = ∑ NCC i ( p, Z k ) n i =1
VLL基本思想
在中心投影条件下，空间任意一条铅垂线以中心投影的方式投射到影像上 仍是一条直线，该铅垂线与地面的交点在影像上的构像必定位于相应的 “投影辐射线”上。以此为基础，在立体像对上搜索相应像点，从而确定 地面高程。
共线方程
a1 ( X a3 ( X a (X y=−f 2 a3 ( X x=−f
X = X
− X S ) + b1 (Y − YS ) + c1 ( Z − Z S ) − X S ) + b3 (Y − YS ) + c3 ( Z − Z S ) − X S ) + b2 (Y − YS ) + c2 ( Z − Z S ) − X S ) + b3 (Y − YS ) + c3 ( Z − Z S )
基于物方“地面元”的UCX数字航 空影像匹配方法
2011年3月14日
主要内容 UCX数字航测相机简介 影像匹配实验
UCX(UltraCamX)大幅面数码航摄相机
2003年5月在美国摄影测量与遥感大会上推出UCD大幅面数码相机，是 目前性价比最高的一款数码航摄相机。2006年底，Vexcel公司在已经 取得了惊人成功的UCD相机基础上，推出了又一力作UCX(UltraCamX) 大幅面数码相机。
+
Trajectory
C
p
IF
IN IB
=
Z
Pmax P Y
Z0+ΔZ
ΔZ
Z0 (Approximate)
O
X
Pmin
ΔZ
Z0+ΔZ
1 n SNCC ( p, Z k ) = ∑ NCC i ( p, Z k ) n i =1
铅垂线轨迹法(VLL)
Vertical Line Locus
Kern 厂解析测图仪DSR－11 混合型数字摄影测量工作站
UCD/UCX
相机参数
影像幅面：23cm*15cm； 全色CCD像元尺寸：7.2um; 全色影像尺寸：14430*9420像素； 焦平面的物理尺寸：104mm*68.4mm； 全色镜头焦距：100mm； 视场角（旁向/航向）：55度/37度； 彩色影像尺寸：4992*3328像素； 彩色像元物理尺寸：7.2um； 彩色镜头系统焦距：33mm; 色彩还原能力：多光谱与全色融合比1：3； 影像重叠度（旁向/航向）：60%~90%。
a1 x + a 2 y − a 3 f S c1 x + c 2 y − c 3 f b x + b2 y − b3 f Y = YS + (Z − Z S ) 1 c1 x + c 2 y − c 3 f 地面点在像片上的像点坐标 x，y ； 地面点的大地测量坐标或地面摄测坐标 X、Y、Z； 摄影机主距 f； 三个直线元素XS、YS、ZS； 中的三个角元素φ、ω、κ； + (Z − Z S )
具体步骤
给定地面点的平面坐标 ( X , Y ) 与近似最低高程 Z min 高程搜索步距ΔZ 可由所需要的高程精度确定。 由地面点的平面坐标 ( X , Y )与可能的高程
Z i = Z min + i • ΔZ (i = 0,1,2 L)
″ ″ 计算左，右影像坐标( xi , y i ) 与 ( xi , y i )