第五章 影像匹配基础理论与算法(1).
影像匹配基本原理
影像匹配基本理论与算法问题描述影像匹配是做什么的？ 为什么要进行影像匹配？ 给你影像，如何去匹配？影像匹配是做什么的影像匹配是做什么的？？给你影像给你影像，，如何去匹配如何去匹配？？第一步第一步？？第二步第二步？？第三步第三步？？......影像上特征点 影像上格网点 影像上特征线影像上特征点匹配第二步第二步？？确定基准影像确定基准影像？？第三步第三步？？搜索影像处理搜索影像处理？？基准影像搜索影像对搜索影像也进行相应特征提取搜索影像不进行特征提取第三步第三步？？搜索影像处理搜索影像处理？？基准影像搜索影像对搜索影像也进行相应特征提取搜索影像不进行特征提取特征点均匀分布的程度特征点分等级特征点的重复率第四步？ 第四步？找同名点？ 找同名点？ 特征相似性？ ？ 特征相似性 特征？ 相似性约束？ ？ 特征？ 相似性约束(222,390) (233,395) (242,303) (225,302) (221,348) 基准影像 (233,311) 搜索影像第四步？ 第四步？找同名点？ 找同名点？ 特征相似性？ ？ 特征相似性 特征？ 相似性约束？ ？ 特征？ 相似性约束(221,348)(233,311)相关系数越大， ， 相关系数越大 说明相关性越强第四步？ 第四步？找同名点？ 找同名点？ 搜索范围 搜索范围约束 范围约束？ 约束？ 核线约束？ ？ 核线约束第四步？ 第四步？找同名点？ 找同名点？ 搜索范围约束？ ？ 搜索范围约束C核线约束？ ？ 核线约束pIN IBZPmax P YZ0+∆Z∆ZZ0 (Approximate)OXPmin∆ZZ0+∆Z第四步？ 第四步？找同名点？ 找同名点？ 搜索范围约束？ ？ 搜索范围约束 核线约束？ ？ 核线约束第四步？ 第四步？找同名点？ 找同名点？ 结果检核、 双向一致性约束？ ？ 结果检核、剔除错误匹配？ 剔除错误匹配？ 双向一致性约束第四步？ 第四步？找同名点？ 找同名点？ 结果检核、 结果检核、剔除错误匹配？ 剔除错误匹配？ RANSAC方法？ 方法？单应矩阵第四步？ 第四步？找同名点？ 找同名点？ 结果检核、 结果检核、剔除错误匹配？ 剔除错误匹配？ RANSAC方法？ 方法？物方“地面元”匹配物方“地面元”VLL基本思想在中心投影条件下，空间任意一条铅垂线以中心投影的方式投射到影像上 仍是一条直线，该铅垂线与地面的交点在影像上的构像必定位于相应的 “投影辐射线”上。
影像匹配的基本算法共35页
两影像窗口灰度差绝对值和即灰度矢 量X与Y之差矢量之分量的绝对值之和
N
Sx1y1x2y2 xNyN xiyi
i 1
当N=2时，
Sx1y1x2y2 min
基于物方的影像匹配（VLL法）
影像匹配的目的是提取物体的几何 信息，确定其空间位置，
能够直接确定物体表面点空间三维 坐标的影像匹配方法得到了研究，这 些方法也被称为“地面元影像匹配”
差平方和（差矢量模）
S2(p,q)[g(x,y)g(xp,yq)]2dxd
(x,y) D
mn
S2(c,r)
(gi,j gir,jc)2
i 1 j 1
若S2（c0, r0） < S2（c, r），则c0, r0为搜 索区影像相对于目标区影像的位移行、列 参数。对于一维相关应有r 0。
两影像窗口灰度差的平方和即灰度向 量X与Y之差矢量
R（ p0, q0）＞ R（p, q）（ pp0， qq0）
若 R（ p0, q0）＞ R（p, q）（ pp0， qq0），则 p0, q0为搜索区影像相对 于目标区影像的位移参数。对于一维相 关应有q 0。
离散灰度数据对相关函数的估计公式为
mn
R(c,r)
gi,j gir,jc
i1 j1
若
i1
它是N维空间的一个超平面。当N=2时 R＝ x1yl＋ x2y2
（X· Y）＝ |X| · |Y|·cos＝ max
|Y|cos＝ max
相关函数最大 （即矢量X与Y 的数积最大） 等价于矢量Y在 X上的投影最大
协方差函数（矢量投影）
C (p ,q ){ g (x ,y ) E [g (x ,y )] g (x } p ,{ y q ) E [g (x p ,y q )d ]} x
数字摄影测量学
R(c, r )
i m j n
g
m
n
ij
gir , j c
是两个窗口内对应灰度值乘积的代数和
若R（c0, r0）＞ R（c, r）（cc0， rr0），则c0, r0为搜索区影像相对于目标 区影像的位移参数。对于一维相关应有r 0。
15
三．基于灰度影像匹配的相似性测度
25
四.基于灰度影像匹配的计算过程
3、匹配的例子
0 1 2 3 4 5 6 7 8 9 4 6
26
四.基于灰度影像匹配的计算过程
3、匹配的例子
27
六. 基于灰度影像相关的精度
1. 整像素相关精度
影像相关是左影像为目标区与右影像
上搜索区内相对应的相同大小的一影像 相比较，求得相关系数，代表各窗口中 心像素的中央点处的匹配测度
33
五. 基于灰度影像相关的精度
取相邻像元3个相关系数进行抛物线拟合时
( S ) A BS CS
将坐标原点移至i点，可得：
2
i 1 A B C i A i 1 A B C
34
五. 基于灰度影像相关的精度
i 1 A B C i A i 1 A B C
4
二．基于灰度影像匹配的定义
Area-Based Matching(ABM)
1. 定义 以数字影像局部范围内（窗口）的灰度值及 其分布作为匹配实体，通过计算相似性测度确定 共轭实体的影像匹配方法。 共轭实体：可以是点、线和其它物体图像
匹配实体：影像的局部灰度值及分布
相似性测度：基于局部灰度值的某种度量函数
18
三．基于灰度影像匹配的相似性测度
摄影测量学 影像匹配
vv min
仅仅认为影像灰度只存在偶然误差
n1 g1 ( x, y ) n2 g2 ( x, y )
v g1 ( x, y ) g2 ( x, y )
Photogrammetry,2004
Photogrammetry & Remote Sensing-----Surveying & Mapping Engineering
利用影像匹配获得的同名点进行相对定向
Photogrammetry & Remote Sensing-----Surveying & Mapping Engineering
主要内容：
相关系数匹配的基本原理
核线几何关系解析
最小二乘法影像匹配的原理
单点最小二乘法影像匹配 最小二乘法影像匹配精度
Photogrammetry,2004
Photogrammetry & Remote Sensing-----Surveying & Mapping Engineering
最小二乘影像匹配的数学模型
“灰度差的平方和最小”
S 2 X Y ( x1 y1 ) 2 ( x 2 y 2 ) 2 .... ( x N y N ) 2 min
同时解决“多点”影像匹配或“多片”
影像匹配
引入“粗差检测”，从而大大地提
高影像匹配的可靠性
Photogrammetry,2004
Photogrammetry & Remote Sensing-----Surveying & Mapping Engineering
1、最小二乘影像匹配原理
影像灰度的系统变形：产生影像灰度分布之间的差异。
数字摄影测量复习总结
数字摄影测量学复习总结第一章绪论1.摄影测量的三个发展阶段及其特点是什么答：P3的表1-12.什么是数字摄影测量它的组成部分有哪些，各有什么特点答：p4页组成部分：计算机辅助测图、影像数字化测图（混合数字摄影测量、全数字摄影测量（通用数字摄影测量、实时数字摄影测量））3.简述数字摄影测量的新进展与发展趋势。
答：p6的五点第二章数字影像获取的预处理基础1.什么是数字影像其频域表达有什么用处答：p12的定义频域表达的用处：（1）变换后的能量大部分都集中于低频谱段，有利于后续图像的压缩存储、快速传输，减少运算时间提高效率；（2）可对信号不同频率成分的能量的表达更直观，有利于影像分解和影像处理。
2.分析离散数字图像卷积的直观背景，并说明数字滤波的计算过程。
答：直观背景：p17数字滤波的计算过程：略3.如何确定数字影像的采样间隔答：采样定理：（由频率域推导而来）当采样间隔能使在函数g(x)中存在的最高频率中每周期取有两个样本时，根据采样数据可完全恢复原函数g（x）。
4.采样函数有哪些性质有哪些直观解释答：略5.怎样对影像的灰度进行量化答：影像的灰度概念p20怎样对影像的灰度量化p216.航空数字影像获取系统有哪些特点叙述3种航空数字影像获取系统的结构与性质。
答：数字航摄仪的特点p22叙述3种航空数字影像获取系统的结构与性质：ADS\DMC\UCD\SWDC\VisionMap A37.什么是数字影像重采样常用的数字影像重采样方法有哪些各有哪些优缺点答：（1）影像内插和重采样的概念p17（2）常用的采样方法p18（最近邻内插法、双线性内插法和双三次卷积法）（3）优缺点：p20表2-1第三章数字影像解析基础1.什么是数字影像内定向为什么要数字影像内定向答：概念及目的P383.什么是单像空间后方交会计算过程主要有哪几步答：概念：p394.什么是共面条件方程利用它可以解决摄影测量中哪些问题答：p43解决的问题有：像对的相对定向与解析空中三角测量。
影像匹配基础算法分析课件
并行计算
采用并行计算技术，加速 影像匹配过程，提高算法 的运行速度。
多模态影像匹配
多模态数据融合
将不同模态的影像数据融合在一起，提取更 多的特征信息，提高匹配的精度和稳定性。
多模态特征提取
针对不同模态的影像数据，分别提取特征并进行匹 配，以提高匹配的准确性和可靠性。
多模态算法优化
针对多模态影像匹配的特点，对算法进行优 化和改进，提高匹配的性能和效率。
03
影像匹配算法的 景
遥感影像匹配
遥感影像匹配是影像匹配算法在地理 信息系统、环境监测、城市规划等领 域的重要应用。通过将不同时间、不 同角度拍摄的遥感影像进行匹配，可 以实现对地表变化的监测和评估。
VS
遥感影像匹配需要克服光照、角度、 尺度等因素的影响，提取出稳定的特 征点，并进行准确的匹配。常用的算 法包括基于特征的匹配算法和基于相 位的匹配算法。
配
利用图像中的特征点进行匹配， 通过特征描述符和匹配算法实现 影像的精确对准。
基于模型的影像匹
配
将待匹配影像与已知模型进行比 较，通过模型变换和参数优化实 现影像的精确对准。
基于区域配，通过区域相似性度量和迭 代算法实现影像的精确对准。
02
影像匹配基算法
基于特征的算法
法。
04
影像匹配算法的性能 估
准确度评估
01
准确度
衡量算法匹配结果与实际匹配结 果的一致性，通常使用准确率、 召回率等指标进行评估。
02
03
精度
召回率
表示匹配正确的比例，即匹配正 确的像素点数占总匹配像素点数 的比例。
表示实际匹配的像素点中被正确 匹配的比例，即匹配正确的像素 点数实际匹配像素点数的比例。
第五章数字影像匹配基础
T
0
x(t ) x(t
)dt
lim 1
T
x(t)x(t )dt R( )
T T
0
二．影像相关原理
自相关函数主要性质2：
自相关函数在τ=0处取得最大值
a2 b2 2ab
x(t)x(t) x(t )x(t ) 2x(t)x(t )
均值
lim Rxy( )
1
T
x(t) y(t )dt
T T
0
估计值
Rˆxy( ) 1 T x(t) y(t )dt
T0
二．影像相关原理
当x(t)=y(t)时
自相关函数
Rxx( ) x(t) x(t )dt
均值
估计值
lim Rxx( )
T T
0
T
二．影像相关原理
自相关函数主要性质1：
令t t ,则
R( ) lim 1
T
x(t)x(t )dt
T T
0
lim 1
T
x(t )x(t)dt
T T
lim
T
1 T
0
x(t)x(t )dt
三．影像相关的谱分析
分频道相关（多级相关）
分频道可采用两像元平均、三像元平均、 四像元平均等等分若干频道的方法
1234
1
2
1
5678
3
4
2
9 10 11 12
5
6
3
1 2 3 4 5 6 7 8 9 10 11 12
1
2
第五章数字影像匹配基础
ea f e j2f df
1 1 2a
a j2 a j2 a2 4 2 2
除以R(0),得
R(
)
1
1
4 2 (
)2
a
三．影像相关的谱分析
S(f) 1
S( f ) ea| f | , a 0
1/2
a=1/2
a=2
a=1
0
1/2
1
估计，航空影像功率谱近似呈指数曲线状。
三．影像相关的谱分析
功率谱的估计函数
S( f ) bea f
标准化 S( f ) ea f (a 0)
三．影像相关的谱分析
4）相关函数的估计
标准化功率谱估计为
S ( f ) ea f (a 0)
影像的相关函数估计
R( )
1
T
x(t)x(t )dt
T T
0
Rˆxx( ) 1
T
x(t)x(t )dt
T0
二．影像相关原理
自相关函数主要性质1：
自相关函数是偶函数
R( ) R( )
R( ) lim 1
T
x(t)x(t )dt
T T 0
lim
1 [ T x(t)x(t )dt T x(t)x(t )dt]
影像相关原理???????????????????????????????????????????????????????????ttttttttrdttxtxttdtxtxtdtxtxttdtxtxtdttxtxtrtt00001lim1lim1lim1lim则令自相关函数主要性质1
第五章 数字影像匹配基础
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Data Set 2 Data Set 1
这些不同的数据集合可以是影像，也可 以是地图，或者目标模型和GIS数据。
华北水利水电学院资源与环境学院测量教研室
如果这些数据集合是影像，就称为影像匹配。 影像匹配是在两幅(或多幅)影像之间识别同名元 素(点),它是计算机视觉及数字摄影测量的核心问题。
华北水利水电学院资源与环境学院测量教研室
当x(t)=y(t)时
自相关函数
Rxx( )
均值
x(t ) x(t )dt
1 T
T 0
R xx( ) lim
T
T
0
x(t ) x(t )dt
估计值
1 ˆ Rxx( ) T
x(t ) x (t ) dt
m
n
匹配方法一般按照匹配实体来命名，如基于 灰度的匹配，基于特征的匹配(以及关系匹配等。
匹配方法 相似性测度 匹配实体 灰度值 边缘，区域 关系描述 基于灰度的匹配 相关系数等 基于特征的匹配 代价函数 关系匹配 代价函数
华北水利水电学院资源与环境学院测量教研室
匹配策略是指求解影像匹配问题的概念 或整体方案，它包括匹配环境分析，匹配方 法选择，以及匹配质量控制。
华北水利水电学院资源与环境学院测量教研室
自相关函数主要性质：
自相关函数是偶函数
R( ) R( )
1 R( ) lim T T
lim
T
T
0
x(t ) x(t )dt
T 1 T [ x(t ) x(t )dt x(t ) x(t )dt] T T 0
华北水利水电学院资源与环境学院测量教研室
自相关函数主要性质：
自相关函数在τ=0处取得最大值
a b 2ab
2 2
x ( t ) x (t ) x ( t ) x (t ) 2 x (t ) x ( t )
1 T 1 T 1 T lim x (t ) x (t )dt lim x (t ) x (t )dt lim 2 x (t )x( x )dt T T 0 T T 0 T T 0
华北水利水电学院资源与环境学院测量教研室
共轭实体
是一种要素，通过比 较不同影像上的这些要素 来寻找共轭实体。这些要 素包括影像的灰度值，从 影像上提出的特征，以及 其他的符号描述。
A
B
匹配实体 A={身高1、肤色1、五官1、口音1，…} B={身高2、肤色2、五官2、口音2，…}
华北水利水电学院资源与环境学院测量教研室
华北水利水电学院资源与环境学院测量教研室
回
内定向的数学模型及参数解算
（重点） 顾
确定同名核线有哪两种方法？ 分别简述确定同名核线的两种方法。
华北水利水电学院资源与环境学院测量教研室
内
容
安 （重点） 排
定义为在不 同的数据集合之间建立一种对应关系。 对应
华北水利水电学院资源与环境学院测量教研室
自相关函数主要性质： 令t t , 则
1 T R ( ) lim x(t ) x(t ) dt T T 0 1 T lim x(t )x(t )dt T T T 1 0 lim x ( t ) x ( t ) d t x ( t ) x ( t ) d t 0 T T 1 T lim x(t ) x(t ) dt R ( ) T T 0
是评价匹配实体之间相似性程度的一种定量指标。一般 来说，相似性程度由代价函数（即目标函数，用于获取目 标量而构造的函数，如可由点的圆度、边缘的梯度、方向 、长度来表示）来度量。
差绝对值和
S (c, r ) g i , j g i r , j c
i 1 j 1
华北水利水电学院资源与环境学院测量教研室
R(0) R( )
华北水利水电学院资源与环境学院测量教研室
电子相关就是采用电子线路构成的相关器来实 现影像相关的功能。
乘 法 器
A· B
华北水利水电学院资源与环境学院测量教研室
理论基础：光的干涉和衍射傅立叶变换特性
光学相关就是用光学系统解求影像相关的过程。
优点：装置结构简单，可处理的数据量大。
华北水利水电学院资源与环境学院测量教研室
最初的影像匹配是利用相关技术实现的。 影像相关是利用两个信号的相关函数，评价 它们的相似性以确定同名点。
Rxy ( )
x(t ) y(t )dt
由于原始像片中的灰度信息可转换为电子、 光学或数字等不同形式的信号，因而可构成电子 相关、光学相关或数字相关等不同的相关方式。 影像相关分为电子相关、光学相关和数字相关三 类。
华北水利水电学院资源与环境学院测量教研室
数字相关是根据数字影像的灰度特性，利用计算机对 数字影像进行数值计算的方式完成影像的相关。
1）二维相关
搜 索 区
目标区
华北水利水电学院资源与环境学院测量教研室
2）一维相关
在核线影像上，只需要进行一维搜索
Remote Image Topographic Map
华北水利水电学院资源与环境学院测量教研室
自动地在由数字立体像对中提取的元素之间 建立对应关系的过程，称为数字影像匹配。
Digital Image A
Digital Image B
华北水利水电学院资源与环境学院测量教研室
共轭实体是比共轭点更一般的概念，它是目 标空间特征的影像，包括点，线，面等。
华北水利水电学院资源与环境学院测量教研室
两个随机信号x(t)和y(t)的互相关函数定义为
Rxy( )
均值
x(t ) y (t )dt
1 T
R xy( ) lim
T
T
0
x(t ) y (t )dt
估计值
1 ˆ xy( ) R T
T
0
x (t ) y (t ) dt