图像匹配

图像配准

局部不规律，整体具有一定规律性的特性。

基本单元的重复性

粗糙性
方向性

图像配准
提取纹理特征的方法

灰度共生矩阵。

基于小波的Gabor算子。
图像配准
直方图匹配
图像配准
Hu不变矩

1962年Hute提出Hu不变矩，它对于匹配影像之间的平移、 旋转和大小尺度变化具有自适应性 ，但它只适用于相似 变换，不适于仿射变换。Hu最初用以下7个不变矩公式来 描述目标特征:
3( 21 03 ) 2 ] (321 03 )(21 03 ) [3( 30 12 ) 2 ( 21 03 ) 2 ]
图像配准
2 6 ( 20 02 )[(30 12 ) 2 ( 21 03 ) 2 ] 7 (3 21 03 )(30 12 )[(30 12 ) 3( 21 03 ) 2 ] ( 30 312 )( 21 03 ) 411 ( 30 12 )( 21 03 )

图像配准
SUSAN 算法

用一个一定半径的圆模板放臵在图像上（如图）。如果模 板上存在一区域，使该区域上对应图像的每一像素处的灰 度值与圆心的灰度值相同（或相近），那么就定义该区域 为核值相似区，即USAN，其中像素的个数定义为这个模 板的面积。
图像配准
图像配准
SUSAN 算法的基本原理
2
V4 ห้องสมุดไป่ตู้
i k
2 ( g g ) r i,ci r i1,ci1
k 1
其中k INT (w / 2)
取其中最小者作为该像素的兴趣值：
V= min{V1，V2，V3，V4}
图像配准

给定一经验阈值，将兴趣值大于该阈值的点（即窗口的 中心点）作为候选点。阈值的选择应以候选点中包括所 需要的主要特征点而又不含过多的非特征点为原则。 取候选点中的极值点作为特征点。在一定大小的窗口内, 将候选点中兴趣值不是最大者均去掉，仅留下一个兴趣 值最大者，该像素即为一个特征点。 如果两个特征点之间的距离过短，则去掉其中一个。否 则，在影像校正时，三角形边长过短将使解算出来的仿 射变换参数出现错误。


图像配准
角点提取-SUSAN算子

SUSAN 算法是由英国牛津大学的S. M. Smith , J . M. Brady 首先提出的,它主要是用来计算图像中的角点特征的。 SUSAN 算法的特点:

1. 对角点的检测比对边缘检测的效果要好,适用于基于 角点匹配的图像配准; 2. 无需梯度运算,保证了算法的效率; 3. 具有积分特性(在一个模板内计算SUSAN 面积),这样 就使得SUSAN 算法在抗噪和计算速度方面有较大的改进。

图像配准
边缘特征提取

“基于TIN的多源影像几何配准”没有使用边缘提取算子， 所以这里不介绍其算法。
（a）原图
（b）Marr算子结果
（c）Canny算子结果
图像配准
纹理特征

纹理是用来识别目标的重要方法，它是图像中一个很重要 而又难以描述的特性，至今还没有公认的定义。有些图像 在局部区域内呈现不规则性，而在整体上表现出某种规律 性。习惯上把这种局部不规则而宏观有规律的特性称之为 纹理。以纹理特性为主导的图像，常称为纹理图像，如木 材纹理、皮肤纹理、织物纹理等。通过对物体纹理特征的 提取，可以对图像进行分类、配准等操作。
图像配准
Moravec算子
V1
V3
2 2 V 2 ( g g ) ( g g ) r i,ci r i1,ci1 r i,c r i1,c
i k
k 1
k 1
k 1
i k
i k
(g
r ,c i
g r ,ci 1 )

模式识别中的点模式匹配，使用特征点集中点与点之间的 位臵关系进行匹配，较少（或没有）利用图像灰度、纹理 和边缘信息，所以它对图像之间的旋转、灰度、纹理、分 辨率等差异不敏感，能够匹配不同传感器的图像，且能进 行图像之间的全自动配准。 匹配两个特征点集的实质是找到它们的同构子集。 要用到较多的数学知识。



金字塔影像匹配的步骤

第一步：顶层的匹配，得到一个平移初始值 。 第二步：根据平移初始值乘以n得到第二层平移量初始值， 在它m×m个像元的邻域内进行模板匹配。 第三步：根据第二层匹配值乘以n得到第三层平移量初始 值，再进行一次模板匹配。


如果影像尺寸不是特别大，可以只用两层金字塔。
图像配准
图像配准的用途意义

图像配准（或图像匹配）是评价两幅或多幅图像的相似性 以确定同名点的过程。图像配准算法就是设法建立两幅图 像之间的对应关系,确定相应几何变换参数,对两幅图像中 的一幅进行几何变换的方法。 图像配准是图像分析和处理的基本问题。它在航空影像自 动制图、图像三维重构、计算机视觉、遥感融合、模式识 别、医学图像处理、影像分析等领域都有重要应用。



图像配准
人工匹配步骤

1. 人工选取控制点 2. 多项式匹配

图像配准
用遥感软件进行几何校正
遥感软件的几何校正功能是利用地面控制点(Ground Control Point,GCP)进行的几何校正，它通常用多项式 来近似描述遥感图像的几何畸变过程，并利用控制点求 得这个几何畸变模型，然后利用此模型进行几何校正， 这种校正不考虑畸变的具体原因，而只考虑如何利用畸 变模型来校正图像。
S i , j (m, n) 根据施瓦兹不等式，0 P 1 ，并且在 T (m, n)
金字塔模板匹配

为了加快搜索速度，很多影像匹配 方法使用金字塔影像。
对影像进行一次采样率为1/n(n=2,3) 的重采样，即把影像的每n×n个 像素变为一个像素，这样就得到一 对长、宽都为原来1/n的影像，把 它作为金字塔的第二层。 再对第二层用同样方法进行一次采 样率为1/n的重采样，又得到第三 层（顶层）。 原始影像作为金字塔影像的底层。 图像配准

图像配准
配准方法分类

按照配准算法所利用的图像信息，可以分为基于区域的方 法和基于特征的方法 。基于区域的匹配主要是模板匹配和 基于相位（频率）的匹配方法；基于特征的匹配包括基于 特征点集的匹配和基于线特征（图像中边缘信息）的匹配 算法。 按自动化程度可以分为人工、半自动和全自动三种类型 。

图像配准
P
S
m 1 n 1 i, j M M m 1 n 1
M
M
i, j
(m, n) T (m, n)
2 2 [ T ( m , n )] m 1 n 1 M M
[S (m, n)]

比值为常数时取极大值为1。但实际上两幅不同图像的P值 介于0和1之间，很难达到理想值。根据经验取某个阈值P0， 如果P> P0，则匹配成功； P< P0，则匹配失败。 图像配准

图像配准
图像配准
参考图像（主图像） 待配准图像（辅图像）
配准图像
图像配准
用词说明

各种图像配准的文献都会出现“配准、匹配、几何校正” 三个词，它们的含义比较相似。 一般两幅图像之间用“配准（register, registration）”； 寻找同名特征(点) 的过程叫“匹配（match, matching）”; 根据主辅图像之间的几何变换关系，对辅图像进行逐像素 处理变为配准图像的过程叫做“几何校正（geometric correction）”。

图像上每一点都有一个邻近的具有相似灰度值的局部区域 是SUSAN 算法的基础。这个局部区域或USAN 包含了许多 关于图像结构的信息。 SUSAN 算法的基本原理是：在每个像素移动一个小的圆 形模板以检测局部信息，并利用预先设定的亮度阈值比较 模板核及其周围像素的亮度值，亮度值相同或相近的为一 个USAN，最后通过面积最小的USAN 检测角点。
模板匹配

模板匹配法是在一幅影像中选取一个的影像窗口作模板， 大小通常为5×5或7×7，然后通过相关函数的计算来找到 它在搜索图中的坐标位臵。设模板T放在搜索图S上平移， 模板覆盖下的那块搜索图叫做子图Si,j，子图的中心点在S 图中的坐标(i,j)，叫参考点。
图像配准
相似性测度

用以下测度来衡量T和Si,j的相似程度：
纹理特征。灰度共生矩阵，小波Gabor算子。
图像配准
Moravec算子

Moravec算子是利用灰度方差提取特征点的算子，它在四 个主要方向上，选择具有最大-最小灰度方差的点作为特 征点。其步骤为： 1 计算各像元的兴趣值（Interest Value）。在以像素为中 心w×w的影像窗口中（如5×5的窗口），计算图中所示 四个方向相邻像素灰度差的平方和：
图像配准
基于TIN的图像配准算法流程
提取主辅图像特征点 特征点匹配 特征点构三角网 建立仿射变换关系 辅图像小面元校正
图像配准
特征类型

灰度特征点。Moravec算子、Forstner算子与Hannah算子。 角点。SUSAN算子, Harris算子，王算子，沈俊算子。


边缘特征（线型）。Canny算子, Marr算子。
2 2 (20 02 )2 411
1 20 02
3 (30 312 ) (321 03 )
2 2
4 (30 12 )2 (21 03 )2
5 ( 30 312 )(30 12 )[(30 12 ) 2
[3( 30 12 ) 2 ( 21 03 ) 2 ]
但实际上大部分文献都采用6个无量纲、消误差的组合不变矩 ：