图像配准校正综述

基于FFT的相位相关法
• 依据傅里叶变换的平移、旋转、和缩放性质来计算图像 间的变换参数。建立形变后的图像与原图像之间的对应 关系模型。
若图像f2(x,y)与图像f1(x,y)之间存在平移为(x0,y0)、旋转角θ0及 尺度因子a的变换，则有：
a( x cos y sin ) x f 2(x ,y ) f 1 a( x sin y cos ) y
H（A,B） pAB(a,b )log pAB(a,b )
a, b
图A和图B的信息熵：
MI（A, B） H (A) H (B ) H (A,B )
最大互信息法的特点
• •
匹配精度高，常用于医学图像配准。 计算量大，在遥感领域内的应用受到限制。
Ghorbani等将基于阻尼最小二乘的模拟退火法最为查找最大互信的搜索算法， Dame等用改进的互信息基本函数来优化互信息法，提高了配准精度与计算速度。 另一种经典的基于区域配准的互相关法与最大互信息法都是不同参数下的最大似然 估计，它们具有一个统计的框架。
区域的重心 虚拟圆、三角形
基于混合 模型 基于物理 模型
基于区域和特征的混合配准 基于弹性模型 基于粘性流体模型 基于光流场模型
基于区域的配准
• •
•
基于区域的配准又称模板匹配法，最早发展起来的图像配准技术，目前已发展的比较 成熟。 该方法利用图像的灰度信息，建立两幅图像之间的相似性度量，再采用某种搜索方法， 寻找使相似性度量值最大或最小的变换模型的参数值，以达到配准图像的目的。一般 不需要对图像进行预处理。 主要包括基于图像域的处理方法、基于频域的处理方法。
CFR det(M ) (trace(M ))
其中，detM：表示矩阵的行列式 Trace(M)：矩阵的迹
当目标像素点的Harris响应值值大于给定的阀值时，则该像素点为 Harris角点
特点： Harris算子检测的角点重复率高且算法简单，在许多遥感图像配准中 得到了应用，但其不具有尺度不变形。
K为尺度因子，θ为旋转角度，△x、 △y为对应点之间的位移量
基于点特征的配准方法主要有两个难点：特征点选取、特征点匹配
基于点特征的图像配准算法的发展历程
Harris检测算子
Harris检测算子通过计算窗口沿各方向移动后的灰度变化，查找Harris相应局部极值点来 确定Harris角点。
设以像素点(x,y)为中心的小窗口 平移量：(△ x,△y) 灰度变化：c(x,y; △ x,△y) Wx,y：加权函数，一般为高斯函数 I：图像灰度函数
• 时域经典边缘检测算法有：直方图法、梯度算子（Roberts算子、 Sobel 算子Prewitt算子）、方向算子、Canny算子、Hough变换等 。 • 变换域的边缘检测算法包括傅里叶变换法、小波变换法
基于面特征
• 面特征常出现在卫星图像和航空图像中，如大片的水域、森林、湖泊、建筑物等， 特别是这些区域的多光谱图像，由于不同区域的光谱成份不同，很容易对这些区域 进行区分和识别。 基于面特征的配准首先提取闭合区域，再以该闭合区域的某种特征作为区域形状的 特征进行匹配，进而得到配准变换模型。 边缘检测法和图像分割法（形态学分割算法、动态阀值技术、区域增长技术、基于 Mean-Shift的分割算法）常用于提取闭合区域。
基于线特征
线特征包括道路（河流的边缘和目标的轮廓线等，它反应了图像的边缘和纹理信息， 它可以较好地剔除一些畸变的影响)。
1.利用边缘检测算法提取线特征； 2.以一定的方式表达和描述线特征； 3.根据线特征描述符进行匹配，进而得到匹配线对。 4.选取匹配线对的同名点，如果线闭合则取其质心作为同名点，如果线不闭合则取线 段的起点和中点作为同名点 5.对图像进行几何纠正
Hausdorff距离用来表征两个点集的不相似程度。其定义为：
B b1,b 2,b 3.... bq
min b B
A到B的单向Hausdorff距离: h(A , B )
max a A

D a,b


h ( B , A ) D b , a min max B到A的单向Hausdorff距离: a A b B


集合A和集合B的Hausdorff距离：H (A,B )
max( h(A,B ),h(B ,A))
特点：
Hausdorff距离只关心两个点集之间的距离，不强调点与点之间的一一对应， 非常适合基于特征点的图像配准
对干扰较为敏感，假定A,B非常相似，而B中有一点与A相差较大h(B,A)和 H(A,B)的值就会变得很大
Xu等引入子空间中用于频率估计的多信号分类算法，在较低信噪比区域仍能获得较高的 峰值估计精度，提高了配准的精度；Tzimiropou-los等将相位相关函数替换为梯度相关 （图像幅度和方向梯度）函数，并引入规范化梯度相关，提高了算法的鲁棒性和匹配精 度；Thangave等将高通滤波器用于傅里叶变换后的图像，再计算图像间的变换参数， 提高了匹配精度。
最大互信息法
最大互信息法最初用于医学图像配准，2000年开始将它用于遥感图像配准。最大互信息 法以信息熵（即２个随机变量统计相关性的测度）来衡量两幅图像的匹配程度。它通过 查找最大的互信息，得到两幅图像的最佳匹配模型。
图像A的熵定义为：
H (A ) P A(a )log PA(a )
a
图A和图B的联合熵：
c(x ,y; x ,y )

wx , y(Ix
I y
x , y y x , y
I
)2
wx , y(x
I x
y
o( (x )2 (y )2 ))
使用泰勒公式进行一阶近似有：
x c(x ,y; x ,y ) x y M (x ,y ) y
特点： • 对个别干扰点的敏感度大大下降 • 没有考虑旋转因素，当图像有旋转时误差将会增大 • 搜索时采用两层循环，若特征点过多则运算量以二次方增长
基于凸包匹配
• • 凸包：以特征点为顶点的一个多边形，它将所有特征点都包含在内 思想：如果图像中有固定的刚体，我们可以利用刚体的仿射不变矩建立匹配关系， 然而在图像中我们无法确定某一物体在连续的尺度空间图像序列中是否都会出现， 所以无法利用仿射不变矩。使用这一思想我们可以将一系列的特征点建立成凸包， 将凸包看成序列中固定的刚体目标。
为了寻找DoG函数的极值点，每一个像素点要和它所有的相邻点比较，看其 是否比它的图像域和尺度域的相邻点大或者小。中间的检测点和它同尺度的8 个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间 和二维图像空间都检测到极值点。
3、关键点定位
以上方法检测到的极值点是离散空间的极值点，以下通过拟合三维二次函数 来精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边 缘响应点(因为DoG算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗 噪声能力。
I I , x y
梯度方向：
建立方向直方图，每10°作为一个柱，共36个柱，每个柱代表 的方向为像素点梯度方向； 主方向：选取峰值作为主方向 辅方向：相当于峰值80%能量的柱作为辅方向
4、关键点描述
描述的目的是在关键点计算后，用一组向量将这个关键点描述出来，这个描 述子不但包括关键点，也包括关键点周围对其有贡献的像素点。用来作为目 标匹配的依据，也可使关键点具有更多的不变特性，如光照变化、 3D视点变 化等。
基于点特征
点特征：在各个方向灰度变化都比较大的点成为点特征，包 含拐点、角点、交叉点等
基于特征点配准的一般方法： 设基准图像为f(x,y)，待配准的图像为g(x,y)，假设基准图像上 的点(x0,y0)对应待配准图像上的点g(x,y)，则它们之间的变换可以表示为：
x 0 cos sin x x k * y 0 sin cos y y
基于区域的配准算法的特点
• • • •
简单易实现、精度较高 计算量大，无法满足遥感的实时性要求 对非线性形变、光照、和尺度变化鲁棒性不强 适用于配准灰度信息、尺度、和旋转角差别不太大的图像
基于特征的配准
• • •
基于特征的配准是目前使用最多的遥感图像配准方法 将对整个图像的分析转化为对图像某种特征的分析，大大降低了计算量 对图像灰度变化及遮挡具有较好的不变性
通过子像素插值法由已知离散空间的极值点得到连续空间的极值点
4、关键点方向分配
通过尺度不变性求极值点，可以使其具有缩放不变的性质，利用关键点邻域像素的 梯度方向分布特性，我们可以为每个关键点指定方向参数方向， 从而使描述子对图 像旋转具有不变性。
像素点的梯度表示：
gradI (x ,y )
其中
I 2 x IxIy M(x ,y ) wx , y 2 IxIy I y
M(x,y)是对称矩阵；对角化化简有：
c (x ,y; x , y ) R
1
1 0 R 0 2

Hale Waihona Puke R为旋转因子； λ１ 和λ２ 为处理后矩阵的特征值。
Harris响应函数定义如下：
图像配准校正综述
目录
• 图像配准的分类 • 常用配准方法的特点 • 基于Hausdorff距离的图像配准校正
图像配准的分类
基于图像域
最大互信息法、互相关法
基于区域
基于频域 基于点特征
基于快速傅里叶变换（FFT）的相位相关法 角点，拐点，交叉点
基于特征
图像配准
基于线特征 基于面特征 基于虚拟特征
边缘和轮廓
特征点
凸包
三角形
算法特点：
• • • 巧妙使用仿射不变性，算法可靠且复杂度和运算量降低 对噪声不敏感，个别的特征点出现和消失不会对计算结果造成影响 特征点分布越均匀，凸包面积越大匹配越准确