总结 图像配准算法

图像配准定义为：对从不同传感器、不同时相、不同角度所获得的两幅或多幅图像进行最佳匹配的处理过程[2]。图像配准需要分析各分量图像上的几何畸变，然后采用一种几何变换将图像归化到统一的坐标系统中。在配准过程中，通常取其中的一幅图像作为配准的标准，称之为参考图像；另一幅图像作为配准图像。

图1-1 图像配准的基本流程

图1-2 图像配准方法分类

根据配准使用的特征，图像配准的方法大致可分为三类：

(1)基于图像灰度的配准算法。首先从参考图像中提取目标区作为配准的模板，然后用该模板在待配准图像中滑动，通过相似性度量(如相关系数法、差的平方和法、差的绝对值法、协方差法)来寻找最佳匹配点。

(2)基于图像特征的配准算法。该算法是以图像中某些显著特征(点、线、区域)为配准基元，算法过程分为两步：特征提取和特征匹配。首先从两幅图像中提取灰度变化明显的点、线、区域等特征形成特征集。然后在两幅图像对应的特征集中利用特征匹配算法尽可能地将存在对应关系的特征对选择出来。对于非特征像素点利用插值等方法作处理推算出对应匹配关系，从而实现两幅图像之间逐像素的配准。

(3)基于对图像的理解和解释的配准算法。这种配准算法不仅能自动识别相应像点，而且还可以由计算机自动识别各种目标的性质和相互关系，具有极高的可靠性和精度。这种基于理解和解释的图像配准涉及到诸如计算机视觉、模式识别、人工智能等许多领域。不仅依赖于这些领域中理论上的突破，而且有待于高速度并行处理计算机的研制。

从自动化角度来看，可以将配准过程分为自动、半自动和手动配准。

存在问题：如何提高图像的配准速度将是大范围遥感图像自动配准问题的要点；选取何种自动配准方案以保证图像的配准精度将是大范围遥感图像自动配准问题的另一要点。

2(,)[1((,

f x y

g f

h x y

其中，h表示二维空间坐标变换。g表示灰度或辐射变换，描述因传感器类型的不同以及成像时气候等环境的影响所带来的图像灰度的变换。配准问题的实质就是要找到最优的空域变换h和灰度变换g，使得上述的等式成立，从而找到配准变换的参数

特征空间的选择通常要考虑以下几个因素：相似性；空间分布；唯一性。

在自动图像配准中对特征的理解可以分为两类。(1)基于灰度的方法：基于灰度的方法将重点放在特征匹配上，在其过程中并没有真正提取特征。一般所说的模板匹配法就是这种方法的代表。这种方法实际上将图像的灰度分布直接作为特征而构成匹配的基础。(2)基于特征的方法：基于特征的方法需要在图像中提取显著的特征：区域(森林、湖泊、农田等)、线(区域的边界、道路等)和点(区域的角

点、线的交点、曲线上的高曲率点等)。特征应该可以分布在图像任何地方并且可以被提取出来。

一般图像配准的过程主要涉及到图像的特征空间、相似性测度和搜索策略这三个方面。我们称这三个方面为图像配准的三要素，它们决定了图像配准的精度和速度。

按照配准过程中采用的特征类型，图像配准可分成两类：基于灰度的配准和基于特征的配准的方法。

基于图像灰度的配准方法是直接利用图像的灰度值来确定配准的空间变换，其中充分利用图像中所包含的信息，从而也称为基于图像整体内容的配准方法。这类方法的核心思想是认为参考图像和待配准图像上的对应点及其周围区域具有相同或者相似的灰度，并以灰度相似为基础采用相似度函数，然后寻找一组最优的几何变换参数使得相似度函数最大，从而实现图像的配准。在两幅图像灰度信息相似的情况下，常用的匹配方法有：互相关法(Cross-correlation)，序贯相似检测算法(Sequential Similarity Detection Algorithms, SSDA)以及最大互信息法。

虽然基于灰度的图像配准方法实现简单，但存在着如下缺点：(1)对图像的灰度变化比较敏感，尤其是非线性的光照变化，将大大降低算法的性能；(2)计算的复杂度高；(3)对目标的旋转，形变以及遮挡比较敏感。因此这种方法通常并不单独用在遥感图像配准中。

基于特征的图像配准方法可以克服利用图像灰度信息进行图像配准的缺点，主要体现在以下三个方面：(1)图像的特征点比图像的象素点要少很多，因此大大减少了配准过程的计算量；(2)特征点的匹配度量值对位置的变化比较敏感，可以大大提高配准的精确程度；(3)特征点的提取过程可以减少噪声的影响，对灰度变化，图像形变以及遮挡等都有较好的适应能力。因此，其在图像配准领域得到了广泛应用。基于特征的图像配准方法有两个重要环节：特征提取和特征匹配。

图2-13 基于特征的图像配准方法的基本步骤

基于特征点的配准方法的缺点：目前大多数的遥感图像配准系统都采用基于特征点的配准方法，以交互或自动的方式选择必要的控制点，但这些系统不能很好地适用于自动处理大量的数据，原因是特征点或控制点的选取是一项耗时、耗力的工作，在要求实时处理的应用中，这种方法是不现实的。同时自动配准要考虑是精度问题，因为在卫星遥感图像中自动地确定有效的、精确的控制点有时是困难的，太少的点、不准确的点或者分布不均匀的点被选取都可能导致配准的误差，而且这种情况是经常发生的。

基于特征的要求图像比较清晰，能选出特征点，线，区域即：基于特征点的局部自动配准的一个前提是，能够从图像中准确提取点特征。图像模糊，这必然使得点特征的提取比较困难，更加容易漏选特征点和产生伪特征点，从而导致配准精度不高。

1. 基于小波变换的遥感图像自动配准算法

其基本思想是：在对大尺度遥感图像进行配准时，为了降低运算量，提高速度，利用小波变换的多分辨率特性，首先在低分辨率图像上获得一组配准参数，然后以此为初始值，再向高分辨率方向上逐层映射；算法在实现上，遵循一种由粗到精的搜索策略，即首先利用相似性度量获得图像间的一个粗略的变换参数估计，逐层迭代搜索，最终获得精确的配准参数。

基于图像灰度的全局配准，全局配准则是利用整幅图像直接对映射函数进行搜索。

基于小波变换的配准原理：图像配准过程中，如果对整幅图像进行搜索，计算量大、耗时长。为了减少搜索空间，可以利用小波变换构造多尺度图像金字塔，采取由粗到细的搜索策略，即只在最高层进行全搜索，逐层缩小搜索范围，大大提高搜索效率。图像经小波分解后分别得到低频和高频分量数据，低频子图像反映了原图像的平滑特征，高频系数分别反映了原图像水平、垂直和对角方法的亮度突变特征。该突变特征可用于图像配准的特征点(控制点)，而且小波分解后子图尺寸减小2l(l表示分解层数)倍。因此为了减小计算量，需要找到小波分解后的子图配准与原图配准之间的关系。

基于小波变换的配准方案：基于小波变换的全局配准方案，其基本思想是：首先采用小波变换将原始图像逐级分解得到一个分辨率从低到高、规模由小到大的层次式结构(也称金字塔结构)；然后在分辨率低的图像层，通过线性搜索或其他策略得到该分辨率下最优解的初步变换参数估计，并将此估计作为下一级图像层处

理的搜索中心，使得变换参数估计在较高分辨率下逐级得到校正和精化，随着分辨率的提高，估计的精度随之提高，同时搜索的范围也逐级缩小，最终在最高分辨率的图层上得到满足精度要求的最优解。可见，在分辨率最低的图像层，即使采用线性搜索策略，由于其数据量与原始图像相比己经很小，计算量也会大大减小，而到了分辨率较高的图层，由于搜索的范围越来越小，那么虽然图像规模变大，计算量也得到了有效的控制。该方案的基本流程如下：

(1)对参考图像和待配准图像均采用小波变换进行逐级分解，得到不同分辨率和大小的两组金字塔图像；

(2)给定变换参数的搜索范围，在分辨率最低的图层上进行全搜索：依次取出搜索空间中的变换参数，对待配准图像对应的图层进行几何变换，采用基于灰度的配准方法(互相关法、最大互信息法等)，得到该分辨率下最优解的初步变换参数估计，并将此估计作为下一级图像层处理的搜索中心；

(3)以上一层的搜索结果为搜索中心，在高一级分辨率下搜索变换参数，由粗到精逐步细化变换参数。最终在原始配准图像上得到满足精度要求的配准参数该配准方案的特点可以归纳如下：

算法不需要人工干预，适合于大数据量的遥感图像自动配准。

与基于点特征的自动配准方案相比，在缺乏先验知识的情况下，避免了点-点匹配的方法因缺乏充足和准确的控制点而导致较大的配准误差。

利用了多分辨率小波的优势，采用由粗到精的搜索策略，减少了搜索空间，加速了处理过程，提高了图像配准的速度。

2.高分辨率SAR影像同名点自动匹配技术

图像自动配准大致包括以下3大步骤:

(1)在主、辅影像中提取特征点,通过实施同名点搜索来获取同名点;

(2)利用同名点信息来解求主、辅影像之间的变换函数;

(3)对辅影像进行几何变换,并通过重采样来获得纠正后的配准影像。

在这3大步骤中,之所以同名点对的确定是自动配准流程中的关键环节,首先,因为它的配准精度将直接决定变换函数的解求及解求精度;其次,因为同名点搜索计算复杂度通常情况下较复杂,其在整个影像配准流程中占有较高的机时量。鉴于此,研究一种高精度、高效率的同名点搜索技术将显得格外重要。

本文提出的同名点自动匹配算法大致包括以下3大步骤: (1)创建金字塔影像,并通过在金字塔影像上进行回溯搜索来确定初始变换函数类型及相应

的变换参数; (2)通过分层回溯逐层加密控制点来解求最佳变换函数类型及相应变换参数; (3)在原始影像分辨率下修正同名点坐标,以获取最终匹配同名点对。

3.图像配准技术研究进展

将配准技术概括为8个方面,包括:配准对象、特征提取、特征匹配、变换模型、优化策略、坐标变换与插值、系统实现及算法评估,并考虑每项内容的技术特性进行细分,然后依据某一算法的创新点进行分类。

4.图像配准方法及其在目标跟踪中的应用

图像配准方法可以分为基于灰度的配准和基于特征的配准。基于特征的图像配准方法有两个重要环节:特征提取和特征匹配。可以选取的特征包括点、线与区域。基于特征的图像配准方法主要有两方面优点:a.图像的特征点比图像的像素点要少很多,大大减少了匹配过程的计算量;b.特征点的提取过程可以减少噪声的影响,对灰度变化、图像形变以及遮挡等都有较好的适应能力。

基于点特征的图像配准方法：特征点的提取——特征点匹配——误匹配点剔除——配准参数计算

5.图像配准技术研究

图像之间的配准一般可分为以下5个步骤：

(l)从基准图像和参考图像中提取共有的控制结构，这种控制结构可以是物体的点、边缘和边界等；

(2)对每幅图像中的控制结构(特征点)进行匹配;

(3)选择几何变换模型，并利用匹配特征点对来估计变换参数;

(4)对图像实行坐标变换和灰度插值;

(5)对配准的效果进行评估。

所有图像配准方法都可以归纳为对三个元素选择问题，即特征空间、相似性准则和搜索策。特征空间从图像中提取用于配准的信息，搜策略从图像转换集中选择用于匹配的变换方，相似性准则决定配准的相对价值，然后基于一结果继续搜索，直到找到能使相似性度量有人满意的结果的图像变换方式。根据图像配准这三个基元素选择的区别，图像配准方法通常分为三类：

(l)基于象素的配准方法，即根据待配准图像的相关函数、Fourier变换和各阶矩量之间的关系式来计算配准参数。

(2)基于特征的配准方法，即根据需要配准图像重要相同特征之间的几何关系确定配准参数。这类方法首先需要提取特征，如图像的边缘、角、点、线、曲率等具有不变性的特征。提取特征可在空间域内进行，也可在变换域内进行。在空间域内常使用的特征包括边缘、区域线的端点、线交叉点、区域中心、曲率不连续点等。其中边缘和区域边界最常用，可以由边缘检测方法和区域分割方法得到;基于特征的配准方法是图像配准中最常见的方法，对于不同特性的图像，选择图像中容易提取，并能够在一定程度上代表待配准图像相似性的特征作为配准依据。基于特征的配准方法在图像配准方法中具有最强的适应性。

(3)基于模型的配准方法，这种方法是根据图像失真的数学模型来进行非线性校正式的配准。

前两种方法是全局图像配准技术，需要假设图像中的对象仅是刚性地改变位置、姿态和刻度，改变的原因往往是由受试者运动引起的。第三类方法只适合图像中对象之间局部的非线性的、非刚性的变形校正，这种失真通常由于成像系统空间编码的非线性引起的。所以，它需要根据成像系统的非线性失真模型来实现配准。前两类方法多用于图像的初步配准，且能够解析求解，后一类方法多用于图像的精细配准，通常利用非线性规划的方法数值求解。

3.26：图像的配准和融合方法较多,主要分为三类:基于像素的配准方法,基于特征的配准方法和基于模型的配准方法。基于像素的配准方法多用于图像的初步配准,计算量小;基于特征的配准方法定位准确,计算量较大且要首先进行特征提取;基于模型的配准方法多用于图像的精细配准,但只适合图像中的对象之间的局部的非线性的非刚性的变形的校正。对于像素相关性大的图像,可利用图像间相同位置的特征点进行配准;对于像素相似性小的图像,需要先对图像进行特征提取,通过提取的特征点进行配准。

基于特征点的图像配准技术主要有两类方法: a)比较两幅图像的特征点及其周围像素的灰度、曲率等情况来计算特征点之间的相似程度,建立特征点之间的一一对应关系[1, 2]。由于仅考虑单个特征点之间的相似程度,常存在特征点误匹配的情况。b)改进的方法是建立特征点集之间的变换关系,主要使用Hausdorff距离来匹配两个特征点集[3, 4]。这类方法可以容忍点与点之间匹配的不准确,但是要求预先确定图像之间变换模型的参数搜索范围,而且在图像差异较大时计算量很大。

配准方法可分为以下几种:(l)基于控制点的匹配方式。控制结构为图像中的显著点(称为控制点)，控制点可以是用户提供的，也可以由算法估计，然后对控制点进行匹配，估计几何变换参数并进行配准。(2)基于矩(monent一based)的配准方式口控制结构是复杂的图像矩，每幅图像被标准化，即与一个矩被归一化的参数位置进行匹配。(3)基于边缘的配准方式。控制结构是图像的边缘.通过比较边缘像素的密度或在符号层次上比较边缘来实施边缘匹配。几何变换参数直接导出并对其中一幅图像实施相应的变换.(4)基于相似性判据最优化的方式。选择一个几何变化并以各种参数值施于一幅图像上。对于每一个值，评价由相似性判据提取的控制结构。该值表明了控制结构匹配的程度，因此可以从判据的最优值实现配准。图像配准主要包括以下四个步骤:(l)从待配准的每幅图像中提取控制结构;(2)在每幅图像中对控制结构进行匹配;(3)从前两步中选择几何变换并对其参数

进行估计;

根据图像配准的这三个基元素选择的区别，图像配准的方法通常可分为三类:(l)基于象素的配准方法，即根据待配准图像的相关函数、Fourier变换和各阶矩量之间的关系式来计算配准参数。(2)基于特征的配准方法，即根据需要配准图像重要相同特征之间的几何关系确定配准参数。这类方法首先需要提取特征，如图像的边缘、角、点、线、曲率等具有不变性的特征。提取特征可在空间域内进行，也可在变换域内进行。在空间域内常使用的特征包括边缘、区域线的端点、线交叉点、区域中心、曲率不连续点等。其中边缘和区域边界最常用，可以由边缘检测方法和区域分割方法得到;基于特征的配准方法是图像配准中最常见的方法，对于不同特性的图像，选择图像中容易提取，并能够在一定程度上代表待配准图像相似性的特征作为配准依据。基于特征的配准方法在图像配准方法中具有最强的适应性。(3)基于模型的配准方法，这种方法是根据图像失真的数学模型来进行非线性校正式的配准。前两种方法是全局图像配准技术，需要假设图像中的对象仅是刚性地改变位置、姿态和刻度，改变的原因往往是由受试者运动引起的。第三类方法只适合图像中对象之间局部的非线性的、非刚性的变形校正，这种失真通常由于成像系统空间编码的非线性引起的。所以，它需要根据成像系统的非线性失真模型来实现配准。前两类方法多用于图像的初步配准，且能够解析求解，后一类方法多用于图像的精细配准，通常利用非线性规划的方法数值求解。