图像配准技术方法研究

图像配准技术方法研究

摘要随着信息技术的迅猛发展，图像配准技术已经在军事、遥感、医学、计算机视觉等多个领域得到了广泛的应用。图像配准技术是图像处理的一个基本问题，它是将不同时间、传感器或视角下获取的相同场景的多幅图像进行匹配的图像处理的过程。三类图像配准的方法大致如下：基于灰度的图像配准方法。基于变换域的图像配准方法。基于特征的图像配准方法。本文将应用这三种方法对图像配准进行研究。并重点研究基于特征的图像配准方法。

关键词图像配准，特征点匹配，灰度插值，控制点的提取

Abstract

The technology of image registration is being widely used in the military, remote sensing , medical, computer, visual and any other fields with the rapid development of information technology. The technology of image registration is a kind of process to match different pictures getting from different periods and different cameras but a same scene, it is a basic point to handle the pictures. There are three kinds of ways to do the image registration:According to the level of the color of gray getting from the pictures.According to transforming domains.According to the features The three kinds of ways will be used to discuss the image registration in the thesis, and the way according to the features will be discussed more in the thesis.

Key words: Image registration, Match feature points, Gray inerpolation ,Collect the control points

目录

1.绪论 (1)

1.1课题研究目的及意义 (1)

1.2国内外对本课题涉及问题的研究现状 (1)

2.研究方法与研究内容 (3)

2.1研究内容 (3)

2.2研究方法 (3)

3.图像配准的常用方法 (4)

3.1图像配准的定义 (4)

3.2基于灰度的图像配准方法 (5)

3.3基于变换域的图像配准方法 (6)

3.4基于特征的图像配准方法 (8)

3.4.1特征提取 (8)

3.4.2变换模型 (10)

3.4.3坐标变换与插值 (13)

3.4.4图像配准实现 (17)

4.实验设计及分析 (18)

4.1图像配准实验一 (18)

4.1.1研究对象 (18)

4.1.2 过程实现 (19)

4.2图像配准实验二 (24)

4.2.1研究对象 (24)

4.2.2过程实现 (25)

实验总结 (34)

参考文献 (35)

致谢 (36)

附录 (37)

1.绪论

1.1课题研究目的及意义

图像配准是遥感图像处理、目标识别、图像重建、机器人视觉等领域中的关键技术，是多传感图像融合的基础。军事、遥感、医学、计算机视觉等许多领域都需要图像配准，实际应用过程可能会有所不同，但其中关键的因素是类似的。经过多年的研究，图像配准技术已经取得了众多研究成果，但由于图像配准的输入数据来源的多样性，以及配准问题的复杂性，还有待于更进一步的发展。

图像配准是图像融合技术的基本环节和首要问题，只有经过配准后的图像才能进行有效的融合，目标定位，变化监测，高分辨率图像的重建等后续处理工作，处理结果的好坏将直接影响后续工作质量。

1.2国内外对本课题涉及问题的研究现状

国外从20世纪60年代就开始在图像配准领域进行研究，但直到1980年代才开始引起学者们的关注。到上世纪末，单模图像配准问题已基本解决，但多模图像配准由于涉及模式和领域的复杂性，仍需密切关注。国际上对图像配准技术曾做过调查，其结论是1990年代初技术文献明显增加。而国内从1990年代初才开始涉足此领域。

图像配准最早在美国七十年代从事的飞行器辅助导航系统、武器投射系统的末制导以及寻地等应用研究中提出。八十年代后，在很多

不同领域都有大量配准技术的研究，如遥感领域，模式识别，自动导航，医学诊断，计算机视觉等。

由此可见，图像配准技术经过多年研究，不论国内外，发展的都非常迅速，已经取得了许多研究成果。图像配准的高精度、图像配准算法的强鲁棒性、图像配准算法的配准速度以及图像配准的自动化一直以来都是图像配准领域所不断追求的目标。

2.研究方法与研究内容

2.1研究内容

本论文主要是对图像配准技术方法进行研究。讨论了图像配准技术的常用方法，包括基于灰度的图像配准方法，基于变换域的配准方法以及基于特征的图像配准方法，并通过一定的理论分析来了解每种图像配准技术的特点。除此之外，本文还重点就基于特征的图像配准方法展开的深入的讨论研究，并通过一系列的实验来具体实现不同图像的配准。

2.2研究方法

该论文主要是运用一系列图像处理手段，对待配准的图像进行一定的变换与处理，例如:投影变换，非线性变换，刚体变换，放射变换，傅里叶变换，坐标变换与插值等，从而实现不同图像间的高精度配准。

3.图像配准的常用方法

所有的图像配准方法都可以概括为两类，相对配准和绝对配准。相对配准指的是从多个图像中选择一张图像作为参考，而其他图像与之相配准，坐标任意。绝对配准指的是定义一个控制网络，其他图像都与之相配准，进而分别完成各个分量图像的几何校正，实现坐标系的统一。本论文主要研究图像的相对配准。

目前，根据图像配准中利用的图像的信息区别将配准方法分为三类：基于灰度的图像配准、基于变换域的图像配准和基于特征的图像配准。

3.1图像配准的定义

图像配准就是寻求图像之间一对一的映射的过程，即两幅图在空间和灰度上的映射[1]。假设给定尺寸的二维矩阵图像I1(x,y)和I2（x,y）,分别表示相对位置（x,y）上的灰度值。图像配准的关键问题就是图像之间的空间和几何变换。I1(x,y)作为参考图像，而I2(x,y)作为待配准图像。令f表示一个二维空间的坐标变换，设变换后图像为I f(x,y)，则参考图像I1(x,y)与变换后的图像I f(x,y)之间的关系为：

I f(x,y)=f(I1(x,y))

根据配准的定义，希望变换后的图像I1(x,y)与待配准图像I2（x,y）的对齐度最大。此时变换f是一个二维空间域坐标的几何变换，即为：（x’,y’）=f(x,y)

3.2 基于灰度的图像配准方法

基于灰度的配准方法通常不需要对图像进行复杂的预处理，而是利用图像的某些统计信息来作为度量图像的相似程度。主要的特点是实现较为简单，但应为的范围较窄，不能直接用于校正图像的非线性形变，并且在最优变换的搜寻过程中通常需要巨大的运算量。经过多年发展，人们提出了多种基于灰度的图像配准方法，主要分为三类：序贯相似检测算法、互相关算法、交互信息算法。 （1） 序贯相似检测算法

序贯相似检测算法（Sequential Similarity Detection Algorithms ，SSDAS ）是由Barnea 等人提出来的，这种方法具有效率高，处理速度快的特点[6]。首先这个方法实际上是个误差绝对值的积累，在非匹配的图像位置，累加时E(a,b)增长较快，而在匹配图像位置上E(a,b)随累加次数增加而变得缓慢。如果先选择一个简单的固定门限T ，若在某点上计算两幅图像残差和的过程中，残差和大于该固定门限T ，就认为当前点不是匹配点，从而终止当前的残差和的计算，转向别的点去计算残差和，最后认为残差和增长最慢的点就是匹配点。这种方法就是固定门限的SSDA 算法。上述E(a,b)为一个在计算上更为简单的相似性度量准则：

(,)(,)(,)x

y

E a b T x y f x a y b =

---∑∑

（2） 互相关算法

互相关算法是最基本的基于灰度统计的图像配准的方法，它常常

被用在进行模板匹配和模式识别。通过计算模板图像和搜索窗口之间的互相关值大小来确定匹配程度，互相关值最大时的搜索窗口位置决定模板图像在待配准图像中的位置。

以上的相似准则方法都是传统基于灰度的相关运算。

（3）交互信息算法

Viola等人和Collignon等人于1995年分别把交互信息引入到图像配准领域，这是一个新的解决图像配准问题的方向，那就是基于信息理论的交互信息相似准则[2]。最初的目的是为了解决多模态医学图像的配准问题。交互信息用来比较两幅图像的统计依赖性。交互信息是建立在概率密度估计的基础上的，它要求的计算量很大，由此函数可能出现病态，并且会出现大量的局部极值。当两幅图达到最佳匹配时，它们对应的灰度互信息应该达到最大。

3.3 基于变换域的图像配准方法

变换域最主要的方法是傅氏变换方法。它具有以下优势：图像的平移，旋转，比例，仿射变换都能在傅里叶变换域中体现出来，利用变换域方法还有可能获得一定程度的抵抗噪声的鲁棒性[4]。由于傅里叶变换的成熟的快速算法和易于硬件体现，因而在算法实现中也有独特的优势。

相位相关技术是两幅图像配准的平移失配的基本傅里叶变换方法。相位相关依据的是傅里叶变换的平移特性。

源图像傅氏频谱

平移后的图像平移后傅氏频谱

旋转后的图像旋转后的傅氏频谱如上图所示，平移不影响傅氏变换的幅值，对应的幅值谱和原图像是一样的。旋转在傅氏变换中是小变量。根据傅氏变换的旋转特性，旋转一幅图，在频域相当于对这幅图的傅氏变换做相同的旋转。

在噪声的敏感性喝计算的复杂性上变换域配准方法有一定优势，但这一方法只限于傅氏变换的不变性，只适用于傅氏变换中旋转、平移的图像转换中，此时就需要基于特征的图像配准方法来解决[10]。

3.4基于特征的图像配准方法

基于特征的图像配准首先要对待配准图像提取图像信息的特征，然后再利用提取得到的特征完成两幅图像特征之间的匹配，并通过特征的匹配关系来建立图像间的配准映射关系。

对于基于特征的图像配准方法而言，它的一般配准步骤通常为：特征提取，变换模型，坐标变换与插值，图像配准实现等步骤。

3.4.1特征提取

对于大多数图像配准操作而言，在正式进行图像配准之前，对参考图像和带配准图像进行准确而有效的图像特征提取是十分必要的。因为该操作不仅能够提高图像匹配的准确性，还可以提高匹配速度，因此能否合理的进行图像特征提取就成为了图像匹配操作成功的一个关键。

那么我们通常所说的图像特征又表现在那些方面呢？事实上，所谓的图像特征大多是指图像中的、线、轮廓，区域或边缘等等。另一方面，根据具体特征的不同，可以将特征提取[3]。的方法分为：点特征提取和结构特征提取。

（1）点特征提取

点特征是配准中最常用到的图像特征之一。点特征表示和操作简单，同时也能反映图像的本质特征。所谓点特征提取即提取出图像中的显著点，通常我们将这些显著点称之为控制点[5]。在利用该方法进行图像配准时，首先选取待配准图像和参考图像的控制点，然后再以这些图像的控制点作为依托进行图像配准的后续操作。

可见，控制点的选取是非常重要的。一般情况下我们在选择图像控制点的时候应当考虑一下几个方面：

①控制点在图像中的分布是否均匀；

②所选择的控制点在待配准图像和参考图像中的位置是否一

致；

③控制点所处区域或其周围区域的特征是否独特；

此外，还需要注意的是特征点的数目是否合理。因为配准运算需要足够的特征点，但过多的特征点则阻碍配准的顺利进行。目前常用的控制点选取方法主要有两个，它们分别是:算法估计和用户自行选取。这两种方法我们在后文的实验中都会涉及到。

（2）结构特征提取

所谓的结构特征既是前面我们所提到的，区域，轮廓，表面等。而对结构特征的提取是在图像分析中非常重要的一个基本问题。其中，边缘是最为常用的结构特征。边缘变现了目标边界，因此对配准、分割和辨识场景中的目标都很有用。利用提取的边缘可以实现测量物体的面积及周长、识别出特定的物体、求两幅图像的对应点等操作。另一方面，边缘检测与提取的处理进而也可以作为更为复杂的图像识

别、图像理解的关键预处理来使用

事实上，对图像的边缘和区域边界的检测过程是具有一定难度的。我们都知道，由于图片在拍摄过程中所遇到的光线和摄影设备等问题，使得所要处理的目标图像具有一定的模糊性和不均匀性。此外，由于外界的不同强度及不同类型的干扰，使得所获图像产生了不同程度的噪声。而这些不可避免的噪声毫无疑问会给我们后续的边缘检测甚至是最后的图像配准操作带来不便。因此在进行图像的边缘检测之前需要首先对含有大量噪声问题的目标图像进行一定的预处理。

预处理的目的是增强图像中数据的可视化效果，在消除图像数据中的噪声的同时高图像的质量。于此同时，合理的对图像进行预处理还能够有效的增强图像的纹理效果，突出图像所要研究的主体部分。这也为图像的后续操作提供有利条件。目前，常见的预处理操作主要包括：灰度化，点处理，平滑滤波等操作。

3.4.2变换模型

所谓的变换模型是指根据参考图像和待配准图像之间所产生的的几何上的畸变，来选择可以拟合两图像之间的变化情况的最优几何模型。

常用的图像变换模型有:

图像的变换模型（●表示满足）

1刚体变换

刚性变换是两幅图像中的两点之间的距离变换后仍保持不变，这样的变换就称为刚性变换。刚性变换可以分解为3个步骤：平移、旋转和反转。

在二维空间中，点（x,y ）经刚体变换到点（x ’,y ’）的变换公式：

''cos sin sin cos x y t x x t y y ????±????????=+??

??????????????

其中?为旋转角度，x y t t ??

????

为平移量。

2仿射变换

仿射变换可以分为：

（1） 对坐标进行缩放、平移、旋转后得到新坐标的值； （2） 经过对坐标轴的缩放、平移、旋转后原坐标在新坐标领域中的值。仿射变换形式为：f(x)=Hx+k

其中H 是变形矩阵，k 是平移矢量。在二维空间中，H 可以按照以下4步进行分解：平移、缩放、扭曲、旋转。 ①平移 0,00s

s H

s s

??

=≥ ???

②缩放

100,00t

t s s H H H t st ????

== ? ?????

③扭曲 1,0

10

u u t s u s stu H H H H st ????

==

? ?????

④旋转

cos sin ,02sin cos cos cos sin sin sin cos u t s H s stu H H H H s stu θ

θθθθπθθθ

θθθ

θθ-??

=≤≤

???

-??=

?

+??

变换后的矩阵为

''cos cos sin ,0sin sin cos x s stu x y s stu y θθθθπ

θ

θθ-??????

=?≤≤ ? ?

?+????

??

下图为图像经过仿射变换。

a.源图像

b.仿射后图像

图 仿射变换

（3） 投影变换

投影变换是将图像像素点的坐标变换为另一种图像像素点的坐标的过程。用笛卡尔坐标表示是平面的分式线性变换，形式如下：

'

111213313233

a a y a x a x a y a ++=

++

'

212223313233a x a y a y a x a y a ++=

++且

11

1213

21222331

32

33

0a a a a a a a a a ≠

下图为源图像经过投影变换

a.源图像

b.投影变换后图像

图 投影变换

3.4.3坐标变换与插值

在进行图像的缩放、旋转和复合变换等。源图像的像素坐标为整数，而变换后图像的坐标不一定是整数，相反也是如此。因此，在图像的几何变换中，除了要进行几何变换运算外，还要进行灰度插值除

理。常用的灰度插值方法有三种：最近邻插值法、双线性插值法和三次内插法。 1. 最近邻插值法

最近邻插值法是将（x 0,y 0）点最近的整数坐标（x,y ）点的灰度值取为(x 0,y 0)点的灰度值。在(x 0,y 0)点各个相邻像素间灰度变化较小时，这是一种简单快捷的方法，但当(x 0,y 0)点相邻像素间灰度差很大时，这种灰度估值方法会产生较大的误差[11]。

2. 双线性插值法

双线性插值法是对最近邻法的改进，即用线性内插的方法，根据点00(,)P x y 的四个相邻灰度值，插值计算出灰度值00(,)f x y ，具体计算过程如下： （1） 计算α和β。

00x x y y αβ=-??=-?

（2） 先根据(,)f x y ，(1,)f x y +插值求0(,)f x y 。

[]0(,)(,)(1,)(,)f x y f x y f x y f x y α

=++-

(3)在根据0(,1)f x y +，(1,)f x y +插值求0(,1)f x y +

[]0(,1)(,1)(1,1)(,1)f x y f x y f x y f x y α

+=++++-+

(4)最后根据0(,)f x y 及0(,1)f x y +插值求00(,)f x y 。

[]00000(,)(,)(,1)(,)f x y f x y f x y f x y β

=++-

(1)(1)(,)(1)(1,)f x y f x y αβαβ=--+-+

(1)(,)(1,1)f x y f x y αββα+-+++

(,)[(1,)(,)][(,1)f x y f x y f x y f x y αβ=++-++-

(,)[(1,1)(,)(,1)(1,)]f x y f x y f x y f x y f x y βα++++-+-+

其中[][]00;x x y y ==。

此方法考虑了00(,)x y 点的直接邻点对它的影响，因此一般可以得到令人满意的插值效果[9]。但这种方法具有低通滤波性质，使高频分量受到损失，图像轮廓模糊。在某些应用里，双线性插值的斜率不连续还可能会产生一些理想的结果。

3. 三次内插值法

三次内插值法不仅考虑00(,)x y 点的直接邻点对它的影响，还要考虑到该点周围16个邻点的灰度值对它的影响。根据连续信号采样定理可得，若采样值用插值函数()sin()/()S x x x ππ=插值，当采样频率不低于信号谱最高频率的两倍时可以准确地恢复原信号，并可以准确得到采样点间的任意点的值。此方法计算量很大，但更为精确，能保证较好的图像边缘[9]。插值特性如图：

()sin()/()S x x x ππ=可以采用以下三次多项式近似。

23

23

121

()4852102

x x x S x x x x

x x ?-+>??

-+->≥??≥??

3.4.4图像配准实现

基于特征的配准方法在图像配准中最为常见，对于不同特性的图像，选择图像中容易提取，并能在一定程度上代表待配准图像相似性的特征作为配准依据。基于特征的配准方法具有最强的适应性。