图像识别匹配技术原理

I 第1章 绪论 1.1 研究背景及意义 数字图像，又称数码图像或数位图像，是二维图像用有限数字数值像素的表示。通常，像素在计算机中保存为二维整数数组的光栅图像，这些值经常用压缩格式进行传输和储存。数字图像可以由许多不同的输入设备和技术生成，例如数码相机、扫描仪、坐标测量机等，也可以从任意的非图像数据合成得到，例如数学函数或者三维几何模型，三维几何模型是计算机图形学的一个主要分支。数字图像处理领域就是研究它们的变换算法。 数字图像处理(Digital Image Processing)是通过计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理的方法和技术。数字图像处理的产生和迅速发展主要受三个因素的影响:一是计算机的发展;二是数学的发展(特别是离散数学理论的创立和完善);三是广泛的农牧业、林业、环境、军事、工业和医学等方面的应用需求的增长。 图像配准(Image registration)就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。 图像配准的方法迄今为止，在国内外的图像处理研究领域，已经报道了相当多的图像配准研究工作，产生了不少图像配准方法。总的来说，各种方法都是面向一定范围的应用领域，也具有各自的特点。比如计算机视觉中的景物匹配和飞行器定位系统中的地图匹配，依据其完成的主要功能而被称为目标检测与定位，根据其所采用的算法称之为图像相关等等。 基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理，而是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。主要特点是实现简单，但应用范围较窄，不能直接用于校正图像的非线性形变，在最优变换的搜索过程中往往需要巨大的运算量。经过几十年的发展，人们提出了许多基于灰度信息的图像配准方法，大致可以分为三类：互相关法（也称模板匹配法）、序贯相似度检测匹配法、交互信息法。 目前主要图像配准方法有基于互信息的配准方法，基于相关性的配准方法和基于梯度的配准方法。其中基于梯度的方法基本很少单独使用，而作为一个辅助 II

性的测度与其它方法相结合起来使用。基于灰度的配准算法是医学图像配准研究的发展方向，也是目前研究的热点之一。基于灰度的配准方法与基于特征的配准方法的区别在于前者没有提取图像特征的步骤，直接对图像中的灰度进行处理。基于灰度的配准方法计算复杂度高、对图像的灰度、旋转、形变以及遮挡都比较敏感。 灰度相关的配准方法是从待拼接图像的灰度值出发,图像拼接故而成为灰度相关的配准算法的一个基础。图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。 灰度相关的图像配准算法在图像处理技术中起着十分关键的作用，它是图像处理技术得以发展的一个重要基础。它推动着图像处理技术在医学、生物、信息处理和其他很多高科技领域内的应用，它已渐渐发展成社会生活中不可分离的一种技术，对于图像处理技术发展及应用具有重要意义。

1.2 图像配准方法概述

配准技术的流程如下：首先对两幅图像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数：最后由坐标变换参数进行图像配准。而特征提取是配准技术中的关键，准确的特征提取为特征匹配的成功进行提供了保障。因此，寻求具有良好不变性和准确性的特征提取方法，对于匹配精度至关重要。 图像配准的方式可以概括为相对配准和绝对配准两种：相对配准是指选择多图像中的一张图像作为参考图像，将其它的相关图像与之配准，其坐标系统是任意的。绝对配准是指先定义一个控制网格，所有的图像相对于这个网格来进行配准，也就是分别完成各分量图像的几何校正来实现坐标系的统一。本文主要研究大幅面多图像的相对配准，因此如何确定多图像之间的配准函数映射关系是图像配准的关键。通常通过一个适当的多项式来拟合两图像之间的平移、旋转和仿射变换，由此将图像配准函数映射关系转化为如何确定多项式的系数，最终转化为如何确定配准控制RCP。 目前，根据如何确定RCP的方法和图像配准中利用的图像信息区别可将 III

图像配准方法分为三个主要类别：基于灰度信息法、变换域法和基于特征法，其中基于特征法又可以根据所用的特征属性的不同而细分为若干类别。以下将根据这一分类原则来讨论目前已经报道的各种图像配准方法和原理。

1.3 研究现状

国外从20世纪60年代就开始在图像配准领域进行研究，但直到1980年代才开始引起学者们的关注。到上世纪末，单模图像配准问题已基本解决，但多模图像配准由于涉及模式和领域的复杂性，仍需密切关注。国际上对图像配准技术曾做过调查，其结论是1990年代初技术就明显增加。而国内从1990年代初才开始涉足此领域。与灰度相关的图像配准算法是图像配准算法中比较经典的一种，很多配准技术都以它为基础进行延伸和扩展。 针对多光谱遥感图像，提出了一种基于局部灰度极值的配准方法：通过在基准图像和待配准图像中同步寻找含有灰度极值的小区域，再用多项式对极值区域进行曲面拟合，最后，分别计算小区域的极值点作为特征点进行配准。并用真实和模拟多光谱图像进行了试验结果显示该课题提出具有算法简单和配准精度高的特点。这是与灰度相关图像配准算法有关的一个扩展应用。

1.4 研究问题及内容

本文在分析了灰度相关的图像配准算法中的线匹配法、比值匹配法和块匹配法，利用这三种方法分别实现两幅图像在水平垂直位移上的配准，而本课题研究的内容是提出一种基于灰度相关的算法，不仅能实现两幅图在水平和垂直位移的配准，同时也能实现在绕光轴旋转情况下的图像配准。这里提出了一种方法，多尺度模块匹配法。在这三种匹配的环境下，它能实现水平垂直位移上的匹配、缩放以及旋转。同时通过在Matlab编程环境下编程实现相关算法，通过实际图像的配准试验，利用这些结论最终得到精确地配准结果。 1

第2章 图像配准基本理论 2.1 图像配准的基本介绍 2.1.1 图像配准的描述 图像配准是对取自不同时间，不同传感器或不同视角的同一场景的两幅图像或者多幅图像匹配的过程。图像配准广泛用于多模态图像分析，是医学图像处理的一个重要分支，也是遥感图像处理，目标识别，图像重建，机器人视觉等领域中的关键技术之一，也是图像融合中要预处理的问题，待融合图像之间往往存在偏移、旋转、比例等空间变换关系，图像配准就是将这些图像变换到同一坐标系下，以供融合使用。 2.1.2 图像配准的定义 对于二维图像配准可定义为两幅图像在空间和灰度上的映射[4]，如果给定尺寸的二维矩阵1F和2F代表两幅图像，1(,)FXY和2(,)FXY分别表示相应位置(,)XY上的灰度值，则图像间的映射可表示为：2(,)(1((,)))FXYGFHXY,式中H表示一个二维空间坐标变换，即(',')(,)XYHXY，且G是一维灰度变换。 2.1.3 图像配准的步骤 图像配准的基本过程可以分为三个步骤：第一步是为每一个图像信息模式各定义一个坐标系(,)FXY，然后再定义这些参考特征之间的失调或相似函数；第二步是分割出图像的参考特征，再定义这些参数特征之间的失调或相似函数；第三步是应用优化算法，使第二步中失调（相似）函数达到全局最小（最大）值，达到两幅图像的配准。其中参考特征和对应优化算法的选择是配准的核心，也是不同配准算法的差异所在。

2.2 图像配准的相关概念 2.2.1 配准基准 通常，图像配准中根据配准基准的特性，可分为基于外部基准的配准和基于内部基准的配准[5]，外部基准是指强加于待配准对象的各种人造标记，这些标记必须在各种配准模式中都清晰可见且可准确检测到。内部基准是指由图像本身得到的位置相对固定且图像特征明晰的各种配准标识。 2

2.2.2 映射变换与配准区域 设1f和2f表示两幅待匹配的图像，1()1(,)IxIxy和2(')2(',')IxIxy分别表示两幅图像的密度函数，其中(,)xxy和'(',')xxy分别表示在图像1D和2D

中的像素坐标。图像匹配就是要找到一个把图像1f映射到图像2f的变换()((,),(,))MxUxyVxy,使得变换后的图像3(())IMx和2(')Ix具有几何对应性。这种映射变换有刚体变换、仿射变换、投影变换以及曲线变换等。配准时的变换区域根据实际需要又分为局部配准和全局配准。局部变换一般很少直接使用，因为它会破坏图像的局部连续性，且变换的双映射性会影响图像的再采样。从近期关于图像配准方面的文章看，一般刚性和仿射多用于全局变换，而曲线变换多用于局部变换。 2.2.3 配准的交互性与优化 根据人的参与程序配准又可分为全自动式，交互式和半自动式三种。全自动式中使用者仅需给相应算法提供图像数据以及图像获取的一些可能信息；交互式中使用者必须亲自进行配准，软件仅给目前变换提供一个可视的或数字的感官印象以及初始变换的一个可能参数；半自动式中，交互式有两种方式：一种是使用者须初始化算法，如分割数据，另一种是指导算法，如拒绝或接受配准假设。 配准变换的参数可以是直接计算出的，也可以是搜索计算出的。直接计算的最优化方法一般已完全由实例决定，所能研究的工作也仅限于如何使用非常少的信息把此计算方法应用于实际。搜索计算的最优化方法大多都可以用待优化的变换参数的一个标准数学函数来表达配准实例，此函数力图使图像在某一变换时两幅图像可达到最大相似。这些函数通常在单模配准中能简单一些，因为此时图像的相似性更能容易直接定义。我们可以通过使用一个标准的、合适的最优化方法使相似函数达到最优。 目前应用比较广泛的方法有Powell的方法、Downhill Simplex方法、Brent的方法以及一系列一维搜索算法、Levenberg-Marquardt最优化算法、Newton-Raph son迭代算法、stochastic搜索算法、梯度下降法(gradient descent methods)、遗传算法(genetic methods)、模拟退火法(simulated annealing)，粒子群算法(partice sworm)，蚁群算法(ant)，几何散列法(geometric hashing)。多分辨率(如金字塔)和多尺度方法可以加速最优化的收敛速度。许多实际应用中使用了不止一种最优化方法，一般是先使用一种粗糙但快速的算法，然后再接着使用一种准确但运算速度慢的算法。