基于特征点的图像配准与拼接技术研究
全景拼接算法简介
全景拼接算法简介 罗海风 2014.12.11 目录 1.概述 (1) 2.主要步骤 (2) 2.1. 图像获取 (2) 2.2鱼眼图像矫正 (2) 2.3图片匹配 (2) 2.4 图片拼接 (2) 2.5 图像融合 (2) 2.6全景图像投射 (2) 3.算法技术点介绍 (3) 3.1图像获取 (3) 3.2鱼眼图像矫正 (4) 3.3图片匹配 (4) 3.3.1与特征无关的匹配方式 (4) 3.3.2根据特征进行匹配的方式 (5) 3.4图片拼接 (5) 3.5图像融合 (6) 3.5.1 平均叠加法 (6) 3.5.2 线性法 (7) 3.5.3 加权函数法 (7) 3.5.4 多段融合法（多分辨率样条） (7) 3.6全景图像投射 (7) 3.6.1 柱面全景图 (7) 3.6.2 球面全景图 (7) 3.6.3 多面体全景图 (8) 4.开源图像算法库OPENCV拼接模块 (8) 4.1 STITCHING_DETAIL程序运行流程 (8) 4.2 STITCHING_DETAIL程序接口介绍 (9) 4.3测试效果 (10) 5.小结 (10) 参考资料 (10) 1.概述 全景视图是指在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览）。 目前市场中的全景摄像机主要分为两种：鱼眼全景摄像机和多镜头全景摄像机。鱼眼全景摄像机是由单传感器配套特殊的超广角鱼眼镜头，并依赖图像校正技术还原图像的鱼眼全景摄像机。鱼眼全景摄像机
最终生成的全景图像即使经过校正也依然存在一定程度的失真和不自然。多镜头全景摄像机可以避免鱼眼镜头图像失真的缺点，但是或多或少也会存在融合边缘效果不真实、角度有偏差或分割融合后有"附加"感的缺撼。 本文档中根据目前所查找到的资料，对多镜头全景视图拼接算法原理进行简要的介绍。 2.主要步骤 2.1. 图像获取 通过相机取得图像。通常需要根据失真较大的鱼眼镜头和失真较小的窄视角镜头决定算法处理方式。单镜头和多镜头相机在算法处理上也会有一定差别。 2.2鱼眼图像矫正 若相机镜头为鱼眼镜头，则图像需要进行特定的畸变展开处理。 2.3图片匹配 根据素材图片中相互重叠的部分估算图片间匹配关系。主要匹配方式分两种： A．与特征无关的匹配方式。最常见的即为相关性匹配。 B．根据特征进行匹配的方式。最常见的即为根据SIFT，SURF等素材图片中局部特征点，匹配相邻图片中的特征点，估算图像间投影变换矩阵。 2.4 图片拼接 根据步骤2.3所得图片相互关系，将相邻图片拼接至一起。 2.5 图像融合 对拼接得到的全景图进行融合处理。 2.6 全景图像投射 将合成后的全景图投射至球面、柱面或立方体上并建立合适的视点，实现全方位的视图浏览。
基于特征点图像配准方法的应用研究
基于特征点图像配准方法的应用研究 【摘要】针对常用的图像配准技术配准精度不高的问题，本文首先采用RANSAC算法剔除SURF算法初匹配中的误匹配对，再在初次提纯的匹配对中进行欧氏距离排序，提取距离最小的有限匹配对作为最终的匹配结果。通过实验表明该方法配准精度高，效果好，为后续图像的融合拼接打下良好的基础。 【关键词】RANSAC算法；SURF算法；图像配准 引言 随着传感器技术和计算机计算能力的提高，图像处理技术在社会生活中的应用越来越广泛。但是由于客观问题及图像传感器本身的局限性等会造成采集到的图像模糊、不完整等问题，因此采用图像处理技术对图像进行配准拼接处理获取完整的图片或者较宽视觉的图片就非常必要。本文采用基于SURF算法二次匹配法，对图像的特征点进行配准，配准精度得到明显的提高。 1、基于SURF算法初匹配存在问题的分析和解决方法 SURF算法[1]一般用特征矢量间的欧氏距离作为待配准图像的匹配判断矢量。匹配就是对于图像A中某个特征点，找出图像B中与它欧氏距离最近的特征点，简单地说，如果最近的距离小于某个阀值，则认为这两个点被匹配。 令A图像中的特征点描述子集为基准集，B图像中的特征点描述子集为目标集，通过欧式距离相似度判定度量，对每个qj我们在基准集中都能找到与其欧式距离最近的pi，这样qj和pi就构成一个匹配对。虽然匹配对中的两个特征点描述子的欧式距离最近，但这并不意味着它们对应相同的图像区域。在正确的匹配对中的两个特征点描述子的欧式距离会很小，理想状况下为零。但是当qj 与基准集中多个点的欧氏距离相近的时候，在判断时qj与它最近邻构成的匹配对就有可能是错误的匹配。 上述的分析表明，采用SURF算法对图像进行匹配，对于特征丰富的图像，往往得到数以百计的特征点匹配对，而且具有一定的误差性，存在错误的匹配对。因此就需要后续的检验过程，提高配准精度。 配准后的图像要转换到同个坐标下，才能进行拼接融合。这就涉及到图像变换模型。从图像变换模型的要求[2]中，我们知道，只要有3对对应的匹配对，我们就可以计算出两幅图像间的变换关系。在此我们先采用RANSAC算法消除错误匹配提高配准精度，以便得到更加精确的变换参数矩阵，便于后期的融合拼接。 2、基于RANSAC剔除误匹配提高配准精度的实现方法
基于SIFT特征向量的图像拼接技术研究
基于SIFT特征向量的图像拼接技术研究摘要 图像拼接技术是数字图像处理邻域的一个研究热点，一直是计算机视觉、模式识别、医学等领域研究的一个重要课题，图像拼接技术也是图像处理工作中的关键技术之一。所谓图像拼接就是将有重叠的图像无缝拼成一幅大宽视域图像的技术。它包含两个关键技术：图像配准和图像融合。近年来，随着技术的成熟，图像拼接技术被很好的应用到了机器人导航、无人平台战场监控、航拍图像处理等多个领域。基于特征的图像配准与拼接技术配准结果准确拼接效果良好且不易受光照、旋转等因素的影响是当前图像配准与拼接领域研究的热点。本文在深入研究和学习已有的基于SIFT的图像配准与拼接技术的基础上，详尽地分析了现有算法的不足，并提出了若干改进算法。 关键字：图像拼接，特征，线段特征，图像融合 Image splicing technology research based on SIFT feature vector abstract Image splicing technology is a research focus in the neighborhood of digital image processing, has been the computer vision, pattern recognition, an important hot topic in the field of medicine and other fields, image splicing technology is one of the key technologies of image processing work. The so-called image mosaicing is there will be overlapping images seamless Mosaic a big wide horizon image technology. It includes two key techniques: image registration and image fusion. In recent years, with mature technology, image splicing technology is very good application in robot navigation, unmanned platform battlefield monitoring, aerial image processing and other fields. Based on the characteristics of image registration and Mosaic registration results are accurate stitching effect is good and not easily influenced by factors such as illumination, rotation is the hotspot in research of image registration and Mosaic. Based on the in-depth research and study of the existing image registration based on SIFT and splicing technology, on the basis of the shortage of the existing algorithm is analyzed in detail, and puts forward some improved algorithm. The keyword：Image stitching, features, line features, image fusion 目录 第一章绪论 (2) 1.1研究背景和意义 (2) 1.2国内外研究现状 (3) 1.3研究内容 (4) 第二章图像拼接的相关理论基础 (6) 2.1图像拼接的基本流程 (6)
360°全景拼接技术简介
本文为技术简介，详细算法可以参考后面的参考资料。 1.概述 全景图像(Panorama)通常是指大于双眼正常有效视角(大约水平90度，垂直70度)或双眼余光视角(大约水平180度，垂直90度)，在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览），乃至360度完整场景范围拍摄的照片。 生成全景图的方法，通常有三种：一是利用专用照相设备，例如全景相机，带鱼眼透镜的广角相机等。其优点是容易得到全景图像且不需要复杂的建模过程，但是由于这些专用设备价格昂贵，不宜普遍适用。二是计算机绘制方法，该方法利用计算机图形学技术建立场景模型，然后绘制虚拟环境的全景图。其优点是绘制全景图的过程不需要实时控制，而且可以绘制出复杂的场景和真实感较强的光照模型，但缺点是建模过程相当繁琐和费时。三是利用普通数码相机和固定三脚架拍摄一系列的相互重叠的照片，并利用一定的算法将这些照片拼接起来，从而生成全景图。 近年来随着图像处理技术的研究和发展，图像拼接技术已经成为计算机视觉和计算机图形学的研究焦点。目前出现的关于图像拼接的商业软件主要有Ptgui、Ulead Cool 360及ArcSoft Panorama Maker等，这些商业软件多是半自动过程，需要排列好图像顺序，或手动点取特征点。 2.全景图类型： 1)柱面全景图 柱面全景图技术较为简单，发展也较为成熟，成为大多数构建全景图虚拟场景的基础。这种方式是将全景图像投影到一个以相机视点为中心的圆柱体内表面，
视线的旋转运动即转化为柱面上的坐标平移运动。这种全景图可以实现水平方向360度连续旋转，而垂直方向的俯仰角度则由于圆柱体的限制要小于180度。柱面全景图有两个显著优点：一是圆柱面可以展开成一个矩形平面，所以可以把柱面全景图展开成一个矩形图像，而且直接利用其在计算机内的图像格式进行存取；二是数据的采集要比立方体和球体都简单。在大多数实际应用中，360度的环视环境即可较好地表达出空间信息，所以柱面全景图模型是较为理想的一种选择。 2)立方体全景图 立方体全景图由六个平面投影图像组成，即将全景图投影到一个立方体的内表面上。这种方式下图像的采集和相机的标定难度较大，需要使用特殊的拍摄装置，依次在水平、垂直方向每隔90度拍摄一张照片，获得六张可以无缝拼接于一个立方体的六个面上的照片。这种方法可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。 3)球面全景图 球面全景图是指将源图像拼接成一个球体的形状，以相机视点为球心，将图像投影到球体的内表面。与立方体全景图类似，球面全景图也可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。球面全景图的拼接过程及存储方式较柱面全景图大为复杂，这是因为生成球面全景图的过程中需要将平面图像投影成球面图像，而球面为不可展曲面。因此这是一个平面图像水平和垂直方向的非线性投影过程，同时也很难找到与球面对应且易于存取的数据结构来存放球面图像。目前国内外在这方面提出的研究算法较其他类型全景图少，而且在可靠性和效率方面也存在一些问题。 3.主要内容
图像配准技术方法研究
图像配准技术方法研究 摘要随着信息技术的迅猛发展，图像配准技术已经在军事、遥感、医学、计算机视觉等多个领域得到了广泛的应用。图像配准技术是图像处理的一个基本问题，它是将不同时间、传感器或视角下获取的相同场景的多幅图像进行匹配的图像处理的过程。三类图像配准的方法大致如下：基于灰度的图像配准方法。基于变换域的图像配准方法。基于特征的图像配准方法。本文将应用这三种方法对图像配准进行研究。并重点研究基于特征的图像配准方法。 关键词图像配准，特征点匹配，灰度插值，控制点的提取 Abstract The technology of image registration is being widely used in the military, remote sensing , medical, computer, visual and any other fields with the rapid development of information technology. The technology of image registration is a kind of process to match different pictures getting from different periods and different cameras but a same scene, it is a basic point to handle the pictures. There are three kinds of ways to do the image registration:According to the level of the color of gray getting from the pictures.According to transforming domains.According to the features The three kinds of ways will be used to discuss the image registration in the thesis, and the way according to the features will be discussed more in the thesis.
图像配准技术研究进展
第１４卷第６期２００７年１２月 电光与控制 ＥＵ￡ＣＴＲＯＮＩＣＳＯＰＴＩＣＳ＆ＣＯＮＴＲＯＬ Ｖ０１．１４№．６ Ｄｅｅ．２００７ 文章编号：１６７１—６３７Ｘ（２００７）０６—００９９—０７ 图像配准技术研究进展 刘松涛，杨绍清 （海军大连舰艇学院信息与通信工程系，辽宁大连１１６０１８） 摘要：图像配堆是解决图像融合、图像镶嵌和变化检测等问题的必要前提。其应用遍及军事、遥感、医学和计算机视觉等多个领域。筒要回顾了图像配准技术的发展史和研究现状．重点阐述了当前的技术热点和应用趋势，最后展望了进一步的研究方向。 关键词：图像配准；信息论；非刚性配准；虚拟结构 中图分类号：Ｖ２４３．６文献标识码：Ａ Ｐｒｏｇｒｅｓｓｉｎｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎｔｅｃｈｎｉｑｕｅｓ ＬＩＵＳｏｎｇ—ｔａａ，ＹＡＮＧＳｈａｏ—ｑｉｎｇ （Ｏｅｐｔ．ｏｆＩｎｆｏｒｍａｔｉｏｎ＆ＣｏｍｍｔｍｉｃｄｉｏｎＥｔ，ｇ泌ｒｉｔ，．ｇ，ＤａｆｉａｎＮａｖａｌＡｃａｄｅｍｙ，Ｄａｌｉａｎ１１６０１８，舀白Ⅺ） Ａｂｓｔｒａｃｔ：Ｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎｉｓｅｓｓｅｎｔｉａｌｆｏｒａｌｌｉｍａｇｅａｎａｌｙｓｉｓｔａｓｋｓｌｉｋｅｉｍａｇｅｆｕｓｉｏｎ，ｉｍａｇｅｍｏｓａｉｃａｎｄｃｈａｎｇｅｄｅｔｅｃｔｉｏｎ．Ｉｔｉｓｕｓｅｄｗｉｄｅｌｙｉｎｍｉｌｉｔａｒｙｓｙｓｔｅｍ，ｍｅｄｉｃａｌｉｍａｇｉｎｇ，ｒｅｍｏｔｅｓｅｎｓｉｎｇ，ｃｏｍｐｕｔｅｒｖｉｓｉｏｎ，ｅｔｃ．Ｔｈｅｈｉｓｔｏｒｙａｎｄｃｕｒｒｅｎｔｅｔａｔｕｓｏｆｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎｔｅｃｈｎｉｑｕｅｓｆｉｒｅｒｅｖｉｅｗｅｄｋｅｆｌｙｗｉｔｈｅｍｐｈａｓｉｓｏｎｉｔｓｃｕｒｒｅｎｔｔｅｃｈｎｉｃａｌｈｏｔｓｐｏｔｓａｎｄａｐｐｌｉｃａｔｉｏｎｔｒｅｎｄｓ．Ｓｏｍｅｉｎｔｅｒｅｓｔｉｎｇａｓｐｅｃｔｓｆｏｒｆｕｒｔｈｅｒｓｔｕｄｙａ”ｐｏｉｎｔｅｄｏｕｔｉｎｔｈｅｅｎｄ． Ｋｅｙｗｏｒｄｓ：ｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎ；ｉｎｆｏｒｍａｔｉｏｎｔｈｅｏｒｙ；１１０ｎ—ｒｉｇｉｄｒｅｇｉｓｔｒａｔｉｏｎ；ｖｉｒｔｕａｌｓｔｒｕｃｔＵｒｅ ０引言 图像配准是许多应用问题必须的预处理步骤，比如：时序图像的变化检测或多模图像融合，这些问题遍及军事、遥感、医学、计算机视觉等多个领域。许多领域都需要图像配准，实际应用过程可能会有所不同，但其中关键的因素是类似的。概括地说，图像配准是对取自不同时间、不同传感器或者不同视角的同一场景的两橱或多幅图像进行最佳匹配的过程，包括像素灰度匹配和空间位置对齐。 配准方法的分类可以依据不同的准则。Ｂｒｏ．ｗｎ…依据变换模型的复杂程度对配准方法进行分类，并归纳了配准技术的实现步骤：特征空问、相似度测量、搜索空间和策略。Ｍａｉｎｔｚ”１等则提出了９ 收稿日期：２００６—０３—０９修回Ｅｔ期：２００６—０５—１５ 基金项目：国防预研基金资助项目（５１４０３０３０６０４ＪＢｌ４０Ｉ）；国家自然科学基金资助项目（６０５７２１６０） 一 作者简介：荆松涛（１９７８一），男，河南孟津人，博士，主要研究方向为图像融合、耳标识别、成像跟踪、ＤＳＰ开发 等。条分类准则，依次为：图像维数、配准特征的来源、变换模型、坐标变换域、交互性、优化策略、成像模式、配准对象、配准目标的特点等。作者参考Ｂｒｏｗｎ和Ｍａｉｎｌｚ的分类方法，将配准技术概括为８个方面，包括：配准对象、特征提取、特征匹配、变换模型、优化策略、坐标变换与插值、系统实现及算法评估，并考虑每项内容的技术特性进行细分，然后依据某一算法的创新点进行分类。囊括所有方法的分类准则是不存在的，所提方法侧重于从总体上对配准方法进行考察，是一种相对能反映配准方法本质特征的分类方法。依据新的分类准则，作者已对图像配准技术的８个子方向进行了系统研究ｕＪ。 １发展史和研究现状 国外从２０世纪６０年代就开始在图像配准领域进行研究“】，但直到１９８０年代才开始引起学者们的关注。到上世纪末，单模图像配准问题已基本解决，但多模图像配准由于涉及模式和领域的复杂性．仍需密切关注。国际上对图像配准技术曾做过调查”】，其结论是１９９０年代初技术文献明显增加。而
多模图像配准融合
多模图像配准融合
浅析多模态医学图像的配准与融合技术 来源：本站原创作者：朱俊林发布时间：2009-06-07 1 医学图像的配准技术简介 医学图像的配准技术是90年代才发展起来的医学图像处理一个重要分支, 并且日益受到了医学界和工程界的重视。医学图像的配准是指对于一幅医学图 像寻求一种或者是一系列的空间变换,使两幅图像的对应点达到空间位置和解 剖结构的一致，这种一致是指人体上的同一解剖点在两张匹配的图像上有相同 的空间位置。简单地说医学图像配准就是解决两幅图像的严格对齐问题。配准 的结果应使两幅图像上所有的解剖点,或至少是所有具有诊断意义的解剖点及 手术感兴趣的点都达到匹配。 医学图像的配准按图像来源分为：单模态(mono-modality)与多模态配准(multi-modality)。单模态配准是指对来自同一成像设备的不同时刻或不同角 度的图像进行配准。但在实际临床应用中，单一模态的图像往往不能提供医生 所需要的足够信息，通常需要将不同模态的图像融合在一起得到更丰富的信息 量，从而作出准确的诊断，制订出合适的治疗方案。所谓多模态配准，是将来 自不同形式的医学图像进行空间上的对准，将对应的相同解剖位置标记出来以 实现图像融合和进一步后期处理。多模态图像之间的配准使用最频繁,主要应用在诊断方面,可分为解剖—解剖的配准和解剖—功能的配准两大类,前者将显示组织形态学不同方面的两幅图像混合,后者将组织的新陈代谢与它相对于解剖 结构的空间位置联系起来。目前，主要的研究工作重点是进行CT、MRI以及PET、fMRI等图像的配准。 2 医学图像融合技术简介 医学图像的融合是指将两幅(或两幅以上)来自不同成像设备或不同时刻获 取的已配准图像，采用某种算法，把各个图像的优点或互补性有机结合起来， 获得信息量更为丰富的新图像的技术。医学诊断往往要综合许多不同信息进行， 传统的方法是，临床医生利用灯箱分别观看这些胶片，综合对比，得到结果。 如果能够把这些互补信息以某种方式综合在一起作为一个整体作为医学诊断的 依据，使得临床医生只要在一张综合图像上就能看到不同原始图像的信息，那 么就能提供全方位的信息细节。 3 医学图像配准及融合的关系及意义 医学图像的配准和融合有着非常密切的关系，特别是对于多模态图像而 言，配准和融合是密不可分的。配准是融合的前提，也是决定图像融合技术发 展的关键技术，若事先不对待融合图像进行空间上的对准，那么融合后的图像 也是毫无意义的。融合是配准的目的，通过来自不同影像设备的图像融合，可 以得到更多的信息，提高影像数据的利用率。在多模态医学图像信息融合中， 是要把相对应的组织结构融合在一起，而待融合的图像往往来自不同的成像设 备，它们的成像方位、角度和分辨率等因素都是不同的，所以这些图像中相应 组织的位置、大小等都是有差异的，必须先进行配准处理，才能实现准确地融 合。
全景图像拼接
实验目的： 图像拼接的目的是将有衔接重叠的图像拼成一张高分辨率全景图像，它是计 算机视觉、图像处理和计算机图形学等多学科的综合应用技术。图像拼接技术是指将对同一场景、不同角度之间存在相互重叠的图像序列进行图像配准，然后再把图像融合成一张包含各图像信息的高清图像的技术。本实验是根据输入的只有旋转的一系列图像序列，经过匹配，融合后生成一张360度的全景图像。 实验步骤： 下图是实验的流程图，实验大体上分为以下几个步骤： ①特征点提取和sift 描述： 角点检测，即通过查看一个小窗口，即可简单的识别角点在角点上，向任何一个方向移动窗口，都会产生灰度的较大变化， 2 1212()R k λλλλ=-+，通过R 的值的大小来判断是否为角点。H=22x x y y x y I I I I I I ????????，1λ， 输入图像序列 特征点检测 Sift 描述 RANSAC 特征匹配 根据两两匹配求出焦距f 投影到圆柱表面 图像融合 输出图像
为矩阵的两个特征值。实验中的SIFT描述子是对每个角点周围进行4个区域2 进行描述，分别是上下左右四个区域，每个方块大小为5*5，然后对每个方块的每个点求其梯度方向。SIFT方向共有8个方向，将每个点的梯度方向做统计，最后归为8个方向中的一个，得到分别得到sift（k,0），sift（k，1）···sift(k,8)，k为方块序列，0-8为方向，共有四个方块，所以生成32维的向量，然后按幅值大小对这32维向量进行排序，并找出最大的作为主方向。 图为角点检测和sift描述后的图 ②．如果直接根据描述子32维向量进行匹配的话，因为噪声的影响，角点检测的 不准确，会导致找出一些错误的匹配对，如何去掉这些错误的匹配呢？RANSAC 算法是基于特征的图像配准算法中的典型算法，其优点是：可靠、稳定、精度高， 对图像噪声和特征点提取不准确，有强健的承受能力，鲁棒性强，并且具有较好 的剔出误匹配点的能力，经常被使用在图像特征匹配中。RANSAC的基础是大多 数的点是正确的，然后在这些正确的点的基础上找出模型，算出其他点和这模型
地的总结图像配准算法
图像配准定义为：对从不同传感器、不同时相、不同角度所获得的两幅或多幅图像进行最佳匹配的处理过程[2]。图像配准需要分析各分量图像上的几何畸变，然后采用一种几何变换将图像归化到统一的坐标系统中。在配准过程中，通常取其中的一幅图像作为配准的标准，称之为参考图像；另一幅图像作为配准图像。 图1-1 图像配准的基本流程 图1-2 图像配准方法分类
根据配准使用的特征，图像配准的方法大致可分为三类： (1)基于图像灰度的配准算法。首先从参考图像中提取目标区作为配准的模板，然后用该模板在待配准图像中滑动，通过相似性度量(如相关系数法、差的平方和法、差的绝对值法、协方差法)来寻找最佳匹配点。 (2)基于图像特征的配准算法。该算法是以图像中某些显著特征(点、线、区域)为配准基元，算法过程分为两步：特征提取和特征匹配。首先从两幅图像中提取灰度变化明显的点、线、区域等特征形成特征集。然后在两幅图像对应的特征集中利用特征匹配算法尽可能地将存在对应关系的特征对选择出来。对于非特征像素点利用插值等方法作处理推算出对应匹配关系，从而实现两幅图像之间逐像素的配准。 (3)基于对图像的理解和解释的配准算法。这种配准算法不仅能自动识别相应像点，而且还可以由计算机自动识别各种目标的性质和相互关系，具有极高的可靠性和精度。这种基于理解和解释的图像配准涉及到诸如计算机视觉、模式识别、人工智能等许多领域。不仅依赖于这些领域中理论上的突破，而且有待于高速度并行处理计算机的研制。 从自动化角度来看，可以将配准过程分为自动、半自动和手动配准。 存在问题：如何提高图像的配准速度将是大范围遥感图像自动配准问题的要点；选取何种自动配准方案以保证图像的配准精度将是大范围遥感图像自动配准问题的另一要点。 2(,)[1((, f x y g f h x y 其中，h表示二维空间坐标变换。g表示灰度或辐射变换，描述因传感器类型的不同以及成像时气候等环境的影响所带来的图像灰度的变换。配准问题的实质就是要找到最优的空域变换h和灰度变换g，使得上述的等式成立，从而找到配准变换的参数 特征空间的选择通常要考虑以下几个因素：相似性；空间分布；唯一性。 在自动图像配准中对特征的理解可以分为两类。(1)基于灰度的方法：基于灰度的方法将重点放在特征匹配上，在其过程中并没有真正提取特征。一般所说的模板匹配法就是这种方法的代表。这种方法实际上将图像的灰度分布直接作为特征而构成匹配的基础。(2)基于特征的方法：基于特征的方法需要在图像中提取显著的特征：区域(森林、湖泊、农田等)、线(区域的边界、道路等)和点(区域的角
图像识别匹配技术原理
第1章绪论 1.1研究背景及意义 数字图像，又称数码图像或数位图像，是二维图像用有限数字数值像素的表示。通常，像素在计算机中保存为二维整数数组的光栅图像，这些值经常用压缩格式进行传输和储存。数字图像可以由许多不同的输入设备和技术生成，例如数码相机、扫描仪、坐标测量机等，也可以从任意的非图像数据合成得到，例如数学函数或者三维几何模型，三维几何模型是计算机图形学的一个主要分支。数字图像处理领域就是研究它们的变换算法。 数字图像处理(Digital Image Processing)是通过计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理的方法和技术。数字图像处理的产生和迅速发展主要受三个因素的影响:一是计算机的发展;二是数学的发展(特别是离散数学理论的创立和完善);三是广泛的农牧业、林业、环境、军事、工业和医学等方面的应用需求的增长。 图像配准(Image registration)就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。 图像配准的方法迄今为止，在国内外的图像处理研究领域，已经报道了相当多的图像配准研究工作，产生了不少图像配准方法。总的来说，各种方法都是面向一定范围的应用领域，也具有各自的特点。比如计算机视觉中的景物匹配和飞行器定位系统中的地图匹配，依据其完成的主要功能而被称为目标检测与定位，根据其所采用的算法称之为图像相关等等。 基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理，而是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。主要特点是实现简单，但应用范围较窄，不能直接用于校正图像的非线性形变，在最优变换的搜索过程中往往需要巨大的运算量。经过几十年的发展，人们提出了许多基于灰度信息的图像配准方法，大致可以分为三类：互相关法（也称模板匹配法）、序贯相似度检测匹配法、交互信息法。 目前主要图像配准方法有基于互信息的配准方法，基于相关性的配准方法和基于梯度的配准方法。其中基于梯度的方法基本很少单独使用，而作为一个辅助
全景图像拼接融合
全景图像拼接融合算法研究 1 引言 随着计算机视觉、计算机图形学、多媒体通信等技术的发展，各类虚拟现实系统都力图构建具有高度真实感的虚拟场景，因此在背景图像及三维模型纹理图像方面都会选择真实图像作为素材，通过将不同角度的图像进行拼接融合获得广视角图像。因此，无缝平滑的图像拼接融合是构建逼真的模拟训练环境的重要基础。 本文对图像拼接融合算法进行了深入研究，力图构建可以满足各类虚拟现实系统需求的广视角图像。经验证，本文方法可以稳定高效得对多幅图像实现拼接融合，具有较高的实际应用价值。 2 图像拼接融合算法原理 2.1 图像拼接 为了实现相邻间有部分重叠的图像序列的拼接，需要首先确定这些图像序列之间的空间对应关系，这一步工作称之为图像配准。为了确定图像之间的对应关系，需要知道其相应的对应关系模型，一旦确定了图像之间的关系模型，则图像之间的配准问题就转化成确定该模型的参数问题。目前常用的一些关系模型有平移变换模型、刚性变换模型、仿射变换模型以及投影变换模型等。其中，刚体变换是平移变换、旋转变换与缩放变换的组合，仿射变换是较刚体变换更为一般的变换。仿射变换和刚体变换模型则又是投影变换模型的特例。投影变换关系模型可以用齐次坐标表示为： ????????????????????=??????????111~~76543210y x m m m m m m m m y x ……………………………………(1) ???? ??????=176543 210m m m m m m m m M ………………………………………… (2) 其中，投影变换矩阵M 中各参数的意义如下：0m 、1m 、3m 、4m 表示尺度和旋转量；2m 、5m 表示水平和垂直方向位移；6m 、7m 表示水平和垂直方向的变形量。图像配准的实质便是求解投影变换阵M 中的参数。目前对M 求解的典型方法有：模板匹配法、基于图像灰度的配准法、基于图像特征的方法[1]等。 2.2 图像融合 求得两幅图像的最优投影变换矩阵M 之后就确定了它们之间的变换关系。为了得到合成图像，还需要选择合适的图像融合方法来完成图像的拼接。图像融合的任务就是把配准后的两幅图像拼接成一幅无缝图像。一般分两步进行融合，第一步是图像的合并，将两幅图像拼接到同一个坐标空间内，使两幅图像成为一幅图像；第二步是拼缝的消除，去除拼接缝使两幅图像真正能融合成一幅图像。
图像拼接原理及方法
第一章绪论 1.1图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系 列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制( IBR )成为结合两个互补领域 ――计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化 场景描述(Visual Seene Representaions)的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以 使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360度的环形图片了。但是在实际应用中，很 多时候需要将360度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360度景物的多幅图像进行拼接，从而实时地得到 超大视角甚至是360度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目 视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双 目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360度全景图像，用来虚拟实际场景。 这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四 周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图 像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重 要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算 法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型： (1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对 待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法 计算其灰度值的差异，对此差异比较后来判断待拼接图像重叠区域的相似程度，由此得到待
图像配准技术的应用与研究
图像配准技术的应用与研究 【摘要】数字图像配准技术在当今科学研究的各个领域都显示出了很高的利用价值，伴随着人们对匹配效果的不断增强，图像配准技术也受到人们越来越多的关注。本文主要介绍图像配准在各个领域中的应用以及图像配准算法的研究现状。 1.图像配准技术的应用 目前，在很多领域都运用到了图像配准技术，这些领域分布在很多学科，包括机器视觉、医疗图像鉴定[1]等，另外还有现代汽车工业上运用到的器件完整度检测，当前受到热捧的景物匹配技术也都利用了图像配准技术。图像配准早已是一个非常热点同时也非常前沿的技术，现在图像多源信息融合作为一门强势的基础学科，已被广泛运用于军工、民用、商业等领域[2][3]。 在计算机机器视觉中，图像配准技术也是其他延伸技术的基础，包括指纹识别、运动目标识别、人脸识别等当今非常热门的研究领域。图像配准技术既是基础，也是难点。当前有关视频监控、目标跟踪方面的研究已经很深入，且取得了很多辉煌的成就，但归根到底，所有的视频信息也都是由一帧一帧的图像所构成，因此要解决这类识别问题，同样依赖于图像配准技术的发展。 2.图像配准基本原理 在数字图像配准技术中，灰度相关处理是一种非常重要的算法。这类算法最大的特点就是算法的实现非常容易，但这类算法又有限制其发展的弱点，那就是该类算法的时间复杂度都非常高，计算机在进行处理的时候消耗的时间过长，实时性较差，使得这类算法在运用到实际中的时候，难以得到很好的效果。原因在于这类配准方法在对相似度进行计算时，基本上要对待配准区域的每一个像素点进行计算，这样的大量运算会直接增加配准搜索过程的时间，同时其受到图像尺度变化的影响非常大。还有一种方法是使用图像中的所有像素点的灰度信息来进行配准，再使用一种搜寻的方式把那些属于某一相似度的极值点找到，算法同样利用的是对整幅图像中的所有像素点。因其计算量太大，所以实际使用价值也不高。 图像进行特征提取的时候，使用的方法要根据实际的情况来做出不同的选择，因为不同图像的特征点有其所特有的性质。这些方法广泛的涉及到图形图像形态学，而且无法把这些模型有效的归纳到一起。针对图像的特征点提取，很多方法都运用了图像中那些对图像发生平移、尺度等变换时保持不变性的特征点，甚至某些点还能是在图像发生仿射变换时也保持不变性。通常数字图像中的特征做了图像全局特征和图像局部特征的划分。对于图像的全局特征，由于要考虑图像中所有像素点对当前点的贡献和影响，所以对图像信息的描述是非常复杂的，
医学图像配准技术 综述
医学图像配准技术 A Survey of Medical Image Registration 张剑戈综述，潘家普审校 （上海第二医科大学生物医学工程教研室，上海 200025） 利用CT、MRI、SPECT及PET等成像设备能获取人体内部形态和功能的图像信息，为临床诊断和治疗提供了可靠的依据。不同成像模式具有高度的特异性，例如CT通过从多角度的方向上检测X线经过人体后的衰减量，用数学的方法重建出身体的断层图像，清楚地显示出体内脏器、骨骼的解剖结构，但不能显示功能信息。PET是一种无创性的探测生理性放射核素在机体内分布的断层显象技术，是对活机体的生物化学显象，反映了机体的功能信息，但是图像模糊，不能清楚地反映形态结构。将不同模式的图像，通过空间变换映射到同一坐标系中，使相应器官的影像在空间中的位置一致，可以同时反映形态和功能信息。而求解空间变换参数的过程就是图像配准，也是一个多参数优化过程。图像配准在病灶定位、PACS系统、放射治疗计划、指导神经手术以及检查治疗效果上有着重要的应用价值。 图像配准算法 可以从不同的角度对图像配准算法进行分类[1]：同/异模式图像配准，2D/3D图像配准，刚体/非刚体配准。本文根据算法的出发点，将配准算法分为基于图像特征(feature-based)和基于像素密度(intensity-based)两类。 基于特征的配准算法 这类算法利用从待配准图像中提取的特征，计算出空间变换参数。根据特征由人体自身结构中提取或是由外部引入，分为内部特征(internal feature)和外部特征(external feature)。
【作者简介】张剑戈（1972-），男，山东济南人，讲师，硕士 1. 外部特征 在物体表面人为地放置一些可以显像的标记物（外标记，external marker）作为基准，根据同一标记在不同图像空间中的坐标，通过矩阵运算求解出空间变换参数。外标记分为植入性和非植入性[2]：立体框架定位、在颅骨上固定螺栓和在表皮加上可显像的标记。Andre G[3]等将该方法用于机器人辅助手术，对于股骨移植，位移误差小于1.5mm，角度误差小于3°，由于计算量小，可以实现实时配准。但是标记物必须事先被固定好，不能用于回顾性配准，而且该方法只适用刚体配准。 2. 内部特征 从医学影像中可以提取出点、线和面：血管的交点、血管、胸腹之间的横膈膜等，这些特征作为内标记点(internal marker) ，利用其空间位置同样可以求解出空间变换参数。Hill DL[4]用11个形态点对脑部配准，误差<1mm，方差为1.73mm。Meyer CR[5]除了血管树的交点，还使用了左右脑之间的间隔等特征。Maurer CR[6,7]赋予点、线、面等几何特征不同的权重(weighted geometrical features, WGF)，进一步改进了算法。内标记点配准是一种交互性的方法，将3D图像配准简化为点、线和面的匹配，可以进行回顾性研究，不会造成患者的不适。但是医生对特征位置的判断影响到配准精度，为了克服人为误差，需要多次重复操作，以平均值作为最终结果。 表面匹配算法也利用了内部特征[8]：进行图像分割，提取出轮廓曲线、物体表面等内部特征，使2D/3D图像配准简化为2D曲线和3D曲面的匹配，不再考虑物体内部像素。典型的应用是刚体配准的“头帽”算法[9]，从头部的3D图像中分割出表面轮廓，分别作为头模型和帽模型。配准的目标函数是头表面和帽表面之间的均方距离，该距离是空间变换参数的函数。表面匹配算法是一种自动算法，在物体表面轮廓相似并且清晰的情况下，配准效果很好。其不足之处在于：准确地进行图像分割很困难；不同模式的图像，如CT/PET图像，由于器官的轮廓差异较大，难于精确地匹配。 3. 在非刚体配准中的应用 进行非刚体配准前要确定物理模型，常见有弹性模型、粘稠液体模型、生物力学模型。通过在感兴趣区域中提取参考点、2D或是3D轮廓线，使待配准图像
基于视频序列的图像配准算法研究与应用
工学硕士学位论文 基于视频序列的图像配准算法研究与应用 王帅 哈尔滨工业大学 2007年7月
国内图书分类号：TP391.4 国际图书分类号：681.39 工学硕士学位论文 基于视频序列的图像配准算法研究与应用 硕士研究生：王帅 导师：承恒达 教授 申请学位：工学硕士 学科、专业：计算机科学与技术 所在单位：计算机科学与技术学院 答辩日期：2007年7月 授予学位单位：哈尔滨工业大学
Classified Index: TP391.4 U.D.C: 681.39 Dissertation for the Master Degree in Engineering RESEARCH AND APPLICATION OF IMAGE REGISTRATION BASED ON VIDEO SEQUENCE Candidate：Wang Shuai Supervisor：Prof. Cheng Hengda Academic Degree Applied for：Master of Engineering Specialty：Computer Science and Technology Affiliation：School of Computer Science and Technology Date of Defence：July, 2007 Degree-Conferring-Institution：Harbin Institute of Technology
哈尔滨工业大学工学硕士学位论文 摘要 随着数字技术的不断发展，视频图像的分析与处理越来越受到人们的关注。数字化图像序列可以通过摄像机等光学设备获得，是真实世界在不同时间向成像平面的一系列投影。图像帧之间具有较大的相关性和信息冗余，找到并描述图像序列间的内在联系成为研究的关键所在。图像配准技术可以有效地解决这类问题。 图像配准问题是图像处理里的一个基本问题，是将不同时间、不同传感器、不同视角及不同拍摄条件下获取的图像对齐或匹配，消除存在的几何畸变。图像配准在计算机视觉、模式识别、医学图像处理和遥感信息处理方面有着广泛的应用。 本文提出了基于自适应聚类的特征匹配方法，满足大量图像配准的需求，提高匹配的速度，该方法基于正确匹配点对间形成矢量的一致性，对匹配点对进行自适应聚类，实验证明该方法在保证正确匹配不丢失的同时，可有效剔除绝大多数错误匹配，为进一步进行RANSAC匹配提供方便，且有效地提高了整个匹配过程的速度。 本文提出一种简单有效的图像合成方法。该方法针对摄像机固定位置，水平旋转拍摄的视频序列的特点，选取图像序列中部分帧，通过H矩阵确定重叠区域，再利用线性插值进行图像融合。实验证明在转角小于180 时，合成效果较好。 本文成功运用图像配准技术完成运动员滑行数据的测量，利用图像配准技术估计图像间摄像机运动，进而消除摄像机运动的影响，得到运动员的真实运动数据。根据这一原理，首先对冰场进行合理化建模，并确定相应的视频拍摄方案，设计了运动员冰场定位算法，利用帧间的H矩阵估计摄像机旋转角度，进而估计运动员的旋转角度完成滑行数据的测量。 关键词图像配准；特征点匹配；自适应聚类 - -I