视频图像拼接技术研究.

南京理工大学硕士学位论文视频图像拼接技术研究姓名：林学晶申请学位级别：硕士专业：控制理论与控制工程指导教师：茅耀斌20100620硕士论文视频图像拼接技术研究摘要视频图像拼接技术是视频应用领域研究的一个热门课题，可广泛应用于全景图生成、双目机器人应用等多个方面。

本文主要针对三类视频图像序列拼接应用进行了研究：针对仅存在平移变换关系的视频图像序列，本文研究了一种基于频域的相位相关方法。

论文首先介绍了相位相关方法的原理和利用这种方法实现视频拼接的算法流程，然后通过实验证明该方法适用于帧与帧问有较大重叠区域的视频序列，并且允许视频中存在少量小的运动物体。

在此基础上设计实现了适用于小平移视频序列的实时拼接软件。

针对在不同的视角位置同时采集得到的双实时视频图像序列，本文研究了两种基于点特征的拼接技术。

论文首先介绍了Ｈａｒｒｉｓ角点和ＳＩＦＴ算子的原理，然后阐述了基于点特征的双摄像头拼接技术的各个环节，包括特征点匹配、ＲＡＮＳＡＣ去除误匹配点对、透视变换矩阵模型参数计算、插值处理和融合等。

本文比较了几种图像的融合方法，采用了一种自动调节亮度值和加权融合方法，消除了图像拼接后可能出现的拼接缝隙和颜色过渡不自然的现象。

由于Ｈａｒｒｉｓ角点易受噪声影响，本文提出了一种投票机制的改进方法，增强了Ｈａｒｒｉｓ角点定位的准确性。

本文最后搭建了基于ＤｉｒｅｃｔＳｈｏｗ的双摄像头采集平台、设计实现了基于Ｈａｒｒｉｓ角点和ＳＩＦＴ算子两种点特征的双摄像头实时视频拼接程序，前者适用于摄像机采集的视频图像存在平移、旋转的情况，后者适用于存在平移、旋转和尺度缩放的情况。

本文最后针对低分辨率图像序列，研究了基于ＳＩＦＴ算子的拼接问题，并将之应用于手机连续抓拍文本序列图像的拼接。

关键词：相位相关方法，Ｈａｒｒｉｓ角点，ＲＡＮＳＡＣ，透视变换矩阵，加权融合Ａｂｓｔｒａｃｔ硕士论文ＡｂｓｔｒａｃｔＶｉｄｅｏｍｏｓａｉｃｉｓａｐｏｐｕｌａｒｔｏｐｉｃｏｎｖｉｄｅｏｔｅｃｈｎｏｌｏｇｙｔｈａｔｓｈｏｗｓｓｉｇｎｉｆｉｃａｎｔｉｍｐｏｒｔａｎｔａｐｐｌｉｃａｔｉｏｎｆｏｒｐａｎｏｒａｍｉｃｉｍａｇｅｓ，ｂｉｎｏｃｕｌａｒｒｏｂｏｔａｎｄＳＯｏｎ．Ｄｉｆｆｅｒｅｎｔｔｅｃｈｎｉｑｕｅｓｏｆｖｉｄｅｏｍｏｓａｉｃａｒｅｕｓｅｄｉｎｄｉｆｆｅｒｅｎｔａｐｐｌｉｃａｔｉｏｎｓ．Ｉｎｔｈｉｓｐａｐｅｒ，ｔｈｒｅｅｔｙｐｅｓｏｆｃａｓｅａｒｅｓｔｕｄｉｅｄ：Ｔｈｅｍｅｔｈｏｄｏｆｐｈａｓｅｃｏｒｒｅｌａｔｉｏｎｂａｓｅｄｏｎｆｒｅｑｕｅｎｃｙｄｏｍａｉｎｉｓｓｔｕｄｉｅｄｆｏｒａｖｉｄｅｏｓｅｑｕｅｎｃｅｏｆｔｒａｎｓｌａｔｉｏｎ．Ｆｉｒｓｔ，ｔｈｅｐｒｉｎｃｉｐｌｅｏｆｐｈａｓｅｃｏｒｒｅｌａｔｉｏｎａｎｄｔｈｅａｌｇｏｒｉｔｈｍｐｒｏｃｅｓｓｏｆｖｉｄｅｏｍｏｓａｉｃｂａｓｅｄｏｎｔｈｉｓｍｅｔｈｏｄａｒｅｉｎｔｒｏｄｕｃｅｄ．Ｔｈｅｎ，ｗｉｔｈａｃｏｍｐａｒｉｓｏｎｏｆｅｘｐｅｒｉｍｅｎｔｓ，ｔｈｉｓｍｅｔｈｏｄｉｓｓｕｉｔａｂｌｅｆｏｒａｌａｒｇｅｏｖｅｒｌａｐｏｆｖｉｄｅｏｓｅｑｕｅｎｃｅｓｂｅｔｗｅｅｎｆｒａｍｅｓｗｉｔｈｃｅｒｔａｉｎｓｍａｌｌｍｏｖｉｎｇｏｂｊｅｃｔｓ．Ａｐｒｏｇｒａｍｏｆｒｅａｌ—ｔｉｍｅｓｔｉｔｃｈｉｎｇｆｏｒｖｉｄｅｏｓｅｑｕｅｎｃｅｗｉｔｈａｓｍａｌｌｔｒａｎｓｌａｔｉｏｎｉｓｄｅｓｉｇｎｅｄ．Ｔｗｏｋｉｎｄｓｏｆｍｏｓａｉｃｔｅｃｈｎｏｌｏｇｙｂａｓｅｄｏｎｐｏｉｎｔｆｅａｔｕｒｅａｒｅｓｔｕｄｉｅｄｆｏｒｔｗｏｒｅａｌ—ｔｉｍｅｖｉｄｅｏｓｓｙｎｃｈｒｏｎｏｕｓｌｙｃａｐｔｕｒｅｄｆｒｏｍｄｉｆｆｅｒｅｎｔｖｉｅｗｐｏｉｎｔｓ．Ｆｉｒｓｔ，ｔｈｅｐｒｉｎｃｉｐｌｅｏｆＨａｒｒｉｓｃｏｍｅｒｄｅｔｅｃｔｏｒａｎｄＳＩＦＴｏｐｅｒａｔｏｒａｒｅｉｎｔｒｏｄｕｃｅｄ，Ｔｈｅｎ，ａｂｉｎｏｃｕｌａｒｖｉｄｅｏｍｏｓａｉｃｔｅｃｈｎｏｌｏｇｙｔｈａｔｅｍｐｌｏｙｓｐｏｉｎｔｆｅａｔｕｒｅｓｉｓｐｒｅｓｅｎｔｅｄ．Ｔｈｅｔｅｃｈｎｏｌｏｇｙｃｏｎｓｉｓｔｓｏｆｓｅｖｅｒａｌｓｔｅｐｓｓｕｃｈａｓｔｈｅｍａｔｃｈｉｎｇｏｆｐｏｉｎｔｐａｉｒｓ，ｔｈｅｒｅｍｏｖａｌｏｆｆａｌｓｅｍａｔｃｈｅｓｂｙｕｓｅｏｆＲＡＮＳＡＣ，ｔｈｅｃａｌｃｕｌａｔｉｏｎｏｆｔｈｅｍｏｄｅｌｐａｒａｍｅｔｅｒｓｉｎａｐｅｒｓｐｅｃｔｉｖｅｔｒａｎｓｆｏｒｍａｔｉｏｎｍａｔｒｉｘ，ｉｎｔｅｒｐｏｌａｔｉｏｎ，ａｎｄｐｉｘｅｌｆｕｓｉｏｎ．Ｃｏｎｃｅｒｎｉｎｇｐｉｘｅｌｆｕｓｉｏｎｆｏｒｓｔｉｔｃｈｉｎｇｉｍａｇｅｓ，ａｍｅｔｈｏｄｏｆａｕｔｏｍａｔｉｃｂｒｉｇｈｔｎｅｓｓａｄｊｕｓｔｍｅｎｔａｎｄｗｅｉｇｈｔｅｄｆｕｓｉｏｎｉｓａｄｏｐｔｅｄｆｏｒｅｌｉｍｉｎａｔｉｎｇｓｔｉｔｃｈｉｎｇｓｅａｍｓａｎｄｕｎｎａｔｕｒａｌｃｏｌｏｒｔｒａｎｓｉｔｉｏｎｔｈｒｏｕｇｈｅｘｐｅｒｉｍｅｎｔａｌｃｏｍｐａｒｉｓｏｎ．ＤｕｅｔｏｔｈｅｎｏｉｓｅｓｅｎｓｉｔｉｖｉｔｙｏｆｔｈｅＨａｍｓｃｏｍｅｒｄｅｔｅｃｔｏｒ，ｉｎｔｈｉｓｐａｐｅｒ，ａｎｉｍｐｒｏｖｅｄｍｅｔｈｏｄｕｓｉｎｇｖｏｔｉｎｇｍｅｃｈａｎｉｓｍｉｓｐｕｔｆｏｒｔｈｆｏｒｅｎｈａｎｃｉｎｇｔｈｅａｃｃｕｒａｃｙｏｆｔｈｅａｌｉｇｎｍｅｎｔｏｆｔｈｅｃｏｍｅｒｓ．Ｆｉｎａｌｌｙ，ｒｅａｌ—ｔｉｍｅｖｉｄｅｏｍｏｓａｉｃｐｒｏｇｒａｍｓｆｏｒｄｕａｌｃａｍｅｒａｓｒｅｓｐｅｃｔｉｖｅｌｙｂａｓｅｄｏｎＨａｒｒｉｓｃｏｍｅｒｄｅｔｅｃｔｏｒａｎｄＳＩＦＴｏｐｅｒａｔｏｒｉｓｉｍｐｌｅｍｅｎｔｅｄ，ｉｎｗｈｉｃｈｔｈｅｆｏｒｍｅｒｉｓｔｏｌｅｒａｎｔｔｏｉｍａｇｅｔｒａｎｓｌａｔｉｏｎａｎｄｒｏｔａｔｉｏｎ，ｗｈｉｌｅｔｈｅｌａｔｅｒｃａｎｒｅｓｉｓｔｔｒａｎｓｌａｔｅ，ｒｏｔａｔｅａｎｄｓｃａｌｅｃｈａｎｇｅｓ．Ａｔｌａｓｔ，ｉｎｔｈｉｓｐａｐｅｒ，ｍｏｓａｉｃｏｆａｓｅｑｕｅｎｃｅｏｆｉｍａｇｅｓｂａｓｅｄｏｎＳＩＦＴａｒｅｓｔｕｄｉｅｄ．Ｉｔｉｓａｌｓｏａｐｐｌｉｅｄｔｏｔｈｅｍｏｓａｉｃｏｆａｓｅｑｕｅｎｃｅｏｆｔｅｘｔｉｍａｇｅｓｗｈｉｃｈａｒｅｃａｐｔｕｒｅｄｂｙｃｅｌｌ—ｐｈｏｎｅ．Ｋｅｙｗｏｒｄｓ：Ｐｈａｓｅｃｏｒｒｅｌａｔｉｏｎｍｅｔｈｏｄ，Ｈａｒｒｉｓｃｏｍｅｒｄｅｔｅｃｔｏｒ，ＲＡＮＳＡＣ，Ｐｅｒｓｐｅｃｔｉｖｅｔｒａｎｓｆｏｒｍａｔｉｏｎｍａｔｒｉｘ，Ｗｅｉｇｈｔｅｄｆｕｓｉｏｎ声明本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使用过的材料。

与我一同工作的同事对本学位论文做出的贡献均已在论文中作了明确的说明。

研究生签名：窭基垦盆矽归年‘月Ⅱ日学位论文使用授权声明南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。

对于保密论文，按保密的有关规定和程序处理。

研究生签名：■触刎年，月加硕上论文视频图像拼接技术研究１绪论１．１图像拼接技术研究目的和应用前景图像拼接（ｉｍａｇｅｓｔｉｔｃｈｉｎｇ）是将两幅或多幅有重叠区域的图像序列通过一定的方法拼接成一幅具有更大视野的图像，它是计算机视觉领域研究的一个热门课题，相关研究还涉及到图像处理、计算机图形学、拓扑学、几何学等多门学科知识。

近年来，伴随着信息产业技术的革命，微电子技术得到了迅猛的发展，用于连续快速捕获视频序列的数码相机、数码摄像机等高端电子产品出现在了消费市场，并逐渐成为人们日常生活的必需品。

国家航空航天技术和遥感成像技术也有了日新月异的发展，高空拍摄获得的高分辨率的遥感图像能够动态、准确、快速地传送回地面接收站。

这些科技的发展都为图像拼接技术领域研究注入了新的活力，同时由于视频拼接实时性的要求也给图像拼接技术研究带来了新的挑战。

实时的视频拼接技术应用范围很广，主要应用于航拍视频图像、医学显微视频图像、视频监控等。

航拍视频图像拼接是由飞机低空飞行拍摄地面场景或人造卫星高空拍摄遥感图像等，把图像数据信息传输到地面接收站，由地面接收站通过一定的拼接技术，将接收到的图像实时的拼接到已拼接的图像中去。

航拍视频图像拼接主要应用于城市布局建设规划、军事目标设施侦察、海洋资源开发作业、生态环境污染检测、电子地图制作等。

医学显微视频图像拼接，主要通过多个植入人体的内窥镜，将反馈回的图像进行拼接，实时显示人体内部生理组织结构变化。

医学显微视频图像拼接能够帮助医生更好地临床诊断癌症等突发病变，使病人及时得到治疗。

视频监控是指在同一场景的不同位置安装多个摄像头进行监控。

由于每个摄像头视角有限，只能拍摄到场景中的一小部分区域，需要通过实时视频拼接手段，把展现全场景的动态监控画面传输到终端监控室，由此提高监控能力。

视频拼接在监控中的应用，对维护社会稳定、严防恐怖活动并促进安保工作开展等都起了极其重要的作用。

同时实时的视频拼接技术还广泛应用于双目视觉研究、虚拟场景构建、电视电话会议召开等多个领域。

鉴于视频拼接技术对于国防安全建设、军事战略等都有极其重要的作用，而相关技术尚未成熟完善，本文对实时视频拼接技术的实现进行了研究。

希望能有助于促进国内厂商尽快开发出满足各种需求的实时视频拼接系统，为自然资源的合理开发、国家建设的整体规划、医学研究的发展、国家安全稳定以及军队在军事战略行动上占据主动权等多方面应用提供一定的技术借鉴。

１绪论硕上论文１．２图像拼接技术分类及研究现状图像拼接技术最早起源于摄影测量学［４５】（Ｐｈｏｔｏｇｒａｍｍｅｔｒｙ），当时人们主要通过手工定位控制点的方法进行拼接。

迄今为止，国内外学者已经提出了多种拼接算法，各种算法都是面向一定的应用场合，具有各自的特点。

图像拼接技术按照拼接对象不同一般可以分为基于静态图像的拼接技术和基于动态视频的拼接技术。

基于静态图像的拼接技术是指将两幅或多幅具有重叠区域的图像进行拼接。

基于动态视频的拼接技术是在基于静态图像的拼接技术基础上，考虑时间的开销，实现对时间上连续播放、空间上有重叠区域的视频序列进行快速、准确的拼接。

前者侧重于拼接的精度，时间消耗上没有要求：后者在保证一定精度的前提下更侧重于实时性，主要用于能够动态的展现场景中的变化。

ＭａｔｔｈｅｗＢｒｏｗｎ和ＤａｖｉｄＧＬｏｗｅ等人ｐｊｌ利用ＳＩＦＴ算子ｌ”１开发的拼图软件ａｕｔｏｓｔｉｔｃｈ，能够用于多幅静态图像的拼接，李忠新［４０ｊ、赵辉［４ｌ】等人对静态图像的拼接优化进行了相应的研究，ＲｉｃｈａｒｄＳｚｅｌｉｓｋｉ［１６】将视频拼接技术应用于创建虚拟环境，ＭａｓａｋａｔｓｕＫｏｕｒｏｇｉ等人【５ｌ】用光流的方法实现了对视频序列的实时拼接，王丙勤【５２】等人对多视点的视频拼接进行了研究。