最小二乘影像匹配的算法设计与实现
数字影像最小二乘法匹配
vv
(g2
g2 g1 g2 2
g1 )2
(
g2 g1 g2 2
)2
g
2 2
2
g2 g1 g2 2
g2 g1
g12
vv
g12 (
g2 g1)2 g2 2
相关系数
2
(
g2 g1 )2
g1 2
g2 2
相关系数与vv的关系
1 n
2 v 2 g
信噪比 方差
SNR g v
ˆ
2 x
1 n SNR
2 v 2 g
相关系数与信噪比之间的关系
(SNR)2
1
(1 2)
ˆ
2 x
(1
n
2
)
2 v 2 g
可以得到一些很重要的结论：
影像匹配的精度与相关系数 有关，相关系数愈大则精度愈 高。它与影像窗口的“信噪比” 有关，信噪比愈大，则匹配的 精度愈高。
3．把握文章的艺术特色，理解虚词在文中的作用。
4．体会作者的思想感情，理解作者的政治理想。一、导入新课范仲淹因参与改革被贬，于庆历六年写下《岳阳楼记》，寄托自己“先天下之忧而忧，后天下之乐而乐”的政治理想。实际上，这次改革，受
到贬谪的除了范仲淹和滕子京之外，还有范仲淹改革的另一位支持者——北宋大文学家、史学家欧阳修。他于庆历五年被贬谪到滁州，也就是今天的安徽省滁州市。也是在此期间，欧阳修在滁州留下了不逊
影像匹配的精度还与影像的纹
理结构有关，即与 ( g / g) 有关。 特别 是g 当愈大，则影像匹配精
采用金字塔分解的最小二乘影像匹配算法
采用金字塔分解的最小二乘影像匹配算法
李峰;周源华
【期刊名称】《上海交通大学学报》
【年(卷),期】1999(33)5
【摘要】最小二乘（ＬＳ）算法因其高精度而在影像匹配中被广为采用，但单纯的ＬＳ算法有收敛范围小、收敛速度慢等缺点．本文实现了结合金字塔分解的ＬＳ匹配算法，此算法能大大增加单纯ＬＳ算法的收敛范围，提高匹配率，而运算时间与单纯ＬＳ法基本相当，并且保持了它的高精度．实验表明，此算法的精度高、匹配率高、收敛范围大。
【总页数】4页(P513-515)
【关键词】金字塔分解;最小二乘法;影像匹配;视频图像
【作者】李峰;周源华
【作者单位】上海交通大学图像通信与信息处理研究所
【正文语种】中文
【中图分类】TN941.1;TP391.41
【相关文献】
1.相关系数和最小二乘影像匹配算法的实现与研究 [J], 曾凡永;顾爱辉;陈海峰;项皓东
2.基于最小二乘法的多影像像点自动匹配算法 [J], 雷红涛;路婷婷;刘大维
3.基于多通道影像的最小二乘匹配算法 [J], 张延波;杨艳玲;杨楠
4.影像匹配中金字塔数据结构比较与快速算法 [J], 耿则勋;李勤爽
5.顾及高程平面及视差约束的最小二乘影像匹配算法 [J], 张春森;牟岩;朱师欢;郭丙轩;仇振国
因版权原因，仅展示原文概要，查看原文内容请购买。
最小二乘影像匹配 PPT课件
2
g g
2 1
( g1 g 2 ) 2
2 2
则：
1
vv g
2 1
1
1 g12 vv
“相关系数最大”→“信噪比为最大” 因为没引入几何变形参数，所以匹配结果是以 整像素为单位。
河南理工大学测绘学院遥感科学与技术系 数字摄影测量学 Digital Photogrammetry
两个二维影像之间的几 何变形，不仅仅存在着相对 移位，而且还存在着图形变 化。只有充分地考虑影像的 几何变形，才能获得最佳的 影像匹配。
河南理工大学测绘学院遥感科学与技术系
1
图 6-11
两个二维影像之间的几何变形
数字摄影测量学 Digital Photogrammetry
§ 5.3 最小二乘影像匹配
作 业 与 思 考 题
1、叙述基于灰度的影像匹配的一 般过程。 2、叙述基于物方影像匹配（VLL 法）基本思想和主要过程。 3、试推导并说明整像元匹配的精 度。 4、试推导采用相关系数拟合提高 匹配精度的理论公式。
5、试绘制相关系数匹配的程度框 图，并用C语言编写和调试相应程 序。
河南理工大学测绘学院遥感科学与技术系 数字摄影测量学 Digital Photogrammetry
河南理工大学测绘学院遥感科学与技术系
数字摄影测量学 Digital Photogrammetry
§ 5.3 最小二乘影像匹配
[二] 最小二乘影像匹配的原理
(1)若不考虑灰度畸变和几何畸变，则：
n1 g1 ( x, y) n2 g2 ( x, y) v g1 ( x, y) g2 ( x, y) vv min
基于最小二乘影像匹配的畸变图像矫正算法研究
文章编号:100021506(2002)0120015204基于最小二乘影像匹配的畸变图像矫正算法研究王岩松,阮秋琦(北方交通大学计算机与信息技术学院,北京100044)摘 要:针对高精度的畸变图像,提出了一种基于最小二乘影像匹配的高精度畸变图像矫正算法.算法首先利用特征提取与边缘检测对图像进行预处理,并且将特征匹配与最小二乘算法相结合,从而实现了图像与模板之间精确的子像素定位与匹配.实验表明,该算法较好的解决了目前高精度畸变图像矫正算法中普遍存在的定位和匹配精度较差的缺陷,图像矫正效果良好,是一种有效的畸变图像矫正算法.关键词:影像匹配;最小二乘算法;边缘检测;模板图像中图分类号:TP391.41 文献标识码:AA Distorted Im age R ectif ication AlgorithmB ased on Least Squ are Im age MatchingW A N G Y an 2song ,R UA N Qi u 2qi(College of Computer and Information Technology ,Northern Jiaotong University ,Beijing 100044,China )Abstract :This paper presents a distorted image rectification algorithm which is based on leastsquare image matching.This algorithm first preprocesses the image with the method of character 2extraction and edge 2detection ,then links the character matching with least square algorithm toachieve the exact sub 2pixel locating and matching between original image and templet image.Ex 2periments show that this algorithm can greatly improve the precision of image locating and match 2ing ,and it is a better algorithm in distorted image rectification.K ey w ords :image matching ;least square algorithm ;edge detection ;templet image高精度图像的畸变矫正是图像处理和实际工作中普遍遇到的问题[1].目前主要的矫正算法都集中在图像和模板的定位、匹配、校准、矫正等几个方面.绝大部分矫正算法的缺点均在于其定位的精确性较低和边缘跟踪特性较差,与模板进行匹配时均不能充分利用图像的特征信息,因而矫正效果不佳,同时速度和精度的矛盾比较突出[1].做为一种较新方法,影像匹配则可以从计算机视觉和数字摄影测量角度出发解决上述算法的缺陷.这种匹配方法不仅利用影像灰度值和影像特征,而且要利用它们之间的相互关系.这种方法的优点是在不需要知道数字影像的任何先验信息的情况下,对相关特征进行全自动匹配.针对高精度的畸变图像,本文提出了这种基于最小二乘影像匹配的图像矫正算法.该算法在自适应建立模板的基础上对图像进行特征提取和边缘检测,并且将特征匹配和最小二乘算法相结合对高精度畸变图像模板进行矫正.实验模拟表明,本算法较好解决了矫正算法中普遍存在的定位和匹配精度较差的缺陷,对于图像的边缘特性跟踪比较好,而且具有速度快、抗噪声能力强等特点.收稿日期:2001209230作者简介:王岩松(1977—),男,山西长治人,硕士生.em ail :wyssake @ 第26卷第1期2002年2月 北 方 交 通 大 学 学 报JOURNAL OF NORTHERN J IAO TON G UN IV ERSIT Y Vol.26No.1Feb.20021 原理影像匹配是指从数字影像上识别相关影像.它是计算机视觉和数字摄影测量中的一种基本方法.而基于最小二乘影像匹配的畸变图像矫正算法的的核心思想是从图像的定位和匹配精度出发,利用自适应的模板建立过程,首先对图像进行梯度图像的特征提取和边缘检测,结合模板进行最小二乘影像匹配,从而实现图像与模板之间的定位和畸变图像矫正的目的.算法主要包括特征提取、边缘检测、最小二乘影像匹配三个方面.特征提取与边缘检测的目的是提取图像的梯度图和方向图,然后根据提取的梯度特征,检测图像的边缘,然后将模板图像和实际图像进行最小二乘影像匹配,以确定图像的畸变部分和畸变大小,达到图像畸变矫正的目的.针对高精度印刷行业中的畸变图像,本文中高精度畸变图像的矫正算法基本流程图见图1.图1 算法流程框图1.1 特征提取与边缘检测特征提取的目的是提取图像的梯度图和方向图,以便进行边缘的检测和图像的影像匹配.针对高精度畸变图像,其特征边缘应该是沿着梯度方向找到具有梯度极大值的点作为边缘点.因为图像的特征边缘点并不一定是图像灰度极大处,而一定是图像“变化”剧烈的地方,也就是所有的梯度值的局部最大处.因此提取梯度图是特征提取的主要任务.图像f (x ,y )在点(x ,y )处梯度向量定义为g (f (x ,y ))=5f 5x ,5f 5y T (1)如果将图像灰度描述为f (x ,y )=c 1x +c 2y +c 3(2)式中,c 1、c 2、c 3是待定的变换系数.取图像的中心为原点,则根据下式ε=∑(x ,y )∈s [f (x ,y )-c 1x -c 2y -c 3]2→min (3)可以求得c 1和c 2,并且可以求出梯度的大小和角度g =c 21+c 22 , θ=arctan c 2c 1(4) 根据式(4)可以得到图像的梯度图和方向图,Haralick 曾经提出用一个正交多项式[2]对图像进行拟合,并沿梯度方向求导的极大值作为边缘检测的准则.1.2 模版建立高精度的图像畸变矫正建立在客观的模板图像的基础上.采集图像时可以进行多张采样,并综合考虑来制作模板.为了得出一个统计化的模板,在生产线中可以采用统计平均法和改良平均法[3].1.3 最小二乘影像匹配本文着重介绍系统中最小二乘影像匹配部分所涉及到的算法.最小二乘影像匹配将最小二乘算法与特征匹配[3]相结合,从而使得实际配准精度达到0.1个像素以上.特征匹配提取控制点之后进行配准,精度一般可以达到1个像素左右.但是对于印刷行业自动化生产线来将,一般都要求配准的精度达到1/4个像素或更高.而最小二乘匹配(L SM )是一种有效的高精度算法,它通过迭代运算可以使得实际配准精度达到0.1个像素以上.将上面的特征匹配结合最小二乘算法进行,这就是本文介绍的最小二乘影像匹配.61北 方 交 通 大 学 学 报 第26卷图2 最小二乘影像匹配过程迭代图在特征匹配的同时,对模板与实际图像对应的RO I(Region of Interest ,敏感区域)图像块引入变形系数,在只考虑几何畸变的情况下,将几何畸变看成是仿射变形,即[4]G 1(x ,y )+n 1(x ,y )=S ・G 2(a 0+a 1x +a 2y ,b 0+b 1x +b 2y )+n 2(x ,y )(5)其中,G 1为实际图像中的特征RO I ,G 2为模板中RO I ,S 为线性系数,n 1和n 2为图像噪声,a i 、b i (i =0,1,2)分别是仿射变换系数.将上式进行线性化,可以得到误差方程为V =c 1d S +c 2d a 0+c 3d a 1+c 4d a 2+c 5d b 0+c 6d b 1+c 7d b 2-(G 1-G 2)(6)c i (i =1,…,7)为变形系数.在RO I 区域内逐像素建立误差方程,进而用差分代替偏导,可以用矩阵形式建立法方程式如下C T CX =C T ΔG(7) 解此方程可以求出几何变形系数.最小二乘影像匹配是在特征匹配的基础上的一个迭代求精的过程,算法系统实现框图见图2.2 实验结果与分析实验中对400×200,256灰度级的20张百元人民币图像进行计算机模拟实验,图像的模板为百元人民币的局部图像和经过自适应建立的标准人民币图像.对于20张不同偏移角度的图像进行特征提取和边缘检测,并且利用局部模板图像进行特征匹配和最小二乘匹配.实验结果为:在人民币偏移角度为-1.5～+1.5°,水平和垂直偏移距离为-5～+5mm 的范围内,畸变的图像的定位和矫正率为100%,在偏移角度较大的情况下,实际图像和模板图像之间差异过大,矫正效果不明显.图3(a )为实际采集的图像,并且有一定的旋转角度.图3(b )是从模板里面提取出的标准图像.实验目的要从图3(a )中找到与模板图像图3(b )匹配最佳的位置.图4(a )是对实际图像进行边缘提取和跟踪的结果,实验表明,图像的信息提取比较完整,边缘比较清晰.图4(b )是对模板图像进行边缘提取和跟踪的结果.图5(a )是对图像进行最小二乘影像匹配和矫正的结果,除了精确定位和匹配模板,还对于图像的旋(a )采集图像(b )模板图像图3 实际采集的图像(a )采集处理图像(b )模板处理图像图4 对实际采集图像进行边缘提取和跟踪结果71第1期 王岩松等:基于最小二乘影像匹配的畸变图像矫正算法研究(a)匹配矫正图像(b)最佳模板图像图5 对图像进行最小二乘影像匹配和矫正的结果转角度进行了矫正.图5(b)是在匹配过程中经过自适应选择的最佳模板图像.我们取出10组数据来验证影像匹配的精度,结果如表1所示.由表1得到的数据,最小二乘影像匹配算法的精度比较高,而且最小二乘影像匹配算法的精度可以根据实际生产线上的精度需要而改变,从而大大提高了灵活性.实验结果表明,本文所提出基于最小二乘影像匹配的高精度图像矫正算法,充分利用了图像的信息和模板的信息进行特征提取和边缘检测,并且将特征匹配与最小二乘算法结合,从而实现了精确的图像和模板之间的子像素定位与匹配,从而达到了精确矫正高精度印刷品畸变图像的目的.表1 最小二乘影像匹配结果表序号采集图像坐标模板图像坐标(标准值)最小二乘影像匹配匹配精度坐 标偏移(d x,d y)迭代次数1(12,15)(12,14)(12.75,14.00)(-0.25,0.00)22(53,35)(53,36)(53.00,36.25)(0.00,0.25)33(92,56)(91,56)(91.00,56.00)(0.00,0.00)24(135,74)(135,75)(134.75,75.25)(-0.25,0.25)45(173,101)(172,102)(172.00,102.00)(0.00,0.00)26(210,128)(211,128)(211.00,128.25)(0.00,0.25)37(254,145)(254,144)(254.00,144.00)(0.00,0.00)38(298,167)(297,167)(296.75,167.00)(-0.25,0.00)39(337,185)(337,185)(337.00,185.00)(0.00,0.00)210(382,193)(381,193)(380.75,193.00)(-0.25.0.00)33 结论本文提出了一种基于最小二乘影像匹配的高精度畸变图像矫正算法,该算法针对高精度印刷品图像中存在的畸变矫正问题,从特征提取和边缘检测的角度入手,结合图像模板进行最小二乘影像匹配算法,很好的解决了长期困扰高精度图像畸变矫正的定位和匹配精度问题.参考文献:[1]阮秋琦.数字图像处理学[M].北京:电子工业出版社,2000.[2]Haralick R M.Digital Step Edges from Zero Crossing of Second Directional Derivatives[J].IEEE Transactions on PatternAnalysis and Machine Intelligence,PAMI,1984,6(1):58-68.[3]章毓晋,黄翔宇,李睿.精细印刷品自动质量的初步研究[A].中国体视学会图像分析专业第一届联合学术会议论文集[C].中国航空学会信号与信息处理专业分会,2000.140-145.[4]Liao J H,Y in B Z,Lao W W,et al.Photoelectric Detection S ystem in the Recognition and S orting Equipment of bills[J].SPIE3558,646-651,1998.81北 方 交 通 大 学 学 报 第26卷。
有约束最小二乘图像复原算法设计与实现
本 科 毕 业 论 文（设计）课题名称有约束最小二乘图像复原算法设计与实现 学 院机械与电气工程学院 专 业电气工程及其自动化 班级名称XXXX 学生姓名XXXX 学 号XXXX 指导教师XXXX完成日期 XXXXXXXXXXXX有约束最小二乘图像复原算法设计与实现摘要正则化图像复原方法是通过引入图像先验知识相关的正则项，将不适定问题转化为近似的适定问题，从而获得稳定的近似解的过程。
有约束最小二乘法是解决图像去模糊及加性噪声去除的通用方法。
本文针对常见的图像模糊和高斯噪声两类退化因素进行了图像复原算法的设计。
首先，实现了基于稀疏性约束的梯度投影算法，算法通过选择不同的搜索方式分为GPSR-Basic算法和GPSR-BB算法，实验结果表明GPSR-BB算法具有更优的细节保持能力及更快的求解速度；其次，实现了一种动量梯度投影算法，该算法在梯度下降方向上增加一个动量项，提高了算法的快速性和鲁棒性；最后，设计了一种自适应参数的动量梯度投影算法（A-Momentum），采用Barzila Borwein 的近似方式来获得参数的自适应设置，从而减少迭代次数。
实验结果表明在相同的截止条件下，A-Momentum算法仅需22次迭代即可到达稳定解，而GPSR-Basic算法和GPSR-BB算法则分别需要48次和47次。
关键词图像复原；梯度投影算法；动量梯度下降；自适应ABSTRACT The regularization image restoration methods are to convert the ill-posed problem into an approximate problem by introducing the regular term related to the prior knowledge of the image, so as to obtain a stable approximate solution. Constrained least squares is a general method to solve image de-blur and additive noise removal. In this paper, we design the image restoration algorithm for the common image blur and Gaussian noise degradation factors. Firstly, the gradient projection algorithm based on sparsity constraint is realized. The algorithm is divided into GPSR-Basic algorithm and GPSR-BB algorithm by selecting different search methods. The experimental results show that the GPSR-BB algorithm has better detail retention ability and faster Secondly, a momentum gradient projection algorithm is implemented. The algorithm adds a momentum term to the descending direction of the gradient, which improves the fastness and robustness of the algorithm. Finally, a momentum gradientprojection of adaptive parameters is designed. The algorithm (A-Momentum) uses Barzila Borwein's approximation to obtain the adaptive setting of the parameters, thereby reducing the number of iterations. The experimental results show that the A-Momentum algorithm only needs 22 iterations to reach the stable solution under the same cut-off condition, while the GPSR-Basic algorithm and the GPSR-BB algorithm need 48 times and 47 times respectively.KEY WORDS Image restoration, gradient projection algorithm, momentum gradient descent, adaptive1 前言 (1)1.1 研究背景及意义 (1)1.2 图像复原方法与研究现状 (1)1.3 本文主要内容 (3)2 有约束最小二乘法基础 (4)2.1 图像退化模型 (4)2.2 有约束最小二乘法 (5)2.2.1 图像复原的正则化模型 (5)2.2.2 基于稀疏特性的正则化模型 (6)2.2.3 TV正则化模型 (8)2.2.4 正则化方法的优点 (8)3 梯度投影算法 (10)3.1 梯度投影（GPSR）算法 (10)3.2 GPSR Basic算法 (11)3.3 GPSR BB算法 (13)3.4 实验结果分析 (15)4 动量梯度投影法 (18)4.1 动量梯度下降方向 (18)4.2 动量梯度投影算法 (19)4.3 自适应动量梯度投影算法 (21)4.5 实验结果分析 (24)5 结论 (28)致谢 (29)参考文献 (30)附录 (31)1.1 研究背景及意义人类认识世界大都通过视觉、听觉、触觉等来获得信息，据统计，人类的外界信息大约有百分之七十五来自视觉系统，而视觉信息的来源是图像，图像是通过各种设备和系统采集得到的。
最小二乘影像匹配算法设计与实现
x
=
x11
x p1 + x12 xp2 + … + x1n xp 1 + xp2 + … + xp n
xp
n
( 8)
y = y11 y p1 + y12 yp2 + … + y1n yp n
yp 1 + yp2 + … + yp n
( x，y) 为 最 有 意 义 的 点 的 坐 标，p1，p2 ，…，p n 为 点 ( x11 ，
第二步: 完成几何畸变改正后，图 1 中 B 区域内每个 像素点的坐标值一般都 不会为整数，因 此需要灰度 重采 样( 第一次几何畸变改正后，只需读取该区域中的各像素 点在右影像中的灰度值即可) ，可以采用间接法重 采样 即对 B 区域中的每个像素点用双线性内插的方法计算其
192
测绘与空间地理信息
2． 2 最小二乘影像算法的实现
最小二乘法影像匹 配虽然匹 配精度 高，但是 需要目 标区 每 个 像 元 参 加 计 算，运 算 时 间 过 长，加 之 需 要多 次 迭 代后才可以得出 最佳参数值。因 此，可以 先在右影 像中 人工选出匹配区 域，然后用目标区与匹配 区域中的 像素 进行最小二乘匹 配，得出精确 匹配点的坐 标值。本 文中 所编 写 的 实 现 算 法 的 程序 采 用 了 这种 思 路，即 首 先 在 左、 右影像中选出几个同名 区域，然后在每 个区域中选 出一 个最有意义的点，选 择的条件可以是对每 个区域的 像素 点坐标求加权平均 值，权值可以取每个像 素点的灰 度值 除以区域 中 所 有 像 素 点 灰 度 值 的 和。 可 用 下 式 简 要
1( oc cl最usi小on)二。乘法求法及影像灰度重采样
最小二乘影像匹配
河南理工大学测绘学院遥感科学与技术系 数字摄影测量学 Digital Photogrammetry
§ 5.3 最小二乘影像匹配 [三]单点最小二乘影像匹配算法
3、误差方程的建立 v = h0 + h1 g 2 (a0 + a1 x + a2 y, b0 + b1 x + b2 y ) − g1 ( x, y )
1
2 2 2
ρ =
2
∑g ∑g
2 1
(∑ g1 g 2 ) 2
2 2
则：
ρ = 1−
∑ vv ∑g
2 1
= 1−
1 ∑ g12 ∑ vv
“相关系数最大”→“信噪比为最大” 相关系数最大” 相关系数最大 信噪比为最大” 因为没引入几何变形参数， 因为没引入几何变形参数，所以匹配结果是以 整像素为单位。 整像素为单位。
y
由于在数字影像匹配中， 由于在数字影像匹配中，灰度均是按规则格网排列的 离散阵列，且采样间隔为常数，可被视为单位长度， 离散阵列，且采样间隔为常数，可被视为单位长度，故 上式中的偏导数均用差分代替： 上式中的偏导数均用差分代替：
ɺ ɺ g y = g j (I , J ) = 1 [ g 2 ( I , J + 1) − g 2 ( I , J − 1)] 2 1 ɺ ɺ g x = g i ( I , J ) = [ g 2 ( I + 1, J ) − g 2 ( I − 1, J )] 2
在建立误差方程式时， 在建立误差方程式时，可采用以目标区中 心为坐标原点的局部坐标系。 心为坐标原点的局部坐标系。由误差方程式 建立法方程式
第八章之三数字摄影测量之最小二乘影像匹配.
产生几何畸变的原因有：
摄影机方位不同所产生的影像透视畸变、仿射变形。
由于地形高差所产生的影像畸变等。
这些系统变形可以用一些函数关系式，或者说用 一些参数来表示 在影像匹配中引入这些变形参
数，并仍按照最小二乘原理解求这些参数，可以 得到高精度的相关精度。这就是最小二乘影像匹 配的基本思想。
第八章 数字摄影影像匹配（Least Squares Image Matching）是 由德国Ackermann教授提出的一种高精度影像匹配算 法，该方法的影像匹配可以达到1/10甚至1/100像素 的高精度，也即可以达到子像素级（SubPixel）。它 可应用于：
生产数字地面模型和正射影像图。
（4）由于换算所得的坐标x2,y2一般不是右影像的 整数行列号，因此可进行重采样获得 g2 (x2, y2 )
（5）计算几何变形和辐射畸变的八个变形参数的 改正数 dh0 , dh1.da0 ,...db2
（6）在上一次算得的几何变形和辐射畸变的八个 变形参数的基础上加上改正数得到此次新的八个 参数。
解析空中三角测量的控制点加密。
工业上的高精度量测。
单点、多点、多片的影像匹配。
解决影像的粗差和影像遮蔽问题（Occlusion）。
在前文介绍的影像匹配的算法中，其中有一种判断影 像相似的量度是“灰度差的平方和最小”，若将灰度 差记为余差v，则上述判断可以写成
vv min
显然，它与最小二乘原则是一致的，但是，这种方法 没有考虑影像的系统误差，只是考虑了影像的偶然误 差（随机噪声），即
则可得误差方程
v n1(x, y) n2 (x2, y2 ) h0 h1g2 (a0 a1x a2 y,b0 b1x b2 y) g1(x, y)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
最小二乘影像匹配的算法设计与实现【摘要】：本文对最小二乘影像匹配的原理进行了深入的分析，描述了算法实现的具体步骤，并结合实现过程中出现的问题提出了值得注意的关键点，最后通过实验效果显示算法实现的效果及匹配精度。
关键字：最小二乘匹配；灰度重采样；几何纠正1 引言在数字摄影测量时代，随着对数据处理的自动化程度要求的提高，影像匹配的精度成为影响测图精度提高的主要因素之一。
德国的Ackermann教授提出的一种高精度的影像匹配方法——最小二乘影像匹配，充分利用了影像窗口内的信息进行平差计算，使影像匹配可以达到1/10甚至1/100像素的高精度，即影像匹配精度可达子像素等级。
它不仅可以被用于生产一般的数字地面模型，生产正射影像图，而且可以用于控制点的加密及工业上的高精度量测。
另外，最小二乘影像匹配中可以非常灵活地引入各种已知参数的特点使它具有整体平差的功能。
正是由于最小二乘匹配方法具有灵活、可靠和高精度的特点，因此，受到了广泛的重视，得到很快的发展。
本文将结合实验效果对最小二乘匹配算法的原理以及实现过程进行具体的阐述和深入分析。
2 最小二乘匹配的原理2.1 概念引入影像匹配中判断影像相似的测度很多，其中有一种是“灰度差平方和最小”。
若将灰度差记为余差v，则上述判断可写为：vv=min (1)因此，它与最小二乘法是一致的。
但是在一般情况下，它没有考虑影响灰度中存在的系统误差，而仅认为影像灰度只存在偶然误差，即：v=g1(x,y)-g2(x,y) (2)这就是一般的按“灰度差平方和最小”原则进行影像匹配的数字模型。
若在此系统中引入系统变形参数，仍然按“灰度差平方和最小”的原则解求变形参数，就构成了最小二乘影像匹配系统。
2.2 原理分析影像灰度的系统变形有两大类：一类是辐射畸变；另一类是几何畸变。
由此产生了影像灰度分布之间的差异。
因此，在最小二乘影像匹配匹配的过程中，根据左右影像目标区所有像素的灰度分布差异，通过迭代不断修正引入的变形参数值，使匹配精度逐步提高。
由于最小二乘影像匹配是非线性系统，迭代时必须已知初匹配结果。
左右目标区的确定也即以初匹配结果中的左右同名点为中心像素的矩形区域，一般窗口的尺寸较小，只考虑一次畸变：x’=a0+a1▪x+a2▪y (3)y’=b0+b1▪x+b2▪y此处的坐标是以局部窗口内某点为原点的局部坐标，考虑编程实现，一般以目标区窗口中具有最小行列号的像素为原点。
再考虑影像的辐射畸变，以右方影像相对左方影像的线性灰度畸变予以描述，即得关系式：g1(x,y)+n1(x,y)=h0+h1▪g2(a0+a1▪x+a2▪y,b0+b1▪x+b2▪y)+n2(x,y) (4)(4)式经线性化后，可得最小二乘影像匹配的误差方程式：v=c1▪dh0+c2▪dh1+c3▪da0+c4▪da1+c5▪da2+c6▪db0+c7▪db1+c8▪db2-△g （5）其中c1,c2,c3,c4,c5,c6,c7,c8是（4）线性化后得到的系数，dh0,dh1,da0,da1,da2,db0,db1,db2是待定参数的改正值，它们的初值分别为：h0=0,h1=1,a0=0,a1=1,a2=0,b0=0,b1=0,b2=1；观测值△g是左右目标区中相应像素的灰度差。
按（5）式在目标区（一般只对右方影像作畸变处理）逐个像元建立误差方程式，经迭代平差至收敛，得到系统误差的改正系数，最后再对左方影像目标区内的像素位置按梯度进行加权，得到左影像目标区的特征点，依据解算的几何纠正参数即可求得右影像目标区中匹配的同名点。
3 最小二乘影像匹配的算法实现3.1 影像初匹配采用一种简单快速的匹配算法，获取左右影像同名点的概略位置，匹配精度达到整像素级或几个像素级即可。
初匹配的精度过低将导致最小二乘影像匹配的迭代不收敛，匹配精度高的算子对应的匹配过程较复杂将影响匹配效率。
一般可以用相关系数法作为初匹配算法，而要求更高的情况下可以选用SIFT算子。
本实验程序采用的是矢量夹角相关的相关系数法作为初匹配算法。
先打开左影像并用Harris算子获取特征点，然后打开右影像，利用相关系数法匹配出右影像上相关系数达到0.90以上的同名点。
在匹配过程中由于是全图搜索最佳匹配点，建立金字塔影像可以明显提高匹配效率，这种情况对于图幅较大的影像尤为明显。
3.2 几何变形改正影像获取的过程中，左右影像不可避免地都存在几何变形，而考虑到影像匹配的条件，一般只处理左右影像中的一幅即可，此处仅对右影像进行几何纠正。
利用初匹配得到的同名点，在右影像上以同名点为中心像素确定一个适当大小的矩形目标区，然后根据最小二乘影像匹配解求的几何变形改正参数a0,a1,a2,b0,b1,b2，将目标区影像窗口的局部影像坐标进行改正变换，具体变换公式可参照（3）式。
3.3 灰度重采样与辐射畸变的改正原目标区中像素的位置经几何变形改正后，其局部影像坐标一般不为整数，即当欲知不位于矩阵( 采样) 点上的原始函数g( x，y) 的数值时就需要进行内插，此时称为重采样，意即在原采样基础上再一次采样。
通常的重采样方法有：最近邻法、双线性内插法以及双三次卷积法。
综合考虑采样的质量和效率，本实验程序采用双线性内插法：考虑投影点周围4个相邻像元灰度值，并根据投影点与周围4个整像素点的距离作为权重计算输出像元的灰度值。
灰度重采样之后，根据最小二乘影像匹配解求的辐射畸变改正参数h0,h1对上述灰度重采样结果做辐射改正：g2(x,y)’=h0+h1▪g2(x,y) (6)此处采样的辐射畸变改正模型是线性的，其依据是考虑算法整体的复杂程度即运行效率，同时，实验证明线性的改正模型能够满足要求的精度。
3.4 最小二乘平差解算变形参数利用左影像目标区窗口与经过几何、辐射校正的右影像目标区窗口内的灰度阵列g1与h1▪g2(x,y)+h0，依据式（5）对窗口内各个像素建立平差方程，通过每次迭代得到8个参数的改正值，并将改正后的参数继续代入下一次迭代计算的方程，如此循环，直到收敛，即相关系数小于前一次迭代后所求得的相关系数，则可认为迭代结束。
但是考虑到初匹配中可能存在粗差同名点，当误差较大的同名点作为最小二乘影像匹配的初值时，迭代将不收敛，某次相关系数小于前一次迭代的相关系数也是很有可能的，如果仅以此条件为迭代结束条件，得到的结果将有存在较大粗差的危险。
解决的办法是增加迭代结束条件：几何纠正参数的常数项a0和b0的最低位数必须达到0.1及以下的精度，亦可以对相关系数的值进行要求，实验证明0.970比较合适。
如此设定迭代结束条件后，能够跳出循环的结果几乎都是符合要求的正确匹配点，但是对于不收敛的那些点将一直循环迭代下去，显然这是没有意义的，因此可以在迭代循环的内部对循环次数设定一个阈值，以防止死循环的产生，对于超过迭代次数阈值的初匹配点予以删除，并继续下一对同名点的精匹配。
3.5 计算最佳匹配点位影像匹配的目的是获取同名点，通常是以待定目标点建立一个目标影像窗口，窗口中心点即为目标点。
但是，在高精度影像相关中，必须考虑目标窗口的中心点是否为最佳匹配点。
根据最小二乘匹配的精度理论可知：匹配精度取决于影像的灰度梯度大小|gx|和|gy|，因此可用梯度的绝对值为权，在左方影像目标区窗口内对坐标作加权平均：|gx(7)xi=∑x▪|gx|/∑||gyyi=∑y▪|gy|/∑|以(xi,yi)作为目标点坐标，它的同名点坐标可由最小二乘影像匹配所求得的几何换参数求得：x2=a0+a1▪x+a2▪y (8)y2=b0+b1▪x+b2▪y其中，(x,y)是左方影像目标区窗口内求得的特征点的局部坐标，按式（8）求得的点(x2,y2)即右影像目标区中求得的匹配点的局部坐标。
4 实验效果在最小二乘影像匹配中，左右影像的目标区窗口大小的设置关系到程序运行的效率以及匹配的精度。
从实验的效果来看，目标区域选择29×29的区域效果会比较好，选择区域较大或较小时效果都不是很好。
下面在此条件下，结合实验效果对程序中其他参数的设置进行分析说明：4.1 迭代次数限定值迭代次数的设定，其目的是防止不收敛情况的发生而使程序进入死循环。
限定的迭代次数太少，则会错误地将部分初匹配精度不太高但足以使精匹配过程收敛的正确点处理为不收敛的粗差点，这样虽然提高了匹配点的精度，但是匹配的点数过少，影响实用性；限定的迭代次数过多，则容易造成粗差点许多不必要的运算，影响匹配效率。
实验显示迭代次数设为15次较好，如下所示：图1 迭代次数5，匹配点数3图2 迭代次数10，匹配点数6图3 迭代次数15，匹配点数64.2 迭代结束条件最小二乘影像匹配的主要原理很少注重说明代结束的条件，但该部分也是影响匹配效果的重要环节。
为了控制匹配精度，一般考虑每次迭代中几何纠正参数的两个常数项a0和b0的改正数的精度，一般设为0.01至0.05较好，这个值也反映了匹配精度的子像素等级。
值得注意的是，每次迭代后计算的相关系数在迭代条件中的运用，若仅用相关系数小于前一次迭代后所求得的相关系数是非常危险的，即初匹配结果在最小二乘影像匹配中迭代不收敛时，相邻两次迭代后计算的相关系数的变化是跳动的。
因此，不能仅使用这个条件为迭代终止条件。
较为合理的设置是考虑每次迭代后计算得到的相关系数，设置为高于初匹配的匹配相关系数阈值0.9即可，一般为0.93—0.95，不能设置得过高，因为最小二乘影像匹配的原理仍然是基于灰度的，而由于各种误差因子的存在，左右影像使对应的区域的相关系数并不一定是1，该值设置得过高反而得不到已经匹配正确的点。
另外，经过实验发现：用每次迭代的单位权中方差代替相关系数具有更好的效果，因为相关系数考虑了最方影像目标区的灰度分布情况，而单位权方差仅仅只与左右目标窗口内的灰度差异有关。
现以如下实验结果予以说明：图4 单位权方差值设为200，匹配点数为2图4：匹配点位即相关系数：Left Graph Right Graph Match the correlation coefficient (234.876 391.961) (236.21 420.545) 0.988442(67.3299 442.936) (68.7959 471.619) 0.986844(163.065 489.552) (164.193 518.708) 0.991607图5 单位权方差值设为300，匹配点数为5图5：匹配点位即相关系数：Left Graph Right Graph Match the correlation coefficient (159.025 400.411) (158.795 425.97) 0.968341(234.876 391.961) (236.373 420.552) 0.963173(67.3299 442.936) (68.7959 471.619) 0.986844(113.934 487.516) (115.034 516.477) 0.987542(163.065 489.552) (164.193 518.708) 0.991607图6 单位权方差值设为400，匹配点数为6图5：匹配点位即相关系数：Left Graph Right Graph Match the correlation coefficient (107.729 435.019) (102.813 454.516) 0.972375(159.025 400.411) (158.795 425.97) 0.968341(234.876 391.961) (236.373 420.552) 0.963173(67.3299 442.936) (68.7959 471.619) 0.986844(113.934 487.516) (115.034 516.477) 0.987542(163.065 489.552) (164.193 518.708) 0.991607如上所示：目视情况下，图4和图5匹配的点位是正确的，但是图5匹配的点数更多，而且相同点位的坐标和相关系数是一致的，即更低的相关系数阈值对应更多的匹配点位。