全景图像拼接融合

全景图像拼接融合算法研究

1 引言

随着计算机视觉、计算机图形学、多媒体通信等技术的发展，各类虚拟现实系统都力图构建具有高度真实感的虚拟场景，因此在背景图像及三维模型纹理图像方面都会选择真实图像作为素材，通过将不同角度的图像进行拼接融合获得广视角图像。因此，无缝平滑的图像拼接融合是构建逼真的模拟训练环境的重要基础。

本文对图像拼接融合算法进行了深入研究，力图构建可以满足各类虚拟现实系统需求的广视角图像。经验证，本文方法可以稳定高效得对多幅图像实现拼接融合，具有较高的实际应用价值。 2 图像拼接融合算法原理

2.1 图像拼接

为了实现相邻间有部分重叠的图像序列的拼接，需要首先确定这些图像序列之间的空间对应关系，这一步工作称之为图像配准。为了确定图像之间的对应关系，需要知道其相应的对应关系模型，一旦确定了图像之间的关系模型，则图像之间的配准问题就转化成确定该模型的参数问题。目前常用的一些关系模型有平移变换模型、刚性变换模型、仿射变换模型以及投影变换模型等。其中，刚体变换是平移变换、旋转变换与缩放变换的组合，仿射变换是较刚体变换更为一般的变换。仿射变换和刚体变换模型则又是投影变换模型的特例。投影变换关系模型可以用齐次坐标表示为：

????????????????????=??????????111~~76543210y x m m m m m m m m y x ……………………………………(1) ????

??????=176543

210m m m m m m m m M ………………………………………… (2) 其中，投影变换矩阵M 中各参数的意义如下：0m 、1m 、3m 、4m 表示尺度和旋转量；2m 、5m 表示水平和垂直方向位移；6m 、7m 表示水平和垂直方向的变形量。图像配准的实质便是求解投影变换阵M 中的参数。目前对M 求解的典型方法有：模板匹配法、基于图像灰度的配准法、基于图像特征的方法[1]等。

2.2 图像融合

求得两幅图像的最优投影变换矩阵M 之后就确定了它们之间的变换关系。为了得到合成图像，还需要选择合适的图像融合方法来完成图像的拼接。图像融合的任务就是把配准后的两幅图像拼接成一幅无缝图像。一般分两步进行融合，第一步是图像的合并，将两幅图像拼接到同一个坐标空间内，使两幅图像成为一幅图像；第二步是拼缝的消除，去除拼接缝使两幅图像真正能融合成一幅图像。

图像融合的方法主要有基于图像灰度的融合算法、基于颜色空间变换的融合算法、基于变换域的融合算法等[2-4]，本文采用了基于图像灰度的融合算法。在基于图像灰度的融合算法中，常采用直接平均融合法、加权平均法、中值滤波法以及多分辨率样条技术融合法等。直接平均融合法是将配准后图像重叠区域内对应像素点的灰度值直接叠加再求平均，会导致最终的拼接图像中存在较为明显的拼接痕迹。加权平均融合法对重叠区域的像素值先进行加权后再叠加平均，可以使得重叠区域实现平滑过渡，同时消除拼接痕迹。中值滤波融合法是利用中值滤波器来处理重叠区域中像素值的不连续性，该方法可以克服图像细节模糊的现象，对有运动目标的场景拼接效果较好，但计算量较大。多分辨率样条技术融合法首先将图像分解成一系列具有不同分辨率、频率特性及方向特性的子带图像，然后在每个分解的频率域上将图像重叠边界附近加权平均，最后将所有频率上的图像拼合成一幅全景图像。

3 图像拼接融合算法详述

图像拼接方面，本文选用基于图像特征的方法，即首先利用简化的SIFT [5]算子提取相邻图像的特征点，然后采用近似最近邻的优先搜索算法查找最近邻特征点，并基于极线约束条件找出最佳的匹配特征点集，最后利用改进的随机抽样一致性(RANSAC)[6]算法鲁棒地估算出投影变换矩阵M 。这种方法只提取图像的显著特征，大大压缩了图像的信息量，计算量小，速度较快，而且它对图像灰度的变化具有鲁棒性。算法步骤如下：

①根据置信概率和数据错误率，确定需要选择的抽样数量M ；

②随机选取4对特征匹配对（任意3点不共线）；

③在选择的随机抽样中，选择两对匹配点对，对每一匹配点对，利用式(3.13)计算该匹配点对的特征值T ，如果T 不在阈值范围[T 1,T 2]内，就认为这对匹配点为误差匹配点对，返回②，否则，执行步骤④；

④线性计算变换矩阵M ；

⑤计算每个匹配点经过矩阵变换后到对应匹配点的距离；

⑥设定一距离阈值ε（取特征点提取均方差的2.5倍数值），通过几何一致性检验，确定内点、外点，并在内点集合中重新估计M ；

⑦找出满足每次迭代计算出的对应矩阵最多的特征匹配对，并利用这些特征匹配对计算出最终的变换矩阵M ；

⑧为保证对多于3幅序列图像的拼接精度，最后采用最小化拼接图像重叠区域间的灰度平方和的方法[75]求精M 。图像重叠区域间的灰度平方和的计算公式是：

∑-=i i i j j y x I y x I E 212)],(),([)(M ……………………………… (3) 具体求解时，采用Levenberg-Marquarats 算法（简称LM 算法）[7]将匹配点的误差精度控制在

0.1个像素之内。

在上述算法步骤中，假设正确匹配的点对占总数的比例为p ，则随机抽取的4对匹配点对不全是正确匹配点对的几率为1-p 4，抽取N 次都抽不到4对全是正确匹配的点对的概率为(1- p 4)N ，在实际应用中，一般保证(1- p 4)N <5%即可满足精度需求。

图像融合方面，本文采用了加权平均的融合算法来消除拼接的痕迹。以两幅图像为例，设这两幅图像分别表示为I 1(i ,j )和I 2(i ,j )，其融合后的图像表示为I (i ,j )，则：

),()1(),(),(21j i I j i I j i I αα-+= (4)

其中：α为加权系数，可由帽子函数加权平均法和渐入渐出两种方法确定。帽子函数加权平均法对图像中心区域的像素赋予较高的权值，图像边缘区域的像素权值较低，α值用帽子函数确定。本文采用渐入渐出的方法确定，主要思想是，将加权系数α取值范围确定为[0,1]，α取渐变系数。若α=0.5，则相当于两幅图像取平均值，若α由0慢慢变化到1，图像则从I 2(i ,j )慢慢过渡到了I 1(i ,j )，这样就可以实现图像间的平滑过渡，从而消除了拼接的痕迹。

4 实验结果

为了验证文中拼接算法的有效性，在Pentium(R)4 2.4G/256M/ VC++6.0 的PC 机上加以实现。采用Kenox S600数码相机绕原地旋转或平行移动拍摄了若干组照片，在拍照时尽量避免相机转动或平移时镜头的偏斜与俯仰，保证所拍照片的水平中线与照相机的焦点中心处在同一水平面上，并按照上述算法进行了拼接实验。实验部分参数设置如下：

①SIFT 特征提取参数：为减少建立尺度空间和生成特征向量的时间，图像与高斯核卷积计算时不预先对图像放大一倍，特征点对比度阈值m=0.03，邻域取8×8的子窗口，特征点用32维的特征向量描述。

②特征点匹配参数：NN/SCN =0.6，极线搜索宽度为40，极线约束的容差e=0.65，其它参数凭经验确定，且保持不变。

③RANSAC 参数设置：确定某个点是否靠近模型的阈值为0.2，概率为10，最大迭代次数设为400。

序列图像，每幅图像大小均为2816×2112。

(a)待拼接4幅原始图像

(b)图像融合前的拼接结果

(c)图像融合后的拼接结果

图4.2 基于多幅图像的拼接结果

5 结论

本文提出了一种基于SIFT算子的图像拼接融合算法，经实验验证，本文算法得到的拼接结果基本上消除了拼接部分的色度和亮度的差异，没有产生黑边和明显的拼接痕迹，实现了图像缝合处的平滑过渡，满足了人眼感知的基本要求。

参考文献

[1]Pollefeys M. Self-Calibration and Metric 3D Reconstruction from Uncalibrated image Sequences[D]. Belgium: K.U.Leuven,1998

[2]Efros Alexei A,Freeman W T.Image quilting for texture synthesis and transfer[C] //Proceedings of the 28th annual conference on Computer Graphics and Interactive techniques,2001:341-346.

[3]Liang L,Liu C,Xu Y Q. Real-time Texture Synthesis by Patch-Based Sampling[J].ACM Transaction on Graphics,2001.20(3):127-150

[4]Cohen M F,Shade J,Hiller S,et al.Wang tiles for image and texture generation[C]//ACM Transactions on Graphics//Proceedings of SIGGRAPH 2003,22(2) :286-294

[5]Lowe D G. Distinctive image features from scale-invariant keypoints[J]. IJCV. 2004. 60: 91-110.

[6]Fischler and Robert C. Bolles . Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography. ACM, 1981: 381–395.

[7]Nocedal J., Wright S. Numerical optimization. Springer (2000)