球面全景图像的拼接算法研究

（１４）
ｅｘ，ｙ 为 Ｉｉ 上的点与其它图像上对应点的亮度误差。
对应于每两幅重叠图像 Ｉｉ，Ｉｊ
å H i , j
=
x ,y
¶ex ,y ¶pi
é ¶ex ,y
ê ë
¶pi
T
ù ú û
（１５）
ｅｘ，ｙ 为 Ｉｉ 上的点与 Ｉｊ 上对应点的亮度误差。
４ 算法实现
技 为 了 克 服 上 述 算 法 收 敛 速 度 较 慢 、计 算 时 间 较 长
技
５ 实验结果及分析
本文使用 ＶＣ＋＋软件编程实现了文中的图像拼接
术 算法， 实验图像采用同一个视点拍摄， 分辨率为， 图 １
创 为拍摄的两幅原始图像， 图 ２ 为经过文中算法拼接后 的图像。
新
图 １ 两幅原始图像
图 ２ 拼接后的图像
由图 ２ 可知， 文中的拼接算法可靠性较高， 收敛 范围也较大， 能够满足球面图像拼接的要求。在高分 辨率图像拼接时， 由于采用了选择计算点的方法， 计 算速度得到较大的提高。
４．３ 算法流程 根据本文提出的算法， 球面全景图像拼接算法的 流程如下： （１）读 取 每 一 幅 场 景 图 像 ， 对 每 幅 图 像 进 行 处 理 ， 使图像中只包含亮度信息， 这样每一幅图像就可以用 一个矩阵来表示； （２）为每一幅图像建立图像金字塔， 金字塔 的层数 以及每一层的分辨率由场景图像的分辨率确定。 （３）为每一幅图像确定初始参数， 判断任意两幅图像之 间的重叠关系， 对重叠区域大于某个值的图像计算变 换参数。 （４）计 算 每 幅 图 像 的 梯 度 图 像 ； （５）使 用 优 化 算 法 计 算 下 一 个 较 优 的 图 像 参 数 ； （６）判 断 优 化 的 结 果 ， 如 果 满 足 收 敛 条 件 ， 则 停 止 优化， 否则返回第五步重新计算。
êêY
’
ú ú
=
R
êêY
ú ú
（１）
êëZ ’ úû êëZ úû
其中 Ｒ 为三维单位正交矩阵， 由图像拍摄方向决
定。
本文使用方向角来表示旋转变换矩阵 Ｒ， 假设相
机 的 俯 仰 角 为 α， 偏 转 角 为 β， 绕 相 机 光 轴 旋 转 角 γ，
蔡文军：工程师
则 Ｒ 可表示如下：
é cosg sing 0ù é cos b
像素点都进行计算， 计算量会非常巨大。根据本算法
采用的参数模型， 对于两幅图像事实上只需四对对应
点即可以确定相互之间的对应关系， 考虑到精度和稳
定性， 可适当增加计算点。所以本文算法采用在图像
中抽取一部分点进行计算的方法来降低计算量。具体
的方法是根据要选取的点的数目将图像等分为若干
区域， 由于图像大部分区域图像的梯度都为零， 而梯
技
１ 前言
术
基 于 图 像 渲 染 （Ｉｍａｇｅ Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ）技 术 是 近
年虚拟现实领域的研究热点， 与传统的基于几何模型
创 的虚拟现 实技术相 比 ， 具 有 真 实 感 强 、绘 制 速 度 快 等
新 优点。球面虚拟空间把照相机在一个球面范围内拍摄 到的图像通过球面透视投影变换无缝拼接在一起， 生
ｎ， 此时， 正则方程为： H × Dp = -G
（１３）
其中： P = [ p1 p2 L ] pn T 。
将 Ｈ 写成 éëH i , j ùûn´n ， Ｈｉ，ｊ 为 ４×４ 阶矩 阵， 将 Ｇ 写成
[ ] å Gi
n´1， Ｇｉ，ｊ 为 ４×１ 阶向量， 则： Gi
= ex ,y
x ,y
¶e x ,y ¶p
根据 Ｐ 变化时 Ｅ 的变化来决定下一个较优的 Ｐ 值。对
于每一对对应点， 误差的变化与参数的变化近似为线
性关系：
2
åé
¶(x ’, y ’) ù
E (Dp ) = êex ,y + ÑI 2 (x ’, y ’) x ,y ë
¶p
× Dp ú û
å =
éë
g
T x
’, y
JT
’ x ’,y
’Dp
+ ex ,y
图像处理 文章编号：１００８－ ０５７０（２００６）０５－ １－ ０１９６－ ０３
中 文 核 心 期 刊《 微 计 算 机 信 息 》（ 测 控 自 动 化 ）２００６ 年 第 ２２ 卷 第 ５－１ 期
球面全景图像的拼接算法研究
Ｓ ｔｕ ｄ ｙ ｏ ｆ Ｓ ｐ ｈ ｅ ｒｉｃａ ｌ Ｐａ ｎ ｏ ｒａ ｍ ａ Ｉｍ ａ ｇ ｅ Ｍｏ ｓ ａ ｉｃｓ Ａｌｇ ｏ ｒｉｔｈ ｍ
置关系， 可以确定每一幅图像所对应的拍摄方向及相
机的投影模型， 从而得出图像中像素在球面上的对应
位置。
２．１ 拍摄方向参数模型
对于以视点为原点的基准坐标系中的一点（Ｘ， Ｙ，
Ｚ）， 其与以视点为原点的相机坐标系中的对应点（Ｘ＇ ， Ｙ
＇ ， Ｚ＇ ）的对应关系可表示为三维旋转变换：
éX ’ù éX ù
的结果作为下一步较高分辨率图像拼接的初值， 有多
种构造的方法， 最常用的是 Ｇａｕｓｓ 金字塔， 即首先对图
像做 Ｇａｕｓｓ 滤波， 五阶的 Ｇａｕｓｓ 滤波器有如下形式：
Ｇ＝Ｗ＇ Ｗ
（１６）
然后对图像下采样得到低分辨率图像。
另一种常用的金字塔是 Ｌａｐｌａｃｉａｎ 金字塔， 它是由
Ｇａｕｓｓ 金字塔中相应层次图像减去较低分辨率图像插
为：
M
=
K
2 R2 R1-1K
-1 1
（８）
其中 Ｒｉ 为第 ｉ 幅图像的旋转变换矩阵。
３ 图像拼接的基本思想
图像拼接可以分为两类， 基于特征的方法和基于 像素点对应关系的方法。由于前者缺乏适应性， 本文 采用基于像素点对应关系的方法进行图像的缝合， 同 时进行了优化， 以提高算法的效率、可靠性、收敛性。
影响， 所有图像之间的位置关系可能是互相矛盾的。
为此算法以所有图像之间的误差能量最小作为准则
对用所有图像参数进行优化， 从而确定它们之间的位
置关系。
设所有需要定位的图像为 Ｉ１， Ｉ２， ．．．， Ｉｎ， 算法的目标 函数就是：
å E = Ei , j i,j
（１２）
其中： Ｅｉ，ｊ 是两重叠图像 Ｉｉ，Ｉｊ 的误差 能量， １≤ｉ＝ｊ≤
éx 2 ù
éx1 ù
éx1 ù
ê ê
y
2
ú ú
=
K
2
R2
R1-1K
-1 1
ê ê
y
1
ú ú
=
M
ê ê
y
1
ú ú
（６）
êë1 úû
êë1 úû êë1 úû
éf i 0 cx ù
Ki
=
ê ê
0
fi
cy
ú ú
(i = 1, 2)
（７）
êë 0 0 1 úû
对于方向角参数模型而言， 设两幅图像 Ｉ１ 和 Ｉ２ 的 相 机 参 数 分 别 是 （α１，β１，γ１）和 （α２，β２，γ２）， 坐 标 变 换 矩 阵
0
sin b ù
R = êê-sing
cosg
0úú
ê ê
sina sin b
cosa -sina cos búú （２）
êë 0 0 1úû êë-cosa sin b sina cosa cos b úû
２．２ 相机投影模型 设相机的焦距为 ｆ， 投影中心 在图像中的 位置为 （ｃｘ，ｃｙ）， 在 由 拍 摄 方 向 确 定 的 相 机 坐 标 系 中 ， 空 间 中 的 一点（Ｘ＇ ， Ｙ＇ ， Ｚ＇ ）在图像平面中的对应点（ｘ，ｙ）之间有如
度为零的点对于计算没有任何影响， 因此选取每个区
《 Ｐ ＬＣ 技术应用 ２００ 例》
邮局订阅号： ８２－９４６ ３６０ 元 ／ 年 － １９７ －
图像处理
中 文 核 心 期 刊《 微 计 算 机 信 息 》（ 测 控 自 动 化 ）２００６ 年 第 ２２ 卷 第 ５－１ 期
域内梯度最大的图像点进行计算既保证了计算的精 度， 同时大大地提高了计算的速度。
可以通过正则方程求解 H × Dp = -G
（１１）
其中 H
= J g g J T
T
x ’,y ’ x ’,y ’ x ’,y ’ x ’,y ’
，G
= e x ,y J x ’,y ’ g x ’,y ’
。
３．２ 球面图像的拼接 理想情况下， 确置关系， 但由于误差
éx1 ù
éX ù éx 2 ù
éX ù
êê y
1
ú ú
=
K
1R1
êêY
ú ú
ê ê
y
2
ú ú
=
K
2R2
êêY
ú ú
（５）
êë1 úû
êëZ úû êë1 úû
êëZ úû
－ １９６ － ３６０元 ／ 年 邮局订阅号： ８２－９４６
《 现场总线技术应用 ２００ 例》
您的论文得到两院院士关注
图像处理
下的关系：
éx ù éf 0 cx ù éX ’ù
ê ê
y
ú ú
=
ê ê
0
f
cy
ú ú
êêY
’
ú ú
（３）
êë1 úû êë 0 0 1 úû êëZ ’ úû
此时图像数据矩阵中的第一列表示图像最底下 的那一列。如果数据的排列形式不同， 则还要作进一 步变换。如果是第一行表示图像最顶上的一列， 则存 在如下关系：
（海军装备研究院）蔡 文 军 陈 虎
Ｃａｉ，Ｗｅｎｊｕｎ Ｃｈｅｎ ，Ｈｕ