最小化重投影误差的PFR三维射影重建

收稿日期 : 2007209215. 作者简介 : 徐 帆 (19832) ,男 ,博士研究生 , E2mail : drowterran @gmail. co m.
© 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved.
要缺点 :a. 观测矩阵 M 可能存在缺失数据 ,直接 导致 SVD 分解不能执行 ; b. 实际应用中需要精 确的数据正规化才能取得不错的重建效果.
针对上述 缺 点 进 行 改 进 是 近 几 年 的 研 究 热 点[7～11] . 本文将原基于仿射投影模型提出的 PF 方法扩展到了透视投影模型 ,提出了一种最小化 重投影误差的线性射影重建算法 PF rep rojectio n ( PFR) . 通过添加权值参数将重投影误差非线性 的代价函数转化为三线性的代价函数 ,并通过拆 分求解加权线性方程组来实现重投影误差的交错 最小化. 实验结果表明 ,本算法在不影响输出精度 的前提下提高了射影重建的整体效率.
定 X ,B ,求解 P = argminφ;c. 固定 P , X ,求解B = P
a r g mi nφ. B 通过将每 一 步 拆 分 成 若 干 小 的 线 性 方 程 组
Ax = b 的最小二乘求解问题 ,可以很好地处理缺
失数据. 如式 ( 2) 的解为 m = ( AT A) - 1 AT b , PFR
首先运行由 Martinec 和 Pajdla[13] 提出的一 种快速批量算法 ,输出联合投影矩阵 P 以及各个 投影点的射影深度 ,随后执行文献[ 5 ]描述的线性 三角测量方法以获取 X. 将以上计算得到的 P , X 以及射影深度作为初始值代入 PFR 进行迭代计
∑ φreproj =
[ ( uj , i - Pi ,1 Xj /λj , i ) 2 +
ij
( vj , i - Pi ,2 Xj /λj , i ) 2 ] ,
(3)
式中λj , i = Pi,3 Xj . 式 (3) 定义了一个非线性的代价
函数 , 使得最小化重投影误差变得十分困难. 取
βj , i = 1/λj , i可以将式 (3) 转化为一个三线性的代价
徐 帆 王宏远 方 磊 田 文
(华中科技大学 电子与信息工程系 , 湖北 武汉 430074)
摘要 : 基于 Power Facto rizatio n ( PF) 仿射重建算法提出了一种最小化重投影误差的线性射影重建算法 PFR ( PF rep rojectio n) . 该算法通过线性算法实现了重投影误差的最小化. 算法通过添加权值参数将重投影误差非 线性的代价函数转化为三线性的代价函数 ,并基于摄像机运动 、三维场景结构以及射影深度之间的加权交错 最小二乘法实现了重投影误差的交错最小化. 实验结果表明本算法能在不影响输出精度的前提下提升射影 重建 30 %的整体效率 ,适合作为标准光束法平差算法的引导算法或与光束法平差组成混合算法. 关 键 词 : 射影重建 ; Power Factorization ( PF) ; 矩阵分解 ; 重投影误差 ; 缺失数据 ; 主元分析 中图分类号 : TP391. 41 文献标识码 : A 文章编号 : 167124512 (2008) 1020052204
λ x 1 ,1 1 , m
… λ x n,1 n,1
ω
…=
… λ x n, m n, m
[ P1 , P2 , …, Pm ] T [ X1 , X2 , …, Xn ] , 式中 表示由于阻挡等原因而无法观测到的二维
点. 本文要解决的问题是如何从包含缺失数据的
观测矩阵 M 重建描述摄像机运动的联合投影矩
第 10 期
徐 帆等 : 最小化重投影误差的 PFR 三维射影重建
·53 ·
1 最小化重投影误差的 PFR 算法
1. 1 透视投影扩展
假设某三维场景共 n 个三维点 , 分别在 m 幅
透视视图中可见. 用 Pi 表示 3 ×4 的投影矩阵 , Xj 表示三维点的齐次坐标向xj , i表示此二维投影点的齐 次坐标向量 , 且有λj , i x j , i = Pi Xj , 其中 λj , i 是该投
影的射影深度[3] . 把所有投影方程联合起来则有
联合投影方程 M = P X ,即
λ x 1 ,1 1 ,1
…
λ x 2 ,1 2 ,1 λ x 2 ,2 2 ,2
第36卷 第10期 2008年 10月
华 中 科 技 大 学 学 报 (自然科学版) J . Huazhong U niv. of Sci. & Tech. (Nat ural Science Editio n)
Vol. 36 No . 10 Oct . 2008
最小化重投影误差的 PFR 三维射影重建
函数[12 ]
∑ φreproj =
[ ( uj , i - βj , i P i ,1 Xj ) 2 +
ij
( v j , i - βj , i P i ,2 Xj ) 2 ] ,
(4)
式中βj , i Pi,3 Xj = 1 , 最小化式 ( 4) 所定义的代价函
数的困难在于约束βj , i Pi,3 Xj = 1 ,现将约束以误差
近φreproj , 可取 w j , i =
u2 j,i
+
v2j , i .
取 B = [βj , i ] , 式 ( 5) 定义的代价函数是关于
B , P , X 的三线性方程 ,基于 PF 的算法框架 ,可以
通过线性迭代算法最小化代价函数 φ,直至代价
函数收敛 :a. 固定 P ,B ,求解 X = argminφ; b. 固 X
X = ( PT P) - 1 PT M ;
P = MXT ( XXT ) - 1 .
(2)
交替迭代式 (1) 、(2) 直至代价函数收敛. 文献[10 ]
指出 PF 执行大型矩阵分解的算法消耗只有 SVD
分解的 5 %.
1. 3 最小化重投影误差
由于 PF 的代价函数是没有明显物理意义的
代数误差 , 因此取 xj , i = [ uj , i , vj , i , 1 ]展开式 ( 1) 有
阵 P 和三维场景结构 X.
考虑存在缺失数据的情况 ,最小化代价函数 φ = ‖H ⊙( M - PX) ‖2F =
∑‖λ x j , i j , i - Pi Xj ‖2 ,
ij
式中 :矩阵 H 用来标识确实数据 ; ⊙表示哈达玛 积 ;代价函数 φ只在现存数据上计算误差. 由于
M 存在缺失数据 ,因此需要把 P 和 X 分开求解.
∑ φ =
[ (λj , i u j , i - Pi ,1 Xj ) 2 + λ ( v j , i j , i -
ij
Pi ,2 Xj ) 2 + (λj , i - Pi ,3 Xj ) 2 ] ,
式中 :求和下标 i j 表示在所有现存数据上求和 ;
Pi,1 表示取投影矩阵 Pi 的第 1 行. 射影重建中最 理想的代价函数是重投影误差 ,即
1. 2 PF 算法
Power Facto rizatio n ( PF) 算 法[10] 是 一 种 典
型的交替最小二乘法 ,分两步最小化代价函数
φ = ‖M - PX ‖2F ,
(1)
式中 :下标 F 表示取二范数 ; 最小化代价函数 φ
等价于求解方程5φ/ 5 P = 5φ/ 5 X = 0 ,解得
To masi 和 Kanade[2] 基于仿射投影模型提出 了射影重建的矩阵分解方法 , 随后由 St urm 和 Triggs[3] 扩展到了透视投影模型. 矩阵分解方法 作为一种批量方法 ,它基于成熟的数学工具 SVD 分解[4] ,相对于射影重建的序贯方法[5 ] 拥有算法 执行效率高 、误差分布均匀且不用考虑重影效 果[6] 等优点 ;但目前矩阵分解方法受限于两大主
与原 PF 不同的是线性方程组需要按情况加上权 值βj , i 和 w j , i .
2 实验结果与分析
实验基于标准图像序列 Dino saur 和 Castle. Dino saur 图像序列视图数为 36 , 三维点个数为 4 983 ,数据缺失率高达 90. 84 % ,实验结果如图 1 所示 ,图 1 (c) 中 ,白色表示现存数据而黑色表示 缺失数据 ;Castle 图像序列包括一个静态三维场 景的 27 幅视图 ,三维点个数为 1 961 ,数据缺失率 为 77. 89 %(图略) .
3D reconstruction with minimum reprojection error using PFR
X u Fan W an g H on g y uan Fan g L ei T i an W en
(Depart ment of Elect ronics and Info rmation Engineering , Huazho ng U niversity of Science and Technology , Wuhan 430074 , China)
的形式代入代价函数 ,有
∑ φ =
[ ( uj , i - β P j , i i ,1 Xj ) 2 + ( vj , i -
ij
βj , i P i ,2 Xj ) 2 + w j , i ( 1 - β P j , i i ,3 Xj ) ] ,
(5)
式中 w j , i是对应 x j , i的权值 ,用来使代价函数φ逼
Abstract : On t he basis of Power Factorizatio n ( PF) , a linear Power Factorizatio n rep rojectio n ( PFR) met hod is p resented , in which 2D rep rojectio n error was minimized by using p rojective reco nst ructio n. This algorit hm was inspired by Hartley′s PF met hod for affine reco nst ructio n. The no nlinear rep rojec2 tio n error was t ransferred to a t rilinear co st f unctio n , and a weighted alternated least square met ho d was performed between t he st ruct ure , motio n and p rojective dept h , which can achieve rep rojectio n er2 ror minimizatio n. We show experimentally t hat o ur met hod can be used as a boot st rap or co mpo site for t he standard bundle adjust ment , which speed t he overall reco nst ructio n performance up to 30 %. Key words : p rojective reco nst ructio n ; Power Factorizatio n ( PF) ; mat rix factorizatio n ; rep rojectio n er2