视觉图像三维重构计算一般性框架研究 - 副本

视觉图像三维重构计算一般性框架研究 - 副本
视觉图像三维重构计算一般性框架研究 - 副本

*)广州市科技计划项目(项目编号:200723-D0131);广东省自然基金(B6-109-497)。许晓伟 博士生;王知衍 教授,博士生导师。

计算机科学2008V ol 135l 18

视觉图像三维重构计算一般性框架研究*

)

许晓伟 王知衍 张艳青 梁英宏 曹晓叶(华南理工大学计算机科学与工程学院 广州510640)

摘 要 三维实体数字图像重构建模是当前计算机视觉研究领域的热点课题,涉及到相机标定、对应点匹配和三维重构计算等关键技术。本文回顾了三维重构建模的研究现状,分析了现有理论和方法在实际应用中存在的问题;在此基础上进行了相关研究,总结出了三维重构计算的一般性框架,提出了一些研究观点和方法,并探讨了三维重构技术的难点和发展趋势。

关键词 三维重构,计算机视觉,相机标定,对应点匹配,重构计算框架

Research on the Common Framework of 3D Reconstruction Computation for Computer Vision

XU X iao -w ei W AN G Z h-i yan ZH A NG Yan -qing L IA NG Ying -hong CA O Xiao -y e

(School of C om puter Science and Engin eering,South China U niv.of T ech.,Gu angz hou 510640,Ch ina)

Abstract 3D reconstructio n modeling ,w hich invo lv es camer a calibratio n,imag e points mapping and r econst ruct ion

co mputation,is curr ently a hot pr oblem in the r esear ch f ield of computer vision.In this paper ,the r ecent researches o f 3D r eco nstr uction modeling for co mputer vision ar e rev iewed.Based on summarizing and study ing these metho ds,this paper pro po ses a co mmon framew ork fo r 3D r eco nstr uction co mputation and pr esents so me po tential r esear ch v iew -points and schemes.T he difficulties and develo pment tr end of 3D reconstructio n ar e also discussed in t his paper.

Keywords 3D reconstruction,Co mputer v isio n,Camer a calibrat ion,M atch o f mapping po ints,R eco nstr uction computa -t ion frame

1 引言

三维重构是计算机视觉模拟人眼功能所需要完成的最后一步,即恢复景物的三维信息。它是一个研究非常活跃的重要领域,也是计算机图形图像研究领域中的经典课题,被广泛应用在工业检测、军事、医学、航空航天、娱乐等多个领域。目前重构方法主要分为两大类:一类是传统的主动视觉方法,如利用三维激光扫描仪等设备得到景物的三维点坐标。该方法受空间尺寸的限制,无法用于大型景物,成本高,且要求用户具备一定的操作水平;另一类是基于图像的被动视觉方法,即利用相机获取景物的二维图像,根据图像几何与拓扑信息重构其三维信息,即基于图像建模[1,2]。与传统方法相比,后者对设备要求不高,也是本文研究的主要内容,其原理是按照不同视点拍摄的两幅或多幅图像来确定景物的三维结构,问题的基础是物理世界中景物表面上的每一个三维点都投影到唯一的一对二维图像点上,要解决的问题有相机标定、对应点匹配和在此基础上的三维重构,并因此扩展出视频跟踪、虚拟现实等许多相关的课题。目前比较有代表性的研究成果有:文献[3]提出的三维重构的方法,可解决已知对应点和内参数情况下三维结构的恢复问题,是这个领域的经典算法;文献[4]提出了一种基于网格平面的/最简单的摄像机标定方法0;文献[5]给出了大量的多视图立体重构算法。这些基于不同的出发点和思路的理论和方法,对于不同的工程背景有其各自的应用价值,因此有必要对所涉及到的技术进行综合比较和分析,总结重构计算的一般性框架,以揭示存在的问题,探讨发展的方向。

2 三维实体重构建模基础

2.1 相机模型

采用齐次坐标表示,世界坐标系下三维空间中的某一点M =[X Y Z 1]T 与其在像素坐标系下成像平面上的投影点m =[u v 1]T 满足如下关系:

s m =P I W M =A I C K C W M (1)这里s 是一个比例因子,P W I 是一个3@4投影矩阵,表示相机成像系统的针孔透视模型[6],可分解成相机内参数矩阵A C I 和外参数矩阵K W C :

A I C =f x q

u 0

0f y v 0001

K C W

=R W C t C W

01

(2)这里的f x ,f y 为在成像平面u 轴和v 轴方向上的镜头焦距,q 为u 轴和v 轴间的倾斜因子,(u 0,v 0)为相机中心在像素坐标系中的主点坐标,R W C ,t W C 为世界坐标系到相机坐标系的旋转矩阵和位移矢量。由于加工、装配误差的存在,相机光学系统与针孔模型有一定的差别,使得实际成像与理想成像之间存在非线性畸变,一般考虑二阶畸变[7]:

D x =k 1x (x 2+y 2)+[p 1(3x 2+y 2)+2p 2x y ]+s 1(x 2+y 2

)D y =k 2y(x 2+y 2)+[p 2(3x 2+y 2)+2p 1x y ]+s 2(x 2+y 2

)

(3)

式中k 1,k 2,p 1,p 2,s 1,s 2是畸变系数。2.2 外极几何

外极几何[5]是指将立体视觉中左(右)图中的匹配点映射成右(左)图中的对极线的数学关系:如图1所示,一个目标点

#

208#

M 和它在两个图像平面上的投影点m 和m c 义了一个平面F ,与两个成像平面相交于外极线l m 和l c m 。所有外极线的交点在两个平面上分别定义了一个外极点,即通过两相机光心O C 和O c c 的直线与两成像平面的交点。外极几何的代数描述可用一个秩为2的3@3基础矩阵F 表示:

F =A -T C [t C c ]@R C C c A -1C c m t

Fm c =0

(4)F 包含了两个相机的内参数和一个相机对于另一个的刚性方

位变换。当内部参数是已知时,可得到仅与相机方位有关的本质矩阵E:

E =[C t C c ]@C R C c

(

5)

图1 两个相机之间的外极几何关系

2.3 三角测量

假定空间任意一点M (x w y w z w )在两个相机的成像平面上的像点分别为m 1(u 1v 1)和m 2(u 2v 2),两相机C 1和C 2的投影矩阵分别为P 1和P 2,分别代入公式(1),可以推导出:

u 1m C 131-m C 1

11u 1m C 132-m C 1

12u 1m C 133-m C 1

13v 1m C 131-m C 121v 1m C 132-m C 122v 1m C 133-m C 123u 2m C 231-m C 211u 2m C 232-m C 212u 2m C 233-m C 213v 2m C 231-m C 221

v 2m C 232-m C 222

v 2m C 233-m C 223

x w y w z w

=

m C 114-u 1m C 1

34

m C 124-v 1m C 134

m C 214-u 2m C 234m C 224

-v 2m

C 234

(6)

其中m j k Ci 为相机C i 的3@4投影矩阵P i 中第j 行k 列元素。已知两个相机的投影矩阵和空间点在两个不同位置的相机所拍摄图像中的像素坐标,由式(6)就可以确定点的空间三维坐标。

3 三维重构关键技术

3.1 相机标定

相机标定是从二维图像获取三维欧氏结构信息必不可少的关键一步,而在未标定情况下只能实现射影重构。文献[8]介绍了2003年之前标定方法的研究成果,这里就不再一一详述。

按照是否需要标定参照物,相机标定可分为传统标定方法和自标定方法。传统标定方法的特点是使用结构己知、精度很高的标定块作为空间参照物,通过空间点和图像点之间的对应关系建立摄像机模型参数的约束,然后通过优化算法来求取这些参数。为提高标定精度,就要采用非线性模型来补偿镜头畸变[7]。在不能放置参照物的场合就要采用相机自定标技术。多数自标定的本质是基于射影变换的不变量:绝对二次曲线或其对偶--绝对二次曲面,所得到的解既不唯一也不稳定,易受噪音干扰,误差较大。

张正友的网格平面标定方法[4]是在自标定与传统标定之间的一个妥协方案:从不同角度拍摄一网格平面,然后利用单

应性矩阵得出相机的内参数。这一方法使用灵活,有较好的鲁棒性,但由于假定网格平面上的直线经透视投影仍然为直线,实际上引入了畸变误差。其他类型的标定方法还有基于单像平面灭点方法[9]、基于景物对称性方法[10]、基于方向约束[11]、空间正交约束[12]方法等。这些方法大多是基于发掘场景结构信息,寻求新的约束条件,来达到求解相机线性模型或简化模型内外参数的目的;与自标定类似,没有考虑非线性畸变,因而结果精度不高,不可靠。

标定方法的选择需要考虑工程背景的精度要求和测量范围要求。先利用线性或自标定方法求解相机参数,再以求得的参数为初始值,考虑畸变因素,并利用非线性优化算法进一步提高精度,将可能获得应用更为广泛的标定方法。由此在前期工作中我们提出了一种基于标准图形估计准则的自适应标定方法[13,14],利用设计好的标准图形进行图像畸变状况快速评估,选择合适的相机标定方法,并取得了较好的效果[15,16]。

3.2 对应点匹配

对应点匹配是立体视觉的核心问题,其任务是在两幅或

多幅图像中寻找景物表面某一点投影到不同图像平面上的像

素点之间的对应关系(视差信息)。由于相机方位、存在遮挡和运动不连续等问题,导致对应点丢失、误配,结构歧义性;此外,光度学和几何学畸变、测量误差及噪声等因素造成图像数据的不确定也会影响匹配的准确性。至今也没有好的通用的匹配方案,但在应用中可利用图像性质或相机运动约束条件,从而部分地解决这个问题[17]。好的匹配方案一般包括:合理选择匹配基元,充分利用匹配约束条件和稳定的匹配算法。

按照匹配元素选择不同,可以分为灰度区域匹配和特征匹配。基于灰度相关的方法根据像素的灰度、颜色和纹理的

连惯性来测量[18]

;基于景物的角点或边缘点等特征的方法通

过空间景物的结构信息来解决匹配过程中的歧义性[19]。图像中具有可分辨性、不变性和稳定性的属性都可以作为匹配特征,所以像素灰度也是一种图像特征。常用的基本特征(匹配基元)包括点特征、直线特征和区域特征等。匹配基元类型的选择取决于匹配图像对本身的属性特点和应用要求。匹配问题的困难之处在于存在大量的假匹配点,需要根据景物的实际信息和一些约束条件来剔除误匹配。常用的匹配约束有:唯一性。景物表面任意一点到观察点的距离是唯一的,其视差是唯一的;相似性。在某种度量下,同一物理特征在左右两幅图像中表现出相似的性质;顺序一致性。两幅图像中同一极线上的对应点的顺序是一致的;极线约束。在像平面上选定一点,它在另一像平面上的对应点只能处于与之对应的极线上;视差约束。限制了被观测景物表面变化的剧烈程度。建立在几何成像基础上的极线约束和基于景物外形条件的视差约束经常用于立体匹配中,以加快运算速度,提高准确率。

三维重构的质量直接取决于所采用匹配算法。匹配算法本身包括匹配测度和匹配策略两个部分[17]。对应点匹配好坏情况的测量称为匹配测度,常用方法有:基于灰度相关的匹配测度方法、基于矩的匹配测度方法、基于聚类的匹配测度方法、基于图论的匹配测度方法、基于松弛迭代的匹配测度方法。匹配是一个特征搜索的过程,由于成像条件和视角的差异,同一特征在两个视角下可能存在明显的差异,为了确定左右特征的对应关系,就需要进行大范围的搜索。为了提高搜索和匹配的速度,就需要引入相应的匹配策略。目前常用的匹配

#

209#

策略有:动态规划法、变灰度级相关检验、序贯相似性检验、变分辨率相关检验、金字塔方法、遗传算法等。匹配就其数学的本质而言就是建立在某些约束下的优化问题,因而近年来引入了多种优化算法,包括代数、几何和统计学等方法,如形式化为马尔科夫网络--贝叶斯置信传播求解[20]、利用LM (Levenberg -Marquar dt)迭代算法[21]、神经网络方法[22]等。3.3 三维重构计算及其一般性框架

在建立图像对之间的对应关系之后,就可以通过几何约束进行三维重构。重构有多种类型,按层次可分为射影重构、仿射重构、度量重构以及欧氏重构;按照相机是否标定,可分为基于相机标定的校正重构和非标定相机的非校正重构。对于标定相机,可在相差一个相似变换下重构;而对于未标定相机,可在相差一个任意的射影变换下实现重构。

欧氏几何下三维重构计算的一般性框架是在相机已标定情况下,从重构空间点开始,由三维顶点计算空间直线、曲线,由此重组空间平面、曲面,最后重构三维实体。如图2所示,为了进行可度量重构,即确定景物的长度比例和角度,必须首先建立不同视角相机之间的空间位置关系,即基础矩阵估计;再根据相机内参数将基本矩阵转化为本质矩阵;然后设第一视角相机为坐标系原点,就可计算出第二视角相机相对于第一视角相机的旋转和平移,得到相机的投影矩阵;最后用三角测量计算点的三维空间坐标[3]

图2 相机标定情况下的三维重构框架

当相机未标定时,射影几何意义下三维重构一般首先通过图像间的对应点信息求出基础矩阵,再将基础矩阵分解,求解相机的投影矩阵。在场景控制点三维坐标已知的条件下可以实现三维欧氏重构。在不依赖于场景控制点和标定参照物条件下的欧氏三维重构方法称为相机自标定或不标定三维重构方法[5]。该方法仅利用相机在运动过程中拍摄多幅多视角图像(序列图像),根据图像与图像之间的约束关系来计算相机模型的参数,进行相机自标定,同时完成三维重构,其一般性框架如图3

所示。

图3 相机不标定情况下的三维重构框架

针对相机内参数未知不变的情况,自标定三维重构方法主要有两大类:第一类基于基础矩阵和对极几何来计算内参数[23],常用方法是在两两图像之间建立K ruppa 方程,解出相机内参数;第二类主要是分层逐步自标定重构,即首先对序列图像做射影重构,在此基础上再进行仿射标定和欧氏标定,如基于绝对二次曲面的方法[24]。针对在实际应用中相机内参数变化的情况,Hey den [25]提出了光束平差(Bundle A djust -ment)算法,在相机做一般运动(纯平移或旋转运动)的条件下,利用序列图像实现欧氏重构,并且全面优化三维重构点、相机参数和常数因子。

从本质上说,上述方法只是利用了相机内参数自身约束,这些约束与场景和相机的运动无关。近年来一些研究者注意到可利用场景的空间结构信息来实现自标定重构,例如:文献[26]利用由无穷远平面诱导单应性矩阵的多视图重构算法,文献[27,28]利用空间平面约束(矩形、等腰梯形或等边三角形等信息)求解相机内参数方法。而更进一步的研究发现可利用场景约束进行单视图三维重构:文献[29]利用平面内的平行性、正交性约束形成的影灭点、影灭线进行结构场景的三维重构;文献[30]提出了一种基于贝叶斯网络模型的室内场景单视图三维重构方法;文献[31]利用水平面和垂直面快速区域分类算法重构室内场景;文献[32]给出了一种单视图加单平面镜像结构约束下实现三维重构的方法。

在未标定序列图像三维重构问题的相关研究中,几何视觉领域[5]与视觉跟踪领域[33]形成了技术交叉:都是在一组图像序列中找到感兴趣的目标,不同的是几何视觉将目标重构为三维形式,而视觉跟踪要恢复目标的运动参数;很多技术被相互借鉴和改进,例如光束平差法[25,34]、由运动求结构中的因数分解法[35]、卡尔曼(Kalman)方法[36]和扩展卡尔曼滤波方法[37]等。相对于光束平差法,卡尔曼方法在增加、减少观测图像时,不需要重新进行整个图像序列的平差计算,计算量小,但受到出格点(误配)影响大,容易引入累积误差。从研究发展趋势来看,这两种方法的结合将有可能获得鲁棒性、实时性较好的三维重构方法。

由于自标定方法一般采用相机线性模型或简化模型,不能准确描述真实的几何成像关系,远离中心处的图像畸变量较大,对三维重构精度影响很大[38],我们的实验(见图4)也验证了这一点。图4(a)显示了选取的鼠标匹配点,图4(b)为相机自标定重构结果,图4(c)和(d)为相机标定情况下重构结

果的网格和插值效果。因此有必要对自标定重构结果进行非线性优化,

或者在重构过程中采用相机非线性模型。

图4 一个鼠标三维重构实验

4 应用中存在的问题和发展前景

上述的研究成果,既是今后研究的理论基础,也有许多不完善的地方,这将为寻找新的技术和方法解决实际应用存在的问题指明方向。

1.由三维景物到二维图像的过程不仅是射影几何框架下的一种降维几何映射,而且是许多因素的函数,例如景物的几何特征(形状、方位)、物理特征(材料性质、纹理、颜色、光照)以及相机参数等。从二维图像信息反推三维信息的三维重构技术是建立在对多视图几何的理解和建模基础上,是一个复杂的、病态的多参数估计逆问题,且对噪声或离散化等多种因素引起的误差极其敏感。因此,借鉴交叉学科相关技术,改进三维重构的关键算法)图像匹配和摄像机标定和自标定算法的着眼点应该是优化方法、准则的寻求和约束条件的确定。

#

210#

2.相机标定和自标定的理论研究已基本成熟,标定方法精度高,而自标定方法使用灵活。在应用上,标定方法的选择取决于实际使用的场合和精度需求。在研究方面,相机标定方法的使用灵活性和操作过程需要进一步提高和简化,尤其是相机的外部参数标定,而相机自标定方法需要对自标定的结果或者过程进行非线性优化。

3.至今为止,匹配仍是计算机视觉领域的一个瓶颈问题。如何克服几何失真、畸变、噪声、特殊结构(平坦区域、重复相似结构等)及遮挡等等,这些都是在理论上和技术上亟待解决的问题。多幅图像的对应点匹配,还需要人机对话、人工参与选择、修改配对,因此全自动匹配问题将是一个很有前景的课题,也是很有挑战性的项目。如何利用较少的特征点阵,通过图形学中的网格细分技术来进行景物表面的三维重构,也将是未来的研究方向之一。

4.在计算机视觉领域,基础矩阵占有非常重要的地位,基础矩阵的计算精度和速度决定了后续应用中的许多其他算法的精度和速度。目前算法中,线性方法计算简单、速度快,但精度低;鲁棒估计方法[39]适用性强,能够对付各种不利因素的干扰,具有较高的精度,但计算繁琐。提出更好的鲁棒性准则,剔除异常数据,进一步提高鲁棒性,并简化计算过程,提升计算速度,将是未来研究的重点。

5.目前三维重构是以图形重构为主,全像素重构将是未来可选的研究方向之一。尽管在许多场合有三维图形的重构足以能说明问题,但在更广泛的应用中(如虚拟现实),全像素的重构有时是必需的。但多幅图像中像素点的密集匹配、多种图像缺陷和计算量庞大等许多问题有待解决。

6.与传统主动三维重构相比,虽然被动视觉图像三维重构具有更广泛的使用范围和使用灵活性,但重构的精度仍然比传统方法要差一些。影响重构精度的原因有很多,包括相机标定误差、匹配误差、噪声误差、量化误差、畸变误差、立体模型误差等等,因此需要进行精密的误差分析、整定和补偿。另一方面,多种重构方法的综合[40]将会获得更为广阔的应用空间。

结束语三维重构有着广阔的应用前景,也是目前的一个研究热点。由于涉及较多研究领域,在解决具体实际问题时没有一个通用的思路作参考。本文选取了近几年来的一些重要研究成果,对涉及到的关键技术即相机标定、对应点匹配和重构计算的研究现状进行了探讨,介绍了一些常用方法,总结了三维重构计算的一般性框架。由于重构过程中的误差控制至今还没有得到很好地解决,通用的匹配算法还没找到,并且实时性也不好,因此三维重构要取得突破性的进展,还有很艰巨的任务。文本还就实际应用中的难点问题提出了一些研究观点和方法,希望能对相关领域的研究人员和工程技术人员提供有益的帮助。

参考文献

[1]Rem on dino F,E-l H ak im S.Critical overview of im age-based3D

m odeling[EB/OL].http://w w w.ph otogrammetry.ethz.ch [2]刘钢,彭群生,鲍虎军.基于图像建模技术研究综述与展望[J].

计算机辅助设计与图形学学报,2005,17(1):18-26

[3]Xu Gang,Zhang Zhen gyou.Epipolar Geom etry in Stereo,M o-

tion and Object Recognition:A Unified Approach[M].Kluw er

Acad emic Publishers,1996

[4]Zhang Z.Flexib le camera calibration by view ing a plane from

unkn own orientations[A]M IEE E Conf.7th ICC V[C].Greece:

Corfu,1999:666-673

[5]H artley R,Ziss erman A.M ultiple View Geometry in Computer

Vision[M].2nded.Cam bridge U niver sity Press,Cambridge,U-nited Kingdom,2004

[6]Faugeras O D.T hree-dimensional Computer Vis ion[M].the

M IT Press,Camb ridge,M assach usetts,1993

[7]杨必武,郭晓松.摄像机镜头非线性畸变校正方法综述[J].中国

图象图形学报,2005,10(3):269-274

[8]孟晓桥,胡占义.摄像机自标定方法的研究与进展[J].自动化学

报,2003,29(1):110-124

[9]Lieb ow itz D,Zis serm an A.M etric Rectification for Per spective

Imag es of Planes[A]M IEE E Conf.CVPR[C].1998:482-488 [10]Cao X,Foroosh H.Camera Calib ration U sing S ymmetric Objects

[J].IEEE T ran sactions on Image Processing,2006,15(11): 3614-3619

[11]T ian Dongping,Shu Yuan,Tan Zhen g.3D recon struction us ing

s patial orth ogonal con strain ts[A].ICARCV[C],2004,2:1092-1097

[12]舒远,谈正,丁礼儒.利用空间正交约束的相机自标定和三维重

构[J].西安交通大学学报,2005,39(2):138-141

[13]Zhan g Yanqing,Wang Zhiyan,Wang Bin.A Camera Calibration

M ethod Based on Nonlinear M odel and Im proved Planar Pattern

[A]M Proceeding of8th JCIS/CVPRIP[C].2005(1/3):707-712

[14]Zhang Yanqing,W an g Zhiyan.A Flex ible Camera Calibration

M ethod for Computer Visual3D Reconstruction System[A]M IEEE Proceedings of8th ICSP[C].2006(1/4):1580-1583 [15]Zhan g Yanqing,Wang Zhiyan.A New Approach for Nonlin ear

Distortion Correction in Computer Vision Images[A]M Proceed-ing of JCIS/CVPRIP[C].2005(1/3):640-643

[16]Xu Xiaow ei,W an g Zh iyan,Zhan g Yanqing,et al.A M ethod of

M ult-i view Vehicle License Plates L ocation Based on Rectangle Featu res[A]M IEEE Proceedings of8th ICS P[C].2006(1/4): 2131-2134

[17]张艳青.典型三维实体数码成像重构建模[D].广州:华南理工

大学,2005

[18]S on ka M,H lavac V,Boyle R.Imag e Process ing,Analysis,and

M ach ine Vision[M].T homs on b ook s cole press,2002

[19]章权兵,罗斌,韦穗,等.基于仿射变换模型的图象特征点集配准

方法研究[J].中国图象图形学报,2003,8(10):1121-1125 [20]Su n J,Zh eng N N,H Y.Sh um matchin g using b elief propagation

[J].Pattern Analysis an d M ach ine Intelligen ce,2003,25(7): 787-800

[21]Fitzgibbon A W.Robus t regis tration of2D and3D poin t sets

[J].Image and Vision Com puting,2003,21(12/13):1145-1153

[22]Ras tgar H,Ahmadi M,S id-Ah med M.3D Position S en sing us ing

a H opfield Neural Netw ork Stereo M atching Algorithm[A].

IEEE ISCAS[C],2006:3638-3641

[23]Lourakis L,Deriche R.Cam era self-calibration usin g th e s vd of

the fun damental matrix:From point correspondences to3D meas urem ents[R].T ech.Rep.3748.INRIA,1999

[24]Triggs B.Auto-calibration and th e absolute quad ric[A]M Pro-

ceedings of C om puter Vis ion an d Pattern Recognition[C].1997: 609-614

[25]H eyden A,S trom K A.Euclidean recon struction fr om image se-

quen ces w ith varying and unkn ow n focal len gth and prin cipal point[A].ICVR[C],1997:438-443

[26]章权兵,王海贤,韦穗.线性多视图重构的新算法[J].中国图象

图形学报,2004,9(10):1210-1215

[27]W u Yih on g,Zhu H aijiang,Hu Zhanyi,et al.Camera Calibration

from th e Quas-i affin e In variance of T w o Parallel Circles[A].

ECCV[C],2004:190-202

[28]张维勇,王征,翟鸣,等.基于射影不变量的摄像机自标定方法

[J].中国图象图形学报,2005,10(11):1432-1435

[29]杨敏,沈春林.未标定单幅结构场景图像的三维重构[J].中国图

象图形学报,2004,9(4):456-459

[30]Delage E,Lee H,Ng A Y.A dynamic Bayes ian n etw ork model f-

#

211

#

or autonomous 3d reconstruction from a single in door image[A]M CVPR .06[C].2006,2:2418-2428[31]

L c P E,opez -d e -Teruel,Ruiz A,et al.Efficient M onocular 3D Reconstruction from S egments for Visual Navigation in S truc -tured E nvironments[A]M ICPR .06[C].2006,1:143-146

[32]冯志全,孟祥旭,李学庆,等.基于单目体系的可见手重构算法研究[J ].计算机学报,2006,29(3):448-456

[33]侯志强,韩崇昭.视觉跟踪技术综述[J ].自动化学报,2006,32(4):603-617

[34]

Chan g M M Y,W ong K H.M odel and pose acquisition u sing ex -tended Low e .s method [J ].IEEE T ran s.M ultim edia,2005,7(2):253-260

[35]

C os teira J ,Kanade T.A multibody factor ization m ethod for in -dependently moving ob jects [J].In https://www.360docs.net/doc/7f6007036.html, put.Vision ,1998,29(3):159-179

[36]Chiu so A,Favaro P,Jin H ,et al.Structu re from motion cau sally

integrated over time[J ].IE EE T rans.Pattern Anal.M ach ine In -tell,2002,24(4):523-535

[37]

Yu Yin g Kin,W ong Kin H ong,Chang M M Y.Recurs ive T hree -Dimensional M odel Reconstruction Based on Kalm an Filtering [J ].IE EE Transactions on Sy stems ,M an and Cyb ernetics,Part B,2005,35(3):587-592

[38]孙凤梅,胡占义.摄像机简化模型对三维重构的影响)))分析与实验[J].计算机辅助设计与图形学学报,2005,17(10):2257-2262[39]宋汉辰,张小义,吴玲达.一种基础矩阵线性估计的鲁棒方法[J].软件学报,2005,31(15):178-185[40]

Sabry F,E-l Hakim,An gelo Beraldin J,et al.Detailed 3D Recon -struction of Large -Scale H eritage S ites w ith Integrated T ech -niques[J].IEE E Computer Graphics and Applications,2004,3:

21-29

(上接第182页)

(9)对上述资源分配的序列,计算出资源的分配效率k 。为了进行比较,本文假设资源与服务构成n @n 矩阵,n

分别选取5,10,15,20。常数g 1=2000,g 2=1,矩阵由M atlab 随机产生。对上述三种调度方案,进行收益与资源效益的比较。结果如图3,可见,M a rket -Semantic 调度的用户收益最大,M ax -Semantic 调度的用户收益比Semantic -Cost -M ax -M in 调度的要大,Semantic -Cost -M ax -M in 调度用户的收益最小。从图4可见,M a rket -Semantic 调度的资源使用效率最高,其值为1,Semantic -Co st -M ax -M in 的资源使用效率比M ax -Se -mantic 的大,而M ax -Semantic 的资源使用率最低。这说明,M arket -Semantic 能够在提供用户最大收益的同时,即提供满意服务的同时,资源的使用效率也最高。

n =5时,本体相似度矩阵s 及服务代价矩阵c 分别为

s =

0.0002,0.0005,0.0002,0.0001,0.00030.0005,0.0001,0.0009,0.0008,0.00070.0007,0.0006,0.0001,0.0000,0.00030.0009,0.0004,0.0010,0.0003,0.00010.0004,0.0002,0.0007,0.0005,0.0004c =

0.

24,0.56,0.66,0.31,0.420.21,0.42,0.56,0.35,0.440.47,0.24,0.46,0.56,0.230.27,0.21,0.32,0.44,0.510.53,0.42,0.51,0.44,0.32

图3 收益比较图 图4 资源使用率比较

结束语 为了让用户获取满意的服务,本文把服务与资源表示为本体,进行了本体的语义相似度测量,然后利用市场机制的一般均衡原理,把语义相似度与成本的比值作为效用函数,得到能提供服务的资源序列,本调度模型与其它方式相比,整个系统资源使用率达到最大,客户服务收益最大。M arket -Semantic 模型实现了市场机制与语义的有机结合,为网格特别是语义网格服务的调度提供了一个有效的途径与方

法。然而以下主要问题需要进一步研究:如何更好地进行本体语义相似测量,是M arket -Semantic 的关键;如何更好地确定效用函数,把语义与用户偏好更好地结合起来;如何更好地确定资源的价格。虽然把服务执行的时间对应为成本和价格在理论上是可行的,但是如何准确估计服务完成的准确时间,如何更加科学地确定价格,需要更多的研究。

参考文献

[1]

Hong Suda.Ontology Based Resour ce M atching in th e grid )Th e Grid M eets the S emantic Web M Proceedin gs of the Second In ternational Sem antic Web Conference.Sanib e-l Captiva Islands,Florida,USA,October 2003

[2]

Liu ,Foster I.A C on strain t Lan guage Ap proach T oGrid Reso -u rceS election M Proceedings of the Tw elfth IEEE International S ymposium on High Performan ce Distributed Computing (H P -DC -12).Ju ne 2003[3]

W ache H,V ogele T ,Visser U,et al.Ontology -Based Integration of Information )A Sur vey of Existing Appr oach es M Proc.of the IJCAI -01W orksh op:Ontologies and Information Sharing.Seat -tle,W A,2001:108-117[4]

Li Lei,H orrock s I.A Softw are Framew ork for M atchm ak ing B -ased on S emantic WebTechn ology M Proceedings of the T welfth Intern ational World Wide W eb Conference (WW W2003).2003[5]

Paolucci M.Semantic M atching of Web S ervice Capabilities M P -roceedin gs of the First International S emantic Web Conference (ISW C)2002.2003[6]

Solom on M.M atch making Distrib uted Resource M anag ement f -or High T hrough pu t Computing [C]M Proceedings of the Sev -en th IEEE Inter national Sym posium on H igh Performance Dis -tributed Computing.C hicago,July 1998

[7]

Solom on M ,Ram an R.Resource M anagem ent through M ultilat -eral M atchmaking M Proceedings of th e Ninth IEEE Symposiu m on Hig h Performan ce Dis tributed Computing (H PDC9).Pitts -burgh ,August 2000:290-291

[8]

Bianchini D.H ybrid Ontology Based M atchm akin g for S ervice Dis covery M Proceedings of th e 2006ACM symposium on Ap -plied compu tin g.2006:1707-1708[9]

吴健,吴朝晖,李莹.基于本体论和词汇语义相似度的W eb 服务发现.计算机学报,2005(4):166-173

[10]W einstein P,Birm ingham https://www.360docs.net/doc/7f6007036.html,paring concepts in differentia -ted ontologies.M Proc.of KAW -99.1999

[11]易纲,海闻.微观经济学.上海人民出版社,2003:185-201[12]曹鸿强,肖侬.一种基于市场机制的计算网格资源分配方法.计

算机研究与发展,2002(8)[13]鲁昌,许永国.一般均衡理论.上海财经大学出版社,2001[14]何坚勇.最优化方法.清华大学出版社,2007

#

212#

机器视觉—三维重建技术简介

三维重建技术简介 一、视觉理论框架 1982年,Marr立足于计算机科学,首次从信息处理的角度系统的概括了心理生理学、神经生理学等方面已经取得的重要成果,提出了一个迄今为止比较理想的视觉理论框架。尽管Marr提出的这个视觉理论框架仍然有可以进行改进和完善的瑕疵,但是在近些年,人们认为,计算机视觉这门学科的形成和发展和该框架密不可分。 第一方面,视觉系统研究的三个层次。 Marr认为,视觉是一个信息处理系统,对此系统研究应分为三个层次:计算理论层次,表示与算法层次,硬件实现层次,如下图所示: 计算机理论层次是在研究视觉系统时首先要进行研究的一层。在计算机理论层次,要求研究者回答系统每个部分的计算目的与计算策略,即视觉系统的输入和输出是什么,如何由系统的输入求出系统的输出。在这个层次上,将会建立输入信息和输出信息的一个映射关系,比如,系统输入是二维灰度图像,输出则是灰度图像场景中物体的三维信息。视觉系统的任务就是研究如何建立输入输出之间的关系和约束,如何由二维灰度图像恢复物体的三维信息。 在表示与算法层次,要给出第一层中提到的各部分的输入信息、输出信息和内部信息的表达,还要给出实现计算理论所对应的功能的算法。对于同样的输入,如果计算理论不同,可能会产生不同的输出结果。 最后一个层次是硬件实现层次。在该层次,要解决的主要问题就是将表示与算法层次所提出的算法用硬件进行实现。 第二方面,视觉信息处理的三个阶段。 Marr认为,视觉过程分为三个阶段,如表所示:

第一阶段,也称为早期阶段,该阶段是求取基元图的阶段,该阶段对原始图像进行处理,提取出那些能够描述图像大致三维形状二维特征,这些特征的集合构成所构成的就是基元图(primary sketch)"。 第二阶段也称中期阶段,是对环境的2.5维描述,这个阶段以观察者或者摄像机为中心,用基元图还原场景的深度信息,法线方向(或一说物体表面方向)等,但是在该阶段并没有对物体进行真正的三维恢复,因此称为2.5维。 第三阶段也称为后期阶段,在一个固定的坐标系下对2.5维图进行变换,最终构造出场景或物体的三维模型。 二、三维重建技术现状 目前三维重建的方法大致可分为三类,即:用建模软件构造的方式,多幅二维图像匹配重建的方式以及三维扫描重建的方式。 对于第一种方式,目前使用比较广泛的是3D Max, Maya, Auto Cad以及MultiGen-Creator等软件。这些三维建模软件,一般都是利用软件提供的一些基本几何模型进行布尔操作或者平移旋转缩放等操作,来创建比较复杂的三维模型。这样所构建出来的模型,比较美观,而且大小比例等非常精确。然而,这需要建模者精确知道三维场景的尺寸、物体位置等信息,如果没有这些信息,就无法建立精准的模型。 第二种方式是利用实时拍摄的图像或者视频恢复场景的三维信息。这种方式是基于双目立体视觉,对同一物体拍摄不同角度的图像,对这些图像进行立体匹

图像三维重建技术

1概述 随着计算机软硬件技术的快速发展,大规模复杂场景的实时绘制已经成为可能,这也加快了虚拟现实技术的发展,又对模型的复杂度和真实感提出了新的要求。虚拟场景是虚拟现实系统的重要组成部分,它的逼真度将直接影响整个虚拟现实系统的沉浸感。客观世界在空间上是三维的,而现有的图像采集装置所获取的图像是二维的。尽管图像中含有某些形式的三维空间信息,但要真正在计算机中使用这些信息进行进一步的应用处理,就必须采用三维重建技术从二维图像中合理地提取并表达这些 三维信息。 三维建模工具虽然日益改进,但构建稍显复杂的三维模型依旧是一件非常耗时费力的工作。而很多要构建的三维模型都存在于现实世界中,因此三维扫描技术和基于图像建模技术就成了人们心目中理想的建模方式;又由于前者一般只能获取景物的几何信息,而后者为生成具有照片级真实感的合成图像提供了一种自然的方式,因此它迅速成为目前计算机图形学领域中的研究热点。 2三维建模技术 三维重建技术能够从二维图像出发构造具有真实感的三维图形,为进一步的场景变化和组合运算奠定基础,从而促进图像和三维图形技术在航天、造船、司法、考古、 工业测量、 电子商务等领域的深入广泛的应用。3基于图像的三维重建技术 基于图像的建模最近几年兴起的一门新技术,它使用直接拍摄到的图像,采用尽量少的交互操作,重建场 景。 它克服了传统的基于几何的建模技术的许多不足,有无比的优越性。传统的三维建模工具虽然日益改进,但构建稍显复杂的三维模型依旧是一件非常耗时费力的工作。考虑到我们要构建的很多三维模型都能在现实世界中找到或加以塑造,因此三维扫描技术和基于图像建模技术就成了人们心目中理想的建模方式;又由于前者一般只能获取景物的几何信息,而后者为生成具有照片级真实感的合成图像提供了一种自然的方式,因此它迅速成为目前计算机图形学领域中的研究热点。 4 基于图像重建几何模型的方法 4.1 基于侧影轮廓线重建几何模型 物体在图像上的侧影轮廓线是理解物体几何形状的 一条重要线索1当以透视投影的方式从多个视角观察某一空间物体时,在每个视角的画面上都会得到一条该物体的侧影轮廓线,这条侧影轮廓线和对应的透视投影中心共同确定了三维空间中一个一般形状的锥体1显然,该物体必将位于这个锥体之内;而所有这些空间锥体的交则构成了一个包含该物体的空间包络1这个空间包络被称为物体的可见外壳,当观察视角足够多时,可见外壳就可以被认为是该物体的一个合理的逼近。鉴于此类算法一般需要大量的多视角图像,因此图像的定标工作就变得非常复杂。 4.2采用立体视觉方法重建几何模型 基于立体视觉重建三维几何是计算机视觉领域中的经典问题,被广泛应用于自动导航装置。近年来,立体视觉 图像三维重建技术 康皓,王明倩,王莹莹 (装甲兵技术学院电子工程系,吉林长春130117) 摘要:基于图像的三维重建属于计算机视觉中的一个重要的研究方向,从提出到现在已有十多年的历史。文章首先对三维重建技术做了详细阐述,并着重从计算机图形学的研究角度对基于图像建模技术进行了综述,介绍了 具有代表性的基于图像建模的方法及其最新研究进展,给出了这些方法的基本原理, 并对这些方法进行分析比较,最后对基于图像建模技术的未来研究给出了一些建议和应解决的问题。关键词:三维建模技术;图像建模技术;计算机图形学;虚拟现实中图分类号:TP271文献标识码:A 文章编号1006-8937(2009)11-0042-02 Three-dimensional image reconstruction technique KANG Hao,WANG Ming-qian,WANG Ying-ying (DepartmentofElectronicEngineering,ArmoredInstituteofTechnology,Changchun,Jilin130117,China) Abstract:Image-based Three-dimensional reconstruction is an important research direction in computer vision ,from now more than ten years'history.This article first describes three-dimensional reconstruction technique in detail and review image-based modeling techniques from the perspective of computer graphics research,introduce a representative of the method of image-based modeling and the latest research progress,give the basic principles of these methods,analysis and compare these methods,finally,give a number of recommendations and problems which should be solved on image-based modeling technology for future research. Keywords:three-dimensional modeling techniques;image modeling techniques;computer graphics;virtual reality 收稿日期:2009-03-19 作者简介:康皓(1978-),女,吉林长春人,硕士研究生,讲师,研 究方向:计算机辅助设计与编程。 TECHNOLOGICAL DEVELOPMENT OF ENTERPRISE 2009年6月Jun.2009 企业技术开发 第28卷

三维重建综述

三维重建综述 三维重建方法大致分为两个部分1、基于结构光的(如杨宇师兄做的)2、基于图片的。这里主要对基于图片的三维重建的发展做一下总结。 基于图片的三维重建方法: 基于图片的三维重建方法又分为双目立体视觉;单目立体视觉。 A双目立体视觉: 这种方法使用两台摄像机从两个(通常是左右平行对齐的,也可以是上下竖直对齐的)视点观测同一物体,获取在物体不同视角下的感知图像,通过三角测量的方法将匹配点的视差信息转换为深度,一般的双目视觉方法都是利用对极几何将问题变换到欧式几何条件下,然后再使用三角测量的方法估计深度信息这种方法可以大致分为图像获取、摄像机标定、特征提取与匹配、摄像机校正、立体匹配和三维建模六个步骤。王涛的毕业论文就是做的这方面的工作。双目立体视觉法的优点是方法成熟,能够稳定地获得较好的重建效果,实际应用情况优于其他基于视觉的三维重建方法,也逐渐出现在一部分商业化产品上;不足的是运算量仍然偏大,而且在基线距离较大的情况下重建效果明显降低。 代表文章:AKIMOIO T Automatic creation of3D facial models1993 CHEN C L Visual binocular vison systems to solid model reconstruction 2007 B基于单目视觉的三维重建方法: 单目视觉方法是指使用一台摄像机进行三维重建的方法所使用的图像可以是单视点的单幅或多幅图像,也可以是多视点的多幅图像前者主要通过图像的二维特征推导出深度信息,这些二维特征包括明暗度、纹理、焦点、轮廓等,因此也被统称为恢复形状法(shape from X) 1、明暗度(shape from shading SFS) 通过分析图像中的明暗度信息,运用反射光照模型,恢复出物体表面法向量信息进行三维重建。SFS方法还要基于三个假设a、反射模型为朗伯特模型,即从各个角度观察,同一点的明暗度都相同的;b、光源为无限远处点光源;c、成像关系为正交投影。 提出:Horn shape from shading:a method for obtaining the shape of a smooth opaque object from one view1970(该篇文章被引用了376次) 发展:Vogel2008年提出了非朗伯特的SFS模型。 优势:可以从单幅图片中恢复出较精确的三维模型。 缺点:重建单纯依赖数学运算,由于对光照条件要求比较苛刻,需要精确知道光源的位置及方向等信息,使得明暗度法很难应用在室外场景等光线情况复杂的三维重建上。 2、光度立体视觉(photometric stereo) 该方法通过多个不共线的光源获得物体的多幅图像,再将不同图像的亮度方程联立,求解出物体表面法向量的方向,最终实现物体形状的恢复。 提出:Woodham对SFS进行改进(1980年):photometric method for determining surface orientation from multiple images(该文章被引用了891次) 发展:Noakes:非线性与噪声减除2003年; Horocitz:梯度场合控制点2004年; Tang:可信度传递与马尔科夫随机场2005年; Basri:光源条件未知情况下的三维重建2007年; Sun:非朗伯特2007年; Hernandez:彩色光线进行重建方法2007年;

基于双目立体视觉三维重建系统的制作流程

本技术公开了一种基于双目立体视觉三维重建系统,涉及三维重建系统技术领域;机箱的底部四角处均固定安装有行走轮,机箱的内部分别固定安装有蓄电池与处理计算机,机箱的上端分别固定安装有显示器与安装架,安装架上通过轴承座固定安装有主轴,主轴的下端固定安装有安装齿轮,安装齿轮与驱动齿轮相啮合,驱动齿轮固定安装有驱动电机的轴上,驱动电机通过螺栓安装在安装架上,主轴的上端固定安装有连接轴,连接轴为横向设置,连接轴的两端固定安装有双摄像头,连接轴的中上端固定安装有照明灯;本技术能够实现快速控制,稳定性高,且控制准确,操作简便,能够节省时间;使用方便,结构简单,且效率高,能够在检测时进行补光。 技术要求

1.一种基于双目立体视觉三维重建系统,其特征在于:包括机箱、行走轮、蓄电池、处理计算机、显示器、安装架、驱动齿轮、驱动电机、安装齿轮、主轴、连接轴、双摄像头、照明灯;机箱的底部四角处均固定安装有行走轮,机箱的内部分别固定安装有蓄电池与处理计算机,机箱的上端分别固定安装有显示器与安装架,安装架上通过轴承座固定安装有主轴,主轴的下端固定安装有安装齿轮,安装齿轮与驱动齿轮相啮合,驱动齿轮固定安装有驱动电机的轴上,驱动电机通过螺栓安装在安装架上,主轴的上端固定安装有连接轴,连接轴为横向设置,连接轴的两端固定安装有双摄像头,连接轴的中上端固定安装有照明灯,蓄电池通过导线与处理计算机、显示器的电源端电连接,双摄像头通过导线与处理计算机的输入端电连接,处理计算机的输出端分别与驱动电机、照明灯电连接,显示器与处理计算机的输入、输出端电连接。 2.根据权利要求1所述的一种基于双目立体视觉三维重建系统,其特征在于:所述显示器为触摸式显示屏。 3.根据权利要求1所述的一种基于双目立体视觉三维重建系统,其特征在于:所述行走轮为减震式万向行走轮。 4.根据权利要求1所述的一种基于双目立体视觉三维重建系统,其特征在于:所述驱动电机为低速电机。 5.根据权利要求1所述的一种基于双目立体视觉三维重建系统,其特征在于:所述照明灯为LED灯。 技术说明书 一种基于双目立体视觉三维重建系统 技术领域 本技术属于三维重建系统技术领域,具体涉及一种基于双目立体视觉三维重建系统。 背景技术

双目视觉三维重构公式

双目视觉三维重构总结 1 照相机成像过程 数码照相机的成像过程可通过四个坐标系的三次转换来表达,这四个坐标系分别为:(1)世界坐标系—根据自然环境所选定的坐标系,坐标用(w w w Z Y X ,,)来表示。(2)光心坐标系(相机坐标系)—以相机的光心O 为坐标原点,c X 轴、c Y 轴分别平行于CCD 平面的两条垂直边,c Z 轴与相机的光轴重合,坐标用(c c c Z Y X ,,)来表示。 (3)图像坐标系—坐标原点l O 在CCD 图像片面的中心,X 轴、Y 轴分别为平行于CCD 平面的两条垂直边,坐标用(x ,y )表示。(4)像素坐标系—坐标原点o O 在CCD 图像平面的左上角,U 轴、V 轴分别平行于图像坐标系的X 轴、Y 轴,坐标用(u ,v )来表示,该坐标值为离散的整数值。 图表 1 数码相机成像坐标系 三个转换过程分别是:(1)将世界坐标系中的信息转换到光心坐标系。(2)光心坐标系中的信息按照针孔模型规律转换到图像坐标系。(3)

最后由图像坐标系转换成像素坐标系。 光学成像的理论模型是针孔模型,根据这个模型,空间任一点P 由光心坐标系向图像坐标系的转换过程符合中心射影或透视投影理论,在图像坐标系中的投影P 可以用光心O 与P 点的连线与图像坐标系平面的交点来表示,数学表达如下: c c z x f x ?= c c z y f y ?= 其中(x,y )是P 点的图像坐标,(c c c Z Y X ,,)为空间点P 在光心坐标系下的坐标,f 为相机焦距。可以用齐次坐标与矩阵表示上述中心影射关系: ????? ?????????????????=??????????101 000000 1c c c c z y x f f y x z 图像坐标系与像素坐标系之间的转换关系如下: 0u dx x u += 0v dy y v += 其中dx 、dy 分别是表示CCD 在x 和y 方向的像素点间距。齐次坐标及矩阵表示如下: ?? ???????????????? ??????? ?=??????????1100 100 1100y x v dy u dx v u

一种基于机器视觉的结构光三维扫描系统

一种基于机器视觉的结构光三维扫描系统 0 引言 随着制造技术的快速发展和制造领域的不断扩大,使得对制造产品的质量要求也越来越高。传统意义上很多对产品的检测方法已经不能适应现代制造业的要求。计算机视觉检测技术具有操作、维护简单,测量速度快,精度高,测量范围广等众多无可比拟的优点,被认为是检测技术领域中最具有发展潜力的技术。机器视觉被称为自动化的眼睛,在国民经济、科学研究及国防建设上都有着广泛的应用。机器视觉不但可以实现无接触观测,还可以长时间保持精度,因此,机器视觉系统可以广泛应用于长时间的、恶劣的环境。 在此探讨了线性结构光三维扫描系统的特点。设计一种能够测量物体深度的结构光三维扫描系统,通过图像处理技术对激光条纹进行提取,并建立数学模型,采用三角法测量方法获取深度信息,对工件图像进行重建。最后,实验结果验证了该系统的有效性。 1 基于机器视觉的结构光三维扫描系统模型结构光测量是将激光器发出的光束经过光学系统形成某种形式的光,包括点、单线、多线、单圆、同心多圆、网格、十字交叉、灰度编码图案、颜色编码图案和随机纹理投影等投向景物,在景物上形成特定的图案,并通过图像处理,对图案进行提取,然后根据三角法进行计算,从而得到景物表面的深度信息。根据投射光图案的种类可分为单点法、单线法和图案法。1.1 系统的硬件结构设计 如图 1 所示,文中所设计的结构光三维扫描系统由3大部分组成,分别 是运动平台、激光器和摄像机。系统的运动平台由导轨丝杠机构成,丝杠上的滑块带动工件左右运动,丝杠由伺服马达驱动。摄像机垂直于导轨运动平面。激光器和摄像机与摄像机呈固定角度安装。激光器所射出的线形光斑垂直于工件的运动方向。激光器与摄像机的相对角度可以调节,调节范围由20~?45。之间。运动平台行程为100 mm,图像分辨率为0. 2 mm/pixel。 1.2 系统的数学模型建立 系统的数学模型如图2所示。工件放置于运动平台上,摄像机垂直安装在运动平台正上方,激光与水平面的夹角B,激光器产生一字的线性结构光, 由于物体表面与运动平台的高度差,条形光斑同时照射在物体上的A处和平台的B处。用摄像机获得光斑的图像,经图像采集卡输入至计算机,经过图像处理,可以测量出点A与点B的距离d,根据三角法公式tan 9 =H/d,可以通过光斑间距d 计算出工件的高度H。因此物坐标和像坐标对应关系为:其中:xg,yg,zg 分别为物坐标;k 为像素一毫米转换系数;xi ,yi 分别为图像坐标。 2 结构光光斑提取的相关理论与方法 从系统的数学模型可知,物体的深度信息H主要受9和d的影响,而9主要表现为系统误差。因此,有必要对条纹间距d进行深入研究,以提高系统的精度。其主要包括:图像增强、图像二值化以及图像细化。 2.1 图像增强图像增强主要增加图像的对比度,突出图像中的高频部分。算法描述为:设原图像的灰度级为x,其最大和最小灰度级分别为xmax和xmin期望图像

结构光三维视觉测量

结构光三维视觉测量 1、应用简介结构光视觉方法的研究最早出现于20 世纪70 年代。在诸多的视觉方法中,结构光三维视觉以其大量程、大视场、较高精度、光条图像信息易于提取、实时性强及主动受控等特点,近年来在工业三维测量领域得到了广泛的应用。 2、系统设计原理、方框图、原理图结构光三维视觉是基于光学的三角法测量原理。如图所示,光学投射器(可以是激光器,也可以是投影仪)将一定模式的结构光投射于物体的表面,在表面形成由被测物体表面形状所调制的光条三维图像。该三维图像由处于另一位置的摄像机摄取,从而获得光条二维畸变图像。光条的畸变程度取决于取决于光学投射器与摄像机之间的相对位置和物体表面形廓(高度)。直观上,沿光条显示出的位移(或偏移)与物体的高度成比例,扭结表示了平面的变化,不连续显示了表面的物理间隙。当光学投射器与摄像机之间的相对位置一定时,由畸变的二维光条图像坐标便可重现物体表面的三维形廓。结构光三维视觉测量系统由光学投射器、摄像机、和计算机系统三部分构成。根据光学投射器所投射的光束模式的不同,结构光模式可分为点结构光模式、线结构光模式、多线结构光模式和网格结构光模式。线结构光模式复杂度低、信息量大,应用最为广泛。下图为线结构光打在标定板和被测物体的光条图像。 3、选型原则、精度分析结构光视觉传感器的测量精度受诸多因素的影响,如摄像机本身的光学物理参数、光学投射器特征参数、传感器本身的结构参数及外界干扰源等等。在摄像机、光学投射测量环境一定的情况下,测量系统的结构参数对测量精度影响很大。实验和相关理论推导表明,测量点的定位误差和系统结构相关性如下:1)摄像机光轴和光 平面垂直时,深度方向的测量误差最小。2)摄像机与光学投射器距离越远, 测量误差越小。3)摄像机镜头放大倍率越小,测量误差越小;这也表面被测

双目立体视觉中的三维重建

西安邮电大学 毕业设计(论文)题目:双目立体视觉中的三维重建 系别:自动化学院 专业:测控技术与仪器 班级:测控0802班 学生姓名:吕海斌(07) 导师姓名:江祥奎职称:讲师 起止时间:2012年3月8日至2012年6月20

诚信声明书 本人声明:我将提交的毕业论文《双目立体视觉中的三维重建》是我在指导教师指导下独立研究、写作的成果,论文中所引用他人的无论以何种方式发布的文字、研究成果,均在论文中加以说明:有关教师、同学和其他人员对本文的写作、修订提出过并为我再论文中加以采纳的意见、建议,均已在我的致谢中加以说明并深致谢意。 论文作者吕海斌时间:2012年6 月7 日 指导教师已阅时间:年月日

西安邮电大学 毕业设计(论文)任务书 学生姓名吕海斌指导教师江祥奎职称讲师 院别自动化学院专业测控0802 题目双目立体视觉中的三维重建 任务与要求 本题目要求在搭建双目立体视觉平台的基础上,通过OpenGL和MATLAB联合编程实现三维重建功能。具体任务分解如下: 1.查找文献,学习和掌握三维重建方法; 2.完成三维重建的MATLAB编程,并对实验数据进行相关分析;3.通过OpenGL,实例编程实现三维重建; 4.通过OpenGL和MATLAB联合编程,完成三维重建; 开始日期2011年12月10日完成日期2012年6月25日 院长(签字) 2012 年12 月日

西安邮电大学 毕业设计 (论文) 工作计划 学生姓名__吕海斌_指导教师__江祥奎__职称__讲师_ 院别____自动化学院____专业____测控0802___ 题目_____ 双目立体视觉中的三维重建 工作进程

一种基于OpenCV的三维重建实现方案

一种基于OpenCV的三维重建实现方案 摘要本文以计算机视觉三维重建技术为研究对象,分析了开放计算机视觉函数库OpenCV中的三维重建模型,通过六个步骤,特别是摄像机标定和立体匹配中极线约束方法的使用,给出了基于OpenCV的三维重建算法。该算法充分发挥了OpenCV的函数库功能,提高了计算的精度效率,具有良好的跨平台移植性,可以满足各种计算机视觉系统的需要。 关键词计算机视觉;三维重建;OpenCV;摄像机标定;极线约束 1 引言 三维重建技术是计算机视觉、人工智能、虚拟现实等前沿领域的热点和难点,也是人类在基础研究和应用研究中面临的重大挑战之一。基于图像的三维重建是图像处理的一个重要研究分支,作为当今热门的虚拟现实和科学可视化的基础,它被广泛应用于检测和观察中。一个完整的三维重建系统通常可分为图像获取、摄像机标定、特征点提取、立体匹配、深度确定和后处理等6大部分[1] [3]。其中精确标定摄像机内外参数和立体匹配是三维重建中最重要也是最困难的问题。 开放源代码的计算机视觉类库OpenCV(Open Source Computer Vision Library)由英特尔公司位于俄罗斯 的研究实验室所开发,它是一套可免费获得的由一些C函数和C++类所组成的库,用来实现一些常用的图像处理及计算机视觉算法[2]。OpenCV与英特尔公司所开发的另一图像处理库IPL(Image Processing Library) 兼容, IPL用于实现对数字图像的一些低级处理,而OpenCV则主要用于对图像进行一些高级处理,比如说特征检测与跟踪、运动分析、目标分割与识别以及3D重建等。由于OpenCV的源代码是完全开放的,而且源代码的编写简洁而又高效,特别是其中大部分的函数都已经过汇编最优化,以使之能高效而充分地利用英特 尔系列处理芯片的设计体系,对于Pentium MMX, Pentium, Pentium Ⅲ及Pentium Ⅳ这些处理器而 言,OpenCV的代码执行效率是非常高的,所以近年来在国外的图像处理相关领域中被广泛地使用,成为一种 流行的图像处理软件。OpenCV中的摄像机标定模块为用户提供了良好的接口,同时支持Windows、Linux 平台,有效地提高了开发效率,并且执行速度快,具有良好的跨平台移植性,因此可以很好地应用于工程实际当中。 2 三维重建的基本原理 2.1 图像获取 立体图像的获取是立体视觉的基础,图像获取的方式很多,主要取决于应用的场合和目的,还要考虑视点差异、光照条件、摄像机性能以及景物特点等因素的影响,以利于立体计算。 2.2 摄像机标定[4] 摄像机标定是为了建立成像模型、确定摄像机的位置和属性参数,以确定空间坐标系中物体点同它的像点之间的对应关系。两个摄像机都要标定,如果摄像机是固定的,当从2-D计算机图像坐标推导3-D信息时,只需一次标定。

双目立体视觉的三维人脸重建方法

第4卷第6期2009年12月 智能系统学报 CAAIT豫nsactionsonIntell培entSystems V01.4№.6 Dec.2009 doi:10.3969/j.issn.16734785.2009.06.008 双目立体视觉的三维人脸重建方法 贾贝贝,阮秋琦 (北京交通大学计算机与信息技术学院,北京100044) 摘要:创建逼真的三维人脸模型始终是一个极具挑战性的课题.随着三维人脸模型在虚拟现实、视频监控、三维动画、人脸识别等领域的广泛应用,三维人脸重建成为计算机图像学和计算机视觉领域的一个研究热点.针对这一问题,提出一种基于双目立体视觉的三维人脸重建方法,重建过程中无需三维激光扫描仪和通用人脸模型.首先利用标定的2台摄像机获取人脸正面图像对,通过图像校正使图像对的极线对齐并且补偿摄像机镜头的畸变;在立体匹配方面,选择具有准确可靠视差的人脸边缘特征点作为种子像素,以种子像素的视差作为区域生长的视差,在外极线约束、单调性约束以及对应匹配的边缘特征点的约束下,进行水平扫描线上的区域生长,从而得到整个人脸区域的视差图,提高了对应点匹配的速度和准确度;最后,根据摄像机标定结果和立体匹配生成的视差图计算人脸空间散乱点的三维坐标,对人脸的三维点云进行三角剖分、网格细分和光顺处理.实验结果表明,该方法能够生成光滑、逼真的三维人脸模型,证明了该算法的有效性. 关键词:三维人脸模型;双目立体视觉;摄像机标定;极线几何;立体匹配;区域生长;三角剖分 中图分类号:TP391文献标识码:A文章编号:16734785(2009)06旬513加8 3Df.acereconstructionusingbinocu【larstereoVision JIABei_bei,RUANQiu—qi (Sch00lofComputerScienceandInformationTechnology,BeijingJiaotongUniVersity,Beijingl()0044,Chim) Abstract:Generationoflifelike3Dhumanfacesisachallengingtask.Recentincreasesintheuseof3Dfacemod-elsinvirtualreality,videosurveillance,3Danimation,andfacerecognitionhaveledto3Dfacereconstmctionbe—comingaresearchhotspot.Theauthorspmposeda 3DfacereconstmctionmethodbasedonbinocularstereoVisiontheory.Aftercapturingthef而ntviewofafacewithtwocalibmtedcameras,thecapturedpairofstereoimageswereI℃ctinedtoaligntheirepipolarlinesandcompensatefbrimagedistortions.Toobtainmapswithaccumtematchinganddensedisparity,astereomatchingalgorithmbasedonregiongrowingwasdeVeloped.Anedgefeaturepointwithreliabledisparitywasselectedasaseedpoint.Thenregiongrowingwaspedb瑚edalonghorizontalscan—linesundermulti-constraints.WithcameI-acalibrationanddispa“tymapping,3Dcoordinatesofcorrespondingpointswerecalculated.Thenthefacemodelwasreconstmctedwithaseriesofmethods,suchas【)elaunaytriangulation,meshsubdivisionandsmoothing.Experimentalresultsshowedthatthemethodcangenerateasmoothandlifelike3Dfacemodel. Keywords:3Dfacemodel;binocularstereovision;camemcalibration;epip01argeometry;stereomatching;regiongrowing;delaunaytdangulation 由于人脸信息在人类日常生活和生产实践中起着十分重要的作用,而人脸重建提供了表达和处理人脸信息的有效手段,因此三维人脸重建是一项具 收稿日期:2009旬4一15. 基金项目:国家自然科学基金资助项目(60672062);高等学校博士学科点专项科研基金资助项目(200800040008). 通信作者:贾贝贝.E—mail:jiabeibei0129@163.com.有重大意义的研究课题.自20世纪70年代Parke建立第一个脸部模型¨o开始,许多研究人员致力于三维人脸建模的研究.近年来,随着三维人脸模型在虚拟现实、三维动画、视频监控、人脸识别等领域的广泛应用,三维人脸重建已经成为计算机图像和计算机视觉领域的一个研究热点.然而,由于人脸具有复杂的几何形状和表面材质,同时头发的模拟、逼真 万方数据

基于双目立体视觉的三维重构算法的研究

黑龙江大学硕士学位论文 目录 中文摘要………………………………………………………………………………IAbstract………………………………………………………………………………………………………??II目录………………………………………………………………………………..IV第l章绪论…………………………………………………………………………11.1课题研究的目的和意义………………………………………………………‘11.2国内外发展概述………………………………………………………………?21.3本文研究的主要内容…………………………………………………………?5第2章摄像机的标定………………………………………………………………‘72.1引言……………………………………………………………………………72.2摄像机标定中坐标系的关系…………………………………………………”82.2.1摄像机模型和它的光学成像过程………………………………………?102.3传统的摄像机标定方法………………………………………………………l32.3.1Tsai’S万能摄像机标定法…………………………………………………132.3.2Weng。S摄像机标定法……………………………………………………142.3.3张正友平板标定法………………………………………………………162.4标定实验结果及分析…………………………………………………………182.5本章小结……………………………………………………………………?19第3章图像的预处理………………………………………………………………203.1中值滤波……………………………………………………………………?203.2直方图均衡化………………………………………………………………一213.3拉普拉斯锐化…………………………………………………………………213.4图像预处理结果……………………………………………………………..223.5本章小结……………………………………………………………………?25第4章特征点的提取算法和立体匹配算法………………………………………26

相关文档
最新文档