立体视觉技术的应用与发展

收稿日期:2008-12-28

基金项目:上海市科学技术委员会资助项目(06dz2105)

作者简介:周 星(1986-),男,江苏南通人,硕士研究生,主要研究方向为视觉导航技术、路径规划技术等。

计算机立体视觉是被动式测距方法中最重要的距离感知技术,它直接模拟了人类视觉处理景物的方式,可以在多种条件下灵活地测量景物的立体信息。其作用是其它计算机视觉方法所不能取代的,对它的研究无论从视觉生理的角度还是在工程应用中都具有十分重要的意义。计算机立体视觉的开创性工作是从20世纪60年代中期

开始的,美国麻省理工学院的Robert 把2维图像

分析推广到3维景物分析,标志着计算机立体视觉技术的诞生,并在随后的20年中迅速发展成一门新的学科。特别是20世纪70年代末,Marr 等创立的视觉计算理论[1-2]对立体视觉的发展产生了巨大影响,现已形成了从图像获取到最终的景物可视表面重建的比较完整的体系[3]。

2010年 工 程 图 学 学 报 2010第4期 JOURNAL OF ENGINEERING GRAPHICS No.4

立体视觉技术的应用与发展

周 星, 高志军

(上海航天技术研究院第805研究所,上海 201108)

摘 要:对双目视觉的理论基础、基本原理及其核心技术-立体匹配技术进行了系统的研究与总结,简要介绍了双目视觉技术在DARPA2005挑战赛、美国勇气与机遇号火星车及上海航天局805所研制的攻关样机MR -3上的应用,最后根据目前立体视觉的发展现状和存在的问题提出今后的发展方向。

关 键 词:计算机应用;双目视觉技术;立体匹配;视差 中图分类号:TP 391

文献标识码:A 文 章 编 号:1003-0158(2010)04-0050-06

Application and Future Development of Stereo Vision Technology

ZHOU Xing, GAO Zhi-jun

( NO805 Institute, Shanghai Academy of Spaceflight Technology, Shanghai 201108, China )

Abstract: The theory and principle of binocular vision is studied, as well as its crucial

technology-stereo matching. Also, the applications of binocular vision on Stanley and Spirit and Opportunity, the Mars Exploration Rover developed by NASA as well as the research platform-MR-3, developed by NO805 Institute, Shanghai Academy of Spaceflight Technology, are presented. Finally, the application and future development of stereo vision is proposed according to the current level and technical bottleneck of stereo vision.

Key words: computer application; binocular vision technology; stereo matching; disparity

本文立足于双目视觉导航技术,简要阐述其基本原理,着重论述视觉导航技术的核心——立体匹配技术的研究现状与进展[4],最后总结分析目前双目视觉导航技术研究存在的问题和今后的发展方向。

1 双目视觉导航技术

1.1 双目视觉的基本原理[5]

人眼在观察物体时存在视差和频差,这一发现奠定了双目立体视觉的理论基础。双目立体视觉是由不同位置的两台或者一台摄像机(CCD)经过移动或旋转拍摄同一幅场景,通过各种算法匹配出相应像点,从而计算出视差,然后基于三角测量原理恢复深度(距离)信息。80年代美国麻省理工学院人工智能实验室的Marr 创建了视觉计算理论并应用于双眼匹配,双目视觉直接模拟人类双眼处理景物的方式,可靠简便,在许多领域均极具应用价值。

双目立体视觉技术[6]的实现可分为以下步骤:图像采集、图像处理、立体匹配、三维重建。

典型的双目立体视觉系统如图1所示。

y 1

y 2

O 1O 2

x 1

x 2

C 1

C 2

P 1

P 2

I 1

I 2

z 1

z 2

P (x , y , z )

图1 双目立体视觉系统原理示意图

图1中C 1,C 2是两个光轴平行放置的摄像机,它们的x 轴重合,y 轴平行,I 1,I 2分别是它们的成像平面,O 1,O 2分别是它们的光心。两个摄像机坐标系只相差x 轴方向的平移距离b ,称为基线长度。任意物点P 在I 1,I 2上的成像点分别为P 1,P 2,通过外极线矫正使它们具有相同的y 坐标,它们的图像坐标之间的差值d ,就是视差。 当摄像机焦距f 已知,任意物点P 的深度信息,即P 点在其中一个摄像机坐标系z 轴上的坐标可由式(1)计算得到

d

f

b z ?=

(1) 在得到深度信息后,可以根据摄像机线性成像几何模型及三角测量原理求得物点P 在摄像

机坐标系下的X c ,Y c 分量,如式(2)、式(3)所示。

()0c b U U X d

?=

(2)

()0c b V V Y d

?=

(3)

这样就得到了视差图里各点在摄像机坐标系下的三维坐标。其中,图像中心坐标U 0,V 0和焦距f 都属于摄像机的内部参数,可以通过摄像机标定获得。 1.2 立体匹配技术[7]

立体匹配是立体视觉中最困难的一步。客观景物被投影为二维图像时,景物的丰富信息(如光照背景,几何形状,环境特征,畸变等)最终以像素的灰度值反映,立体匹配是典型的视觉计算“病态”问题,因此对图像无歧义的匹配是相当困难的。立体匹配方法必须解决3个问题:

(1) 正确选择图像的匹配特征; (2) 寻找特征间的本质属性; (3) 建立正确的匹配策略。

目前,立体匹配的研究基本上分为两个方向:① 从理解人类视觉的立体融合机制出发,试图建立一种通用的人类双眼视觉计算模型;②从实际应用和要求出发,建立实用的立体视觉系统。

1.2.1 匹配约束准则

辨认两幅图像中的对应位置之所以很难,其原因在于存在假目标问题。这时就需要某些附加的信息,以便用某种方法来得到正确的匹配。这里的附加信息就是匹配约束准则。对于一对立体图对,首先必须考虑的3条约束准则是:

(1) 相容性 两匹配元素必须由同一物理标记产生;

(2) 唯一性 一个特征点最多只能和另一幅图上的一个特征点相匹配;

(3) 连续性 匹配得到的视差值在图像平面上几乎处处平滑。

第4期 周 星等:立体视觉技术的应用与发展 ·51·

在实际应用中,还会分析特定的应用环境,加入完备的先验知识,增加约束条件使匹配问题得到简化,如外极限约束就把一个二维空间搜索问题降为一维搜索问题,大大减小了运算量;又如在立体相机安装的时候,由安装基线长度可以估算视差的范围,从而进一步简化一维搜索问题。实践证明,增加必要的约束条件是可行的,而且很多匹配算法的优化也是基于对实际环境约束条件的提取。

1.2.2 匹配算法[8]

在目前的立体视觉研究中,绝大多数都是针对各自的应用目的和要求建立实用的立体视觉系统。根据匹配基元的不同,立体匹配技术可以分为3大类:区域匹配、特征匹配、相位匹配。

(1)区域匹配

区域匹配以基准图的待匹配点为中心创建一个窗口,用邻域像素的灰度值分布来表征该像素,然后在对准图中搜索这么一个像素,以其为中心创建同样的一个窗口,并将其邻域像素的灰度值分布来表征它,两者间的相似性必须满足一定的阈值条件。

(2)特征匹配[9-10]

特征匹配是为使匹配过程满足一定抗噪能力且减少歧义性问题而提出。一般地,用于匹配的特征应满足以下特性:唯一性、再现性、具有物理意义。

基于特征的匹配一般含有特征提取和定位、特征描述、特征匹配三个步骤。作为匹配基元的特征分为局部特征和全局特征两大类。面向点、线、面和局部能量等局部特征提取的算法很多。全局特征的定义和提取和具体应用有关,如用于人脸匹配的三角形网格结构就是全局特征的一种。

(3)相位匹配

继区域匹配和特征匹配出现之后,Kuglin和Hines[11]等提出了第三种立体视觉匹配算法——相位匹配。相位匹配基于这么一个假定,即认为像对中对应点的局部相位是相等的。考虑傅立叶变换的空间支撑为无限,一般地,相位匹配方法对带通滤波信号的相位信息进行处理而得到像对间的视差。最常用的相位匹配方法有相位相关法和相位差―频率法[12-13]。

1.3 双目视觉导航技术的技术难点

虽然双目视觉导航技术随着计算机科学技术的发展,逐渐成为主流的导航技术,但就其自身而言存在一些目前还未能很好解决的问题,归纳起来有以下几点:

(1)摄相机对环境的自适应能力

摄像机作为整个导航系统的数据来源,能否获得高质量的图像决定了整个导航系统的成败。

(2)运算量过大

在进行图像预处理及之后的立体匹配时,如果不对图像进行压缩会导致图像数据量过大而影响实时性要求,目前普遍采用的方法是首先对图像进行降采样,但这种做法只是在特定的假设条件下才是可行了,并没有理论依据,只是在算法精度与实时性之间获得折中。

(3)立体匹配精度

所谓立体匹配就是在左右摄像机所拍摄的两幅图中寻找对应点。通过外极线矫正可以使匹配空间由2维降至1维,大大减少了运算量。但目前的技术瓶颈是如何建立左右匹配对的相似性准则。对于不同的特征,相似性准则的选取决定着匹配精度。

(4)科学视觉模型的建立

目前,双目视觉模型是建立在Marr的视觉理论基础之上的,要能够完全达到人眼视觉模型还有很长的路要走。也许有一天,通过建立更为科学的双目视觉模型,以上问题都会迎刃而解。

2 双目视觉导航技术的应用

2.1 DARPA2005挑战赛上的应用

DARPA(Defense Advanced Research Projects Agency)由美国国防部主办,旨在开发出适合在未知地形里行驶的自主车。DARPA2005挑战赛斯坦福大学的自主车Stanley[14]以6小时53分钟58秒自主驾驶142英里最终获得冠军。

Stanley的成功取决于很多方面,如多传感器融合,路径规划策略,速度选择等等。而双目视觉技术也在其中得到应用并发挥着至关重要的作用,Stanley利用雷达进行障碍物检测,最大检测距离为22m,由此对它造成的影响是车速最高只能达到25英里/每小时,否则难以保证安全行驶。在2005挑战赛中,开发小组估计要想成功的完成比赛,速度必须达到35英里/每小时,而由于受到雷达的局限,开发小组最终采用彩色相机来探测更大范围内的可行使区域。图2比较了

·52· 工 程 图 学 学 报 2010年

雷达成像地图和视觉成像地图。左图为雷达地图,其障碍物检测距离是22m ,右图是视觉地图,其障碍物检测距离是70m

(a) Laser map

(b) V ision map

ON COURSE: MILE 111.00VELOCITY: 29.2 MPH RDDF LIMIT: 30.0 MPH

ON COURSE: MILE 111.00VELOCITY: 29.2 MPH RDDF LIMIT: 30.0 MPH

图2 雷达地图与视觉地图比较

2.2 勇气号、机遇号火星车上的应用

双目立体视觉的成功运用典范当属在美国NASA 勇气号与机遇号火星探测车的应用,火星与地球的距离是5.57~40.13×107km ,从地面发射电磁波需要将近20分钟才能到达火星,这么大

的时延以及火星与地球之间直接通信的局限,很难做到通过遥控操作来控制火星车,这就对火星车的自主能力提出了很高的要求。

路径规划和位置检测需要高精度和高分辨率的地图做基础,而卫星地图不能满足要求,为了解决上述问题,Athena 火星车[15]共装备有四对立体相机,相机参数如表1所示。

表1 立体相机的技术参数

分辨率视场角 视角 基线长Navcam 1024×0.82 450 15cm Pancam

1024×

0.27 160 25cm

立体相机获取图像,经立体匹配、路径规划找到合适的导航路径,具体流程图及导航结果如图3所示[16]。

图 3 自主导航流程及结果

2.3 在研月球车上的应用

我国的嫦娥工程规划为三期,简称为“绕、落、回”三步走。二期工程“落”即发射月球软着陆器,并携带月球巡视勘察器(俗称月球车),在着陆区附近进行就位探测。

目前,全国高校及各科研单位都对月球车的研制有浓厚的兴趣并且投入了相当大的精力。上海航天局805所自1995年成立月球探测小组以来,完成了原理样机、试验样机和攻关样机的研制,在月球车探测技术领域取得了领先的优势。这里简要介绍双目视觉导航技术在攻关样机(简称MR-3,如图4所示)上的应用。

第4期 周 星等:立体视觉技术的应用与发展 ·53·

图4 MR-3攻关样机

2.3.1 立体相机

立体视觉系统采用了符合工业标准的高分辨率(1024*768)1394接口的数字CCD摄像机,采样率最大为10帧,两个摄像机固定安装在一个紧凑的立方体金属盒中,如图5所示。系统外形尺寸为:长157mm,宽47.4mm,高36mm,通过1394图像采集卡捕捉图像。镜头焦距固定,水平视角为70°。系统在应用之前经过精确的标定,标定信息包括:图像原点的位置,基线长度,最大视差范围和镜头径向失真校正。

摄像机

图5 立体视觉系统

经过实测,相机双目公共区水平视角为55°,垂直视角为40°。

2.3.2 实现算法

由于月球地表在局域范围内的纹理色彩并不是很丰富,采用基于特征提取的方法来进行立体匹配获得的正确率不会很高。所以所采用的算法并不致力于特征点、线或面的提取,而是直接采用图像对进行特征匹配。同时月球表面由各种各样的矿物质组成,其表面粗糙度比环境光的波长大得多,因此在地表面的反射主要由漫散射组成。当两个相距不是很远的摄像机拍摄同一目标时,目标特征的灰度值及其邻域中各点的灰度值在两个摄像机中具有一定的相似性。具体的算法流程如图6所示。

图6 立体视觉算法流程

2.3.3 测试结果

用开发的“立体分析.exe”软件可查看左右相机拍摄到的图像,以及特征点图和深度信息图,如图7所示。

(a)(b)

(c)

图7 由立体视觉系统获得的左右两幅图像(a), (b)及由他们重建出的深度图和特征图(c)

由图7可以发现目前该系统已经能够很可靠的匹配出两幅图像中的特征,进而恢复出目标的深度信息,为视觉导航提供了比较可靠的数据源。

2.3.4 存在的问题及初步解决方法

在调试中发现在深度图右斜侧和左下脚区域有时会出现不稳定或错误数据,这主要是因为

·54· 工 程 图 学 学 报 2010年

这两个区域为左右相机公共视野区的两侧边界,处理起来会有些问题,如图8所示。目前解决方法是在提取三维数据时,丢弃了这两块区域的数据,以消除其影响,当然这对视野大小有一定影

响,但这影响很小。

图8 不稳定区域

目前立体系统对车轮在沙地上留下的齿轮印识别存在一定的问题,有时会识别出错误的数据,经过查看错误三维数据,发现大部分数据的y(高度)都很大或很小(一般是1米多,或两米多),而目前相机安装倾角和高度使得它最高只能看到离地0.5米,最低约深0.6米的地方,因此可在程序中判断y高度是否在(-0.6~0.5)米之间,可滤除一部分错误数据,经过测试效果有明显改善。当然还正在努力想从根本上解决误识别的问题。

3 双目视觉导航技术的发展方向

综上所述,要精确模拟人眼立体视觉系统还存在很多困难,但就其今后的发展方向有如下几个方面:

(1)深入研究人眼视觉机理,建立更有效的双目视觉模型,更充分地反映立体视觉不确定性的本质属性,为匹配提供更多的约束信息,降低立体匹配的难度;

(2)利用对人眼选择性注意机制的研究和主动视觉的方法解决视觉计算病态结构问题,选择性注意机制将不适定问题转化为适定问题并在已知摄像机的外部参数情况下,将非线性问题转化为线性问题;

(3)探索新的适用于立体视觉的计算理论和匹配策略,选择有效的匹配准则和算法结构,以解决存在灰度失真、几何畸变、噪声干扰、特殊结构的匹配问题;

(4)算法向并行化发展,提高速度,减少运算量,增强系统的实时性。

参考文献

[1] Marr D. Vision [M]. W H Freeman and Company,

1982. 25-40.

[2] [美] Marr D. 视觉计算理论[M]. 姚国正等译. 北京:

科学出版社, 1998. 65-90.

[3] 罗翔, 席文明, 颜景平. 一种双目主动立体视觉

系统的目标定位算法[J]. 东南大学学报, 2002, 32(1): 60-63.

[4] 游素亚, 徐光祐. 立体视觉研究的现状与进展[J].

中国图形图像学报, 1997, 2(1): 17-21.

[5] 贾云德. 机器视觉[M]. 北京: 科学出版社, 2001.

243-322.

[6] 李奇, 冯华君. 计算机立体视觉技术综述[J]. 光

学技术, 1999, (5): 71-73.

[7] 徐奕, 周军, 周源华. 立体视觉匹配技术[J]. 计

算机工程与应用, 2003, (1): 1-6.

[8] 潘华, 郭戈. 立体视觉研究的进展[J]. 计算机

测量与控制, 2004, 12(12): 1121-1124.

[9] Loaiza H, Triboulet J, Lelandais S. Matching segments

in stereoscopic vision [J]. IEEE Instrumentation & Measurement Magazine, 2001, (3): 37-42.

[10] Kuijper A, Florack L M J. On the creation of critical

points in scale space with application to medical

image analysis [R]. UU-CS-2001-25 TR.

[11] Kuglin C D, Hines D C. The phase correlation image

alignment method [C]//Proc. of IEEE Int. Conf. on

Cybernetics and Scociety, 1975: 163-165.

[12] 徐彦君, 杜利民, 侯自强. 基于相位的尺度自适应

立体匹配方法[J]. 电子学报, 1999, 27(7): 38-41. [13] 游素亚, 柳建, 徐光祐. 利用视觉相位鉴别能力

求解立体视觉匹配[J]. 电子学报, 1996, 24(10):

23-27.

[14] Sebastian Thrun, Mike Montemerlo. Stanley: the

robot that won the DARPA grand challenge [J].

Journal of Field Robotics, 2006, 23(9): 661-692. [15] 顾征, 苏显渝, 李美菊. “勇气”号火星车的全景

照相系统分析[J]. 激光杂志, 2005, 26(4): 48-50. [16] Maurette M. Mars rover autonomous navigation [J].

Autonomous Robots, 2003, (14): 199-208.

第4期 周 星等:立体视觉技术的应用与发展 ·55·

立体视觉技术的应用与发展

作者:周星, 高志军, ZHOU Xing, GAO Zhi-jun

作者单位:上海航天技术研究院第805研究所,上海,201108

刊名:

工程图学学报

英文刊名:JOURNAL OF ENGINEERING GRAPHICS

年,卷(期):2010,31(4)

被引用次数:0次

参考文献(16条)

1.Marr D Vision 1982

2.Marr D.姚国正视觉计算理论 1998

3.罗翔.席文明.颜景平一种双目主动立体视觉系统的目标定位算法 2002(1)

4.游素亚.徐光祐立体视觉研究的现状与进展 1997(1)

5.贾云德机器视觉 2001

6.李奇.冯华君.徐之海.韩一石.黄红强计算机立体视觉技术综述 1999(5)

7.徐奕.周军.周源华立体视觉匹配技术 2003(1)

8.潘华.郭戈立体视觉研究的进展 2004(12)

9.Loaiza H.Triboulet J.Lelandais S Matching segments in stereoscopic vision 2001(3)

10.Kuijper A.Florack L M J On the creation of critical points in scale space with application to medical image analysis.UU-CS-2001-25 TR

11.Kuglin C D.Hines D C The phase correlation image alignment method 1975

12.徐彦君.杜利民.侯自强.金贵昌基于相位的尺度自适应立体匹配方法 1999(7)

13.游素亚.柳建.徐光祐利用视觉相位鉴别能力求解立体视觉匹配 1996(10)

14.Sebastian Thrun.Mike Montemerlo Stanley:the robot that won the DARPA grand challenge 2006(9)

15.顾征.苏显渝.李美菊"勇气"号火星车的全景照相系统分析 2005(4)

16.Maurette M Mars rover autonomous navigation 2003(14)

相似文献(6条)

1.学位论文王玉柱基于双目视觉的钢轨磨耗测量系统关键技术的研究与实现2009

近年来随着高速铁路和重载运输的大力发展,客货运量和行车密度大幅度增长,钢轨磨耗日益严重。而我国钢轨磨耗大部分采用接触式卡距或其它接触式测量方法,存在劳动强度较大、精度较低、效率较低等缺点。研制新的非接触式的钢轨磨耗自动测量系统具有重大的意义。目前国内已有基于单目视觉的非接触式钢轨磨耗测量系统的研究。本文针对单目视觉的局限性将双目视觉技术应用到钢轨磨耗测量研究中,对系统关键技术进行了深入的研究,实现了钢轨磨耗的测量。

本文提出了一种基于双目视觉技术的非接触式钢轨磨耗测量方案。在对当前各种标定技术做出综合分析的基础上,提出了一种适合钢轨磨耗测量环境的倒凹字形标定模板,并针对该模板设计了随机Hough特征点提取算法和Tsai两步相机标定算法实现系统的精确标定。在此基础上,针对钢轨磨耗测量的具体要求,设计了图像处理模块,采用立体匹配算法实现了钢轨断面轮廓关键点的匹配,通过三维重建完成了钢轨断面磨耗的测量。

本文首先研究了当前各种近景摄影测量标定技术,然后详细介绍了系统的总体设计方案,其中包括系统标定、图像预处理、轮廓还原、匹配测量等模块的详细设计,并对各模块涉及的关键技术做了深入的研究。最后实现了钢轨磨耗测量系统软件AbrasionMeasurement1.0,并使用该软件进行了实际钢轨磨耗测量实验。实验结果表明本系统能够完成预期的钢轨磨耗测量任务,测量精度达到0.50mm,基本满足实际测量要求。该系统具有非接触、快速、结构小巧、上下道方便、显示直观等优点。本论文的研究成果为我国高速铁路钢轨的磨耗测量提出了一种可行的解决方案。

2.学位论文张静基于计算机视觉的虚拟手交互技术研究2006

随着虚拟现实技术的出现,新型人机交互形式也应运而生,传统的二维交互正逐渐向三维交互方向发展。虚拟现实中的人机交互与以往有着不同的特点,这种新型交互形式要能体现和谐自然和“以人为中心”的特征。其中,对人手的运动跟踪和识别在当今人机交互技术中起着重要的作用,研究它的主要目的就是为了实现既自然又直观的交互方式。

针对VCC实验室MOVE(多面沉浸式虚拟环境)系统的特点,本文将手部跟踪和识别引入到人机接口中,这更有利于系统今后的发展,使其具有更广阔的应用前景。本文的主要研究工作包括:

第一,双目视觉技术在人机交互中的应用:针对目前常用的手部跟踪设备——数据手套存在的缺陷,如价格昂贵、不灵活等缺点,本文利用摄像机拍摄的方法获取手的运动,避免了使用数据手套带来的不便,降低了对硬件的要求。双目视觉技术更易获得立体空间位置信息,因此本文基于双目视觉技术,着眼于对静态手形的识别,通过在手部设置关键点,简化了识别过程,保证了识别的实时性。

第二,手形仿真算法的研究与实现:由于人手是一个高自由度结构,而手形更是具有多样性和空间差异性等特点,这些必然增大了对人手运动仿真的复杂性。本文在分析手的运动学模型以及总结手运动约束关系的基础上,结合设计的简化计算模型,利用关节运动仿真算法推算出手指的运动位置,从而在虚拟环境中再现手的姿态,并进行了相关实验,实验结果证明了它的有效性。

第三,基于骨骼动画的手形仿真:为了让参与者体验更为真实的视觉效果,本文引入骨骼动画的原理,用更逼真的手模型映射到骨骼上,通过骨骼带动手模型运动的方式实现手形仿真,为今后在MOVE系统中实现自然交互奠定了基础。

3.学位论文林婉如双目视觉自标定技术的研究2010

随着工业的发展和计算机技术的进步,机器视觉在工业领域中的应用越来越广泛。目前发展比较成熟和应用较多的为双目视觉。双目视觉技术根据两幅图像对场景进行重构,还原出场景的三维信息。重构的前提是已知相机成像模型的参数,计算出世界坐标系和图像坐标系的转换关系。求解相机成像模型参数的过程即成为相机标定,相机标定技术主要可以分为传统的标定技术和自标定技术。传统的标定技术要求在拍摄的时候在相机前放置标定物,通过已知的标定物的信息对相机进行标定。这种方法的优点是模型简单,易于计算,但是在实际应用中要受标定物的约束。自标定技术则不需要标定物,利用射影不变量和极几何约束对相机进行标定,在实际应用中灵活。

本文根据射影几何和概率理论提出了两种自标定方法。一种是基于单目视觉技术的双目视觉自标定技术。针对场景中存在三组平行正交向量的情况,本文提出只需在两幅图像上选取三对匹配点,利用场景三组正交平行向量在图像平面上形成的消失点的信息对相机进行标定的方法。

针对相机自标定中的弱标定技术,即根据基本矩阵对相机进行标定的方法做出了研究,提出了找出最合理的基本矩阵的约束以提高基本矩阵的精确度。本文针对Mosian等人提出的通过概率计算找出最合理的基本矩阵的约束条件的模型做出了改进,在他们提出的点到极线距离的约束上提出了灰度匹配约束。在给出了两幅图像上的特征点但不知道这些点的匹配关系的情况下,通过概率模型计算出需要在给出的特征点里找出最合理的基本矩阵所需的灰度匹配约束量和点到极线的距离约束量,使得在特征点集合里存在较多的不匹配点的情况下,能够找出匹配最好的点集,计算出最合理的基本矩阵。

4.学位论文郭康德基于视觉的三维指尖检测算法和应用2010

和传统的鼠标、键盘等人机交互设备相比,手势是更自然、更便利的交互方式。基于手势的实时人机交互在虚拟现实领域有着重要的理论和应用价值,它可以用来实现三维鼠标以及用于人机交互的三维游戏中。

本文描述了通过计算机双目视觉技术,实现一个三维指尖检测系统的算法基础、框架实现以及其他关键技术,最后利用该系统实现了三维鼠标以及若干基于指尖点击、指尖移动以及手掌翻转等多种手势的三维手势交互游戏。

三维指尖检测系统由五个部分组成:第一部分是前景分割,实现了在线的肤色检测算法以及阈值结合混合多高斯背景减法算法,这两种前景分割算法可以根据系统使用的环境进行切换;第二部分是指尖检测,该部分包括单指尖检测和多指尖检测,单指尖检测算法包括基于骨架的端点搜索、基于轮廓K向量极值两种方式,多指尖检测算法通过手掌轮廓凸包以及缺陷属性来实现;第三部分是摄像机标定以及3D重建,摄像机标定通过一个自己设计的标记,利用OpenCV的标定函数获得世界坐标系的原点以及方位。3D重建部分利用在两个摄像机中得到的二维指尖位置,重建指尖在三维空间的位置;第四部分是Kalman滤波,Kalman滤波主要用来平滑指尖轨迹以及预测指尖3D位置,预测的3D位置会被投影到两个摄像机成像平面,然后用来设置前景分割的ROI区域;第五部分是获得指尖位置后的应用,用获得的指尖位置实现了点、线、面的交互,设计了三维鼠标交互系统,实现了指尖运动速度的参数化,并在这些交互方式的基础上实现了一些基于指尖手势的三维游戏。试验结果表明我们的算法是有效的。

5.学位论文李井辉基于双目视觉的3D信息重建技术研究2004

作为一个多学科交叉的领域,计算机视觉的理论研究和实际应用都取得了飞速的发展.尤其是近年来,图像科学的发展和计算机信息处理能力的增强,为计算机视觉的研究和应用提供了良好的条件.因此,对计算机视觉的进一步研究,具有重要的理论意义和实用价值.计算机立体视觉的主要研究内容是由多幅二维的平面图像恢复出被摄物体的三维坐标,而其中基于两幅图像的双目视觉技术则是一个研究热点.双目立体视觉的基本原理是模仿人眼与人类视觉的立体感知过程,从两个视点观察同一景物,以获取不同视角下的感知图像,通过三角测量原理计算图像像素间的位置偏差,以获取景物的三维信息.一个完整的双目视觉系统通常可分为图像获取、摄像机标定、特征提取、立体匹配、深度恢复和深度插值等六大部分.该论文主要是图像特征提取、立体匹配这两方面的内容展开研究.首先根据选择的立体视觉成像系统模型阐述了立体视觉测距的基本原理.其次,对图像特征提取等预处理方法进行详尽地分析,通过实例对算法进行实验.同时,对图像匹配问题涉及的内容包括图像匹配方式、质量控制策略等进行了总结:最后,以特征提取与图像匹配研究为基础,针对不同类型的立体图像提出了基于图像边缘特征和图像兴趣点的匹配方法,并通过实例对算法进行验证和分析,取得了较好的匹配效果.

6.学位论文唐志健基于立体视觉的深度信息恢复技术研究2006

基作为一个多学科交叉的领域,计算机视觉的理论研究和实际应用都取得了飞速的发展。尤其是近年来,图像科学的发展和计算机信息处理能力的增强,为计算机视觉的研究和应用提供了良好的条件。因此,对计算机视觉的进一步研究,具有重要的理论意义和实用价值。

计算机立体视觉的主要研究内容是由多幅二维的平面图像恢复出被摄物体的深度信息,而其中基于两幅图像的双目视觉技术则是一个研究热点。双目立体视觉的基本原理是模仿人眼与人类视觉的立体感知过程,从两个视点观察同一景物,以获取不同视角下的图像,通过三角测量原理计算图像像素间的位置偏差,以获取景物的深度信息。

一个完整的双目视觉系统通常可分为图像获取、摄像机标定、特征提取、立体匹配、深度恢复和深度插值等六大部分。本论文以道路图像为研究对象,以图像预处理、特征提取、立体匹配为主要研究内容。

本文根据立体视觉成像系统模型阐述了立体视觉测距的基本原理;对图像预处理和特征提取方法进行分析,并对算法进行实验;对立体匹配的内容、方法等进行了总结,以特征提取与图像匹配研究为基础,根据道路图像的具体特征,提出了一种基于特征约束的模板匹配方法,并用于道路图像的匹配,取得了较好的效果;最后,根据立体匹配得到的视差恢复了目标的深度信息。

本文链接:https://www.360docs.net/doc/1316871788.html,/Periodical_gctxxb201004010.aspx

授权使用:北京航空航天大学(bjhkht),授权号:8b789179-4084-45ab-8480-9ebc016961f9

下载时间:2011年4月5日

相关文档
最新文档