基于双目立体视觉的三维灰度数字图像采集与显示技术研究
南京理工大学
硕士学位论文
基于双目立体视觉的三维灰度数字图像采集与显示技术研究
姓名：徐金龙
申请学位级别：硕士
专业：测试计量技术及仪器
指导教师：王志兴
20090520
硕士论文基于双目立体视觉的三维灰度数字图像采集与显示技术的研究
摘要
基于视差原理的双目立体视觉技术是计算机视觉的一种重要技术，利用这种技术可以精确地获取物体表面的三维信息。
本文以基于双目立体视觉的三维灰度数字图像采集与显示系统的样机研制为中心，在硬件、算法、软件以及实验方面分别开展工作。硬件方面：完成双目立体视觉系统的硬件平台设计。算法方面：结合针孔摄像机模型和选定的坐标系，仔细研究了相关摄像机标定方法，给出本文使用的基于透视变换矩阵的摄像机标定方法的详细推导过程和结果。软件方面包括下位机程序和上位机程序，下位机程序包括：控锘ＪＪＣＭＯＳ图像传感器完成图像采集、控制ＦＰＧＡ以及ＳＲＡＭ完成图像预处理（目标点提取的硬件算法）以及图像传输（串口）；上位机程序包括：图像信息的获取和显示、相关图像处理算法、三维空间点坐标计算以及部分基于透视变换矩阵的摄像机标定算法。实验方面：根据双目立体视觉的相关理论结合双目立体视觉的硬件平台对三维空间的激光光点进行测量，同时对测量结果进行了分析。
所有以上这些工作体现在第二章、第三章、第四章以及第五章，进而表明基于双目立体视觉的三维灰度数字图像采集与显示系统的样机研制取得初步成功。
关键词：双目立体视觉，图像采集及传输，图像预处理，摄像机标定
硕士论文基于双目立体视觉的三维灰度数字图像采集与显示技术的研究１绪论
１．１双目立体视觉技术的研究背景、目的及意义
计算机视觉作为一门新兴学科，其发展十分迅速，计算机视觉多年来的增长速度均高于工业平均增长速度，目前计算机视觉己成为许多机器和生产线上的重要组成部分。双目立体视觉技术是计算机视觉技术的一个重要分支，同样有着其无可比拟的价值和极具前景的应用，下面简单介绍一下双目立体视觉技术的研究背景、目的及意义。
上世纪８０年代美国麻省理工学院人工智能实验室的Ｍａｒｔ提出了一种新的视觉计算理论，并将该理论应用于双目视觉的匹配中，从而使得两张有视差的平面图产生有深度的立体图形，进而奠定了双目立体视觉发展的理论基础。相比其它体视方法，双目立体视觉技术采用直接模拟人类双眼处理景物的方式，不仅可以应用于人眼可观察到的范围，更可应用到人眼看不到的范围，如红外、微波波段，同时加上各种图像处理算法，能够使得得到的信息准确、可靠，因此在很多领域都可以派上用场：（１）虚拟现实的应用。虚拟现实是目前提得比较多的概念，它可以应用于飞机驾驶员训练、医学手术模拟、场景建模、战场环境表示，它可以帮助人们超越人的生理极限，“亲临其境”，提高工作效率，而这所有的一切都有赖于我们构建的虚拟现实系统能够比较好的模拟真实场景，也就是虚拟现实系统有接近真实场景的物体的三维数据，而获取比较大区域内所有物体的三维数据，采用传统的方法还是有比较大的困难，双目立体视觉技术则可以比较容易的实现这一要求。（２）交通事故现场重建。现代社会，交通事故频发，而肇事者往往会推卸责任，由于事故调查方法的局限性，事故报告中不可能包括全部事故所需要的信息，而现代城市中的各个要道已经遍布摄像头，几乎所有信息都存在于事故现场的照片中，因此，利用双目立体视觉有关的三维重建技术，可以方便的再现交通事故现场，使肇事者难逃法网。（３）－－维医学图像重建。医生通过观察病人的一组二维平面断层图像，可以达到诊断目的，确定器官是否发生病变。但实践证明，制定手术的具体方案需要知道复杂甚至变形的器官三维结构，而这仅仅依靠在人脑中根据断层图像来完成三维器官的重构显然不太可能，因此，如何实现医学图像的三维重建与三维显示就提上了日程，而双目立体视觉技术恰好满足这一要求。ｆ４）空间物体三维测量。传统的空间物体三维测量方法主要分为两种：一是采用手工测量。但这种方法既耗费人力物力，又耗费时间，还容易因测量人员的主观因素产生较大的测量误差；二是基于激光、超声等的主动测量装置。但由于主动测量设备所得到的测量结果可能会受到一些意外反射和交叉干扰的影响，此外，这种设备只能测量一些实实在在的物体，而不能用于测量仅在图像中出现的物体，如古建筑物的历史图像等，采用双目立体视觉技术不仅能够准确的测量空间物体，对仅在图像中出现的
１
ｌ绪论硕士论文
物体同样也能够完成测量任务（前提是有两张不同角度的同一时刻的物体图像）［１】［［２】。
与此同时，我国在这方面的研究和应用起步较晚，目前由国内自行研制开发的商品化设备和软件非常少，大部分此类设备依靠国外进口，但国外进口的价格十分昂贵，致使许多国内企业无法承受。因此进行这方面产品的研究与开发就显得十分有必要了。
１．２双目立体视觉技术的研究现状
因为双目立体视觉技术具有极其重要的应用价值，目前世界上很多国家都对其进行了深入的研究。
１．２．１国外研究情况
日本的机器人技术在世界处于领先地位，双目立体视觉技术又是一般机器人不可或缺的，因此，在这一领域自然少不了日本的身影。
日本奈良科技大学信息科学学院提出一种基于双目立体视觉的增强现实系统（ＡＲ）注册方法，可以通过动态修正特征点的位置来提高注册精度。该系统将单摄像机注册（ＭＲ）与立体视觉注册（ＳＲ）相结合，利用ＭＲ和三个标志点算出特征点在每个图像上的二维坐标和误差，利用ＳＲ和图像对算出特征点的三维位置总误差，然后反复修正特征点在图像对中的二维坐标，直至三维总误差小于某个阈值。该方法比起仅仅使用ＭＲ或ＳＲ方法大大提高了ＡＲ系统注册深度和精度‘１】【３】。
日本东京大学将实时双目立体视觉技术和机器人的整体姿态信息集合在一起，研制出仿真机器人动态导航系统。系统首先利用区域分割算法分离图像对中的地面与障碍物，同时结合机器人本身身体姿态的信息，将图像对从摄像机成像平面的二维平面坐标系转换到描述机器人身体姿态信息的世界坐标系（三维坐标系），建立机器人周围区域的地图，然后根据实时建立的地图进行机器人周围区域的障碍物扫描，进而确定机器人的行走方向【１】【４】。
此外日本大阪大学，冈山大学都对双目立体视觉技术也有着比较深入的研究。
双目立体视觉技术最先是由美国人提出来的，美国人在此方面自然也不会自甘落后。
麻省理工学院计算机系提出一种新的用于智能交通工具的目标分割系统，这种目标分割系统首先采用雷达系统来提供目标物体深度大致所处的范围，然后利用双目立体视觉技术提供精确的深度信息，之后再结合改进的图像分割算法，进而实现对视频图像中的目标物体的位置进行分割‘１】【５】，该目标系统能够应用于高速环境，系统结构框图如图１．２．１所示。
２
硕士论文基于双目立体视觉的三维灰度数字图像采集与显示技术的研究
输出
图１．２．１基于双目图像和运动融合的目标深度探测系统
火星卫星“探测者”号上面的宽基线立体视觉系统，使得“探测者”号能够在火星上对其周围几千米内的地形进行精确的定位导航，该系统是由华盛顿大学与微软公司共同研制开发。系统使用同一个摄像机在“探测者”号的不同位置上来拍摄图像对，然后采用非线性优化算法得到两次拍摄时摄像机的相对位置，再利用最大似然概率法结合高效的立体搜索完成图像匹配，得到亚像素精度的视差，最后根据此视差计算图像对中各点的三维坐标。拍摄图像对时，拍摄间距越大，基线越宽，越能观测到远的地貌，当然这要求两次拍摄期间，“探测者”号周围地区的形貌不能发生变化，否则将无法得到周围地区的形貌。该系统相比于传统的体视系统，能够更精确地绘制“探测者”号周围的地貌和以更高的精度观测到更远的地形【ｌ儿引。
另据报道，国外已经出现利用双目立体视觉定位原理的手术导航定位系统的产品，如图１．２．２所示，其原理就是利用双摄像头追踪手术刀体外部分的标识点，实时计算出手术刀尖的三维坐标，进而提高微创手术的准确性和成功率。
３
碗±论Ｚ
幽ｌ２．２基于双目立体视觉的手术导航定位系统
１．２，２国内研究情况
国内关于立体视觉技术的研究虽然不如国外的早，但由于国人的艰苦努力，也取得了不少成就。
浙江大学机械与能源工程学院提出一种采用双目立体视觉技术测量多自由度机械装置的方法，由于该方法可以同步完成图像对中匹配点的选择和空间坐标的重构，因此运算速度比较快【７Ｊ。
哈尔滨工业大学采用异构双目立体视觉技术实现全自主足球机器人导航。其原理是：将一个固定摄像机和一个可以水平旋转的摄像机，分别安装在机器人的顶部和中下部，这样ｕ『以同时监视不同方位的视点，再通过合理的资源分配及协调机制（目的是使机器人在视野范围、测量精度及处理速度达到最佳匹配），完成全自主足球机器人导航ｎ
此外清华大学、东南大学、中国科学院、天津大学、上海交通大学、安徽大学以及武汉汽车工业大学等在双目立体视觉研究领域都处于比较领先的地位【ＩＪ。２００８年，Ａｌｔｅｒａ亚洲创新设计大赛，来自清华大学的参赛队伍凭借其存双目立体视觉技术上的出色发挥获得了大赛特等奖。
１．３本文的主要内容
本文以基于职目立体视觉的三维扶度数字图像采集与显示系统的样机研制为中心，查阅大量关于般耳立体视觉技术的资料，重点在双目立体视觉系统的硬件平台设
硕士论文基于双目立体视觉的三维灰度数字图像采集与显示技术的研究
图２．２．２一次改进的系统框图
上述系统完成基本任务没有什么问题，但是由于ＡＲＭ单片机的数据处理能力有限，无法完成复杂的算法运算，因此任务（２）和（３）也就无从谈起，而ＦＰＧＡ６１于其固有特性，恰好能胜任这一任务，再次改进的系统框图如图２．２．３所示：
图２．２．３二次改进的系统框图
ＦＰＧＡ完成图像数据的获取、图像数据的存储、串口传输以及算法移植，ＡＲＭ单片机完成图像数据的网络传输。这里将串口传输重新考虑进系统设计的原因在于原始图像数据如经ＦＰＧＡ处理，数据量不是很大，串口传输就可以达到要求，而且串口传输的程序设计相对于网口要简单很多。图２．２．３所示系统框图是本文实际做出的硬件平台所依据的系统框图。但是该图也存在缺点，如删单片机没有充分加以利用，图
２．２．４给出目前确定的系统框图：
７
２双目立体视觉的硬件平台设计硕士论文
图２．２．４目前确定的系统框图
２．３器件选型
在设计具体的电路板之前，除了依据的系统框图以外，还需要做的一项工作就是器件的选型。
２．３．１ＦＰＧＡ选型
ＦＰＧＡ是英文ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ的缩写，即现场可编程门阵列，它是在ＰＡＬ、ＧＡＬ、ＣＰＬＤ等可编程器件的基础上进一步发展的产物。它是作为专用集成电路（ＡＳＩＣ）领域中的一种半定制电路而出现的，它的出现既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。它是当今数字系统设计的主要硬件平台，其主要特点就是完全由用户通过软件进行配置和编程，从而完成某种特定的功能，且可以反复擦写。在修改和升级时，不需要额外地改变ＰＣＢ电路板，只是在计算机上修改和更新程序，使硬件设计工作成为软件开发工作，缩短了系统设计的周期，提高了实现的灵活性，同时降低了成本，因此获得了广大硬件工程师的青喇１０】【ｌｌ】。
目前我接触的ＦＰＧＡ来源于两家：Ｘｉｌｉｎｘ和Ａｌｔｅｒａ，ＡｌｔｅｒａＦＰＧＡ的特点包括粗粒结构，嵌入式存储器以及长联线结构；ＸｉｌｉｎｘＦＰＧＡ的特点包括细颗粒查找表结构，丰富的寄存器资源，以及分段式路由布线结构。对于本项目而言，Ａｌｔｅｒａ的ＣｙｃｌｏｎｅＩＩＩ系列中一些器件以及Ｓｐａｒｔａｎ．３Ｅ系列中的一些器件都可以达到要求（完成系统功能，同时留有设计余量），但由于Ｘｉｌｉｎｘ开放源码大赛的原因，对Ｓｐａｒｔａｎ－３Ｅ系列器件要了解的相对多一些，同时Ｘｉｌｉｎｘ的ＩＳＥ软件提供的免费ＩＰ核相对Ａｌｔｅｒａ的ＱｕａｒｔｕｓＩＩ软件提供的要多一些，综合考虑决定采用Ｘｉｌｉｎｘ低成本器件一Ｓｐａｒｔａｎ一３Ｅ系列。
本设计选用的芯片是Ｓｐａｒｔａｎ．３Ｅ系列中ＸＣ３Ｓ５００Ｅ，它包括５０万ｆ－ｊ、７３Ｋｂ的分布式ＲＡＭ、３６０Ｋｂ的块ＲＡＭ、４个ＤＣＭ（数字时钟管理单元）以及２３２个用户Ｉ／Ｏ口，时钟８
硕士论文基于双目立体视觉的三维灰度数字图像采集与显示技术的研究频率最高可达３００ＭＨｚ，完全满足了本设计的要求【１２１。
２３．２ＡＲＭ选型
ＡＲＭ嵌入式处理器是一种高性能、低功耗的ＲＩＳＣ芯片。它由英国ＡＲＭ公司设计，ＡＲＭ技术具有很高的性能和功效，因而很容易被厂商接收。同时，合作伙伴的增多，可获得更多的第三方工具、制造和软件支持，又使整个系统的成本降低，使产品进入市场的时间加快，从而具有更大的竞争优势。
在ＡＲＭ芯片的选择上，可以说，市场上的ＡＲＭ芯片多如牦牛，目前世界上几乎所有的半导体厂商都生产基于ＡＲＭ体系结构的通用芯片，或者在其专用芯片中嵌入ＡＲＭ的相关技术，如ＴＩ、Ｍｏｔｏｒｏｌａ、Ｉｎｔｅｌ、ＮＳ、Ｐｈｉｌｉｐｓ、Ａｌｔｅｒａ、Ａｇｉｌｅｎｔ、ＮＥＣ等公司都有其相应的产品【１３】。
本设计选用的ＡＲＭ芯片为ＳＴＲ９１２ＦＡ，它是ＳＴ公司生产的主要面向工控领域的一款ＡＲＭ９系列的芯片，采用的是ＡＲＭ９６６Ｅ处理器内核，支持３２位的ＡＲＭ指令集和１６位的Ｔｈｕｍｂ指令集，包括了ＤＳＰ指令集，采用五级整数流水线，集成实时跟踪和调试功能。
ＳＴＲ９１２ＦＡ包含的硬件资源非常丰富：两个突发模式的Ｆｌａｓｈ，３２位宽度；９６ＫＢ的片内ＳＲＡＭ；９个可编程的ＤＭＡ通道；时钟、复位和电源的管理功能；中断向量控制器；８通道，１０ｂｉｔ的Ａ／Ｄ转换器；１０个通信接口（带有ＤＭＡ和ＭＩＩ接口的１０／１００Ｍ以太网ＭＡＣ、ＵＳＢ全速从设备接口、ＣＡＮ总线接口、带有ＩｒＤＡ协议的１６５５０型串行口以及高速１２Ｃ接口等等）；外部存储器接口；多达８０个的Ｉ／Ｏ管脚；１６ｂｉｔ的标准定时器；三相感应电机控制烈１４】。这些资源完全满足了本设计的要求。
随着ＡＲＭ芯片的确定，采用的网络芯片也随之确定，选用ＳＴ公司产的ＳＴＥｌ００Ｐ，它采用先进的ＣＭＯＳＴ．艺制造，兼容ＩＥＥＥ８０２．３ｕ１００Ｂａｓｅ．ＴＸ和ＩＥＥＥＳ０２．３１０Ｂａｓｅ．Ｔ，支持ＩＥＥＥ８０２．３ｘ流控制，支持ＩＥＥＥ８０２．３ｕ的１０Ｂａｓｅ．Ｔ和１００Ｂａｓｅ．ＴＸ的自适应功能，提供］ＶＩＩＩ接口，支持独立的ＣＳＭＡ／ＣＤ和半双工运行，最重要的是可以和ＳＴＲ９１２ＦＡ实现无缝连接【１５１。
２．３．３面阵图像传感器的选型
本硬件平台的图像传感器选用的是ＯＶ７１１０单芯片灰度数字ＣＭＯＳ图像传感器，它是一个６４０×４８０的面阵ＣＭＯＳ图像传感器，像素大小为８．４×８．４｝ｔｍ，隔行扫描频率和逐行扫描频率分别为６０Ｈｚ和３０Ｈｚ，可以通过１２Ｃ接口对其参数进行编程设置，它不仅取代了以往的图像传感器，而且取代了图像采集系统，是一款性价比较高的图像传感器１１６Ｊ。
ＯＶ７１１０的控制信号中需要重点关注的是场信号（ＶＳＹＮＣ）、行信号（ＨＳＹＮＣ）、像素时钟（ＰＣＬＫ）以及有效数据窗口（ＨＲＥＦ），ＯＶ７１１０Ｔ作的时序图如图２．３．１所示：
９