基于双目立体视觉的三维定位技术研究
基于双目立体视觉的三维重建技术研究与实现的开题报告
基于双目立体视觉的三维重建技术研究与实现的开题报告一、研究背景和意义随着计算机技术和数字摄影技术的快速发展，三维重建技术逐渐成为了计算机视觉和计算机图形学领域的研究热点。
三维重建技术可应用于数字娱乐、虚拟现实、医疗影像、建筑设计、工业制造等众多领域中。
其中，基于双目立体视觉的三维重建技术因为具有高精度、低成本、无遮挡等优点而被广泛应用。
双目立体视觉是指通过两个摄像头同时拍摄同一场景，并利用两个视点之间的差异信息，重构场景的三维结构。
但是，双目立体视觉在实际应用过程中，需要解决很多技术难题，例如图像匹配、视差计算、纹理映射等问题，这些问题影响了三维重建的准确性和实时性。
因此，本课题拟在已有的双目立体视觉三维重建技术的基础上，结合深度学习技术和计算机视觉算法，进行三维重建技术的研究和探索。
本文主要研究以下问题：1.如何通过双目立体视觉获取场景深度信息？2.如何提高图像匹配的准确率？3.如何进行纹理映射和三维重构？本研究将采用开源的深度学习框架和计算机视觉库进行实现和验证，从而实现高精度、低成本、实时的基于双目立体视觉的三维重建技术。
二、研究内容和方案1.深度学习框架的选择和搭建本研究将采用开源的深度学习框架PyTorch进行实现。
在搭建深度学习模型时，将使用卷积神经网络（CNN）和循环神经网络（RNN）结合的方式，提取图像的特征信息，并且结合视差计算算法实现深度估计。
2.图像匹配算法的优化对于双目立体视觉重建中的关键问题——图像匹配，本研究将采用基于深度学习的方法对特征点进行选择和匹配。
使用选择性搜索算法（Selective Search）从图像中提取出目标区域，并在目标区域内提取特征点。
同时，通过循环神经网络实现图像匹配。
3.纹理映射与三维重构在得到双目相机拍摄场景的深度信息后，本研究将通过纹理映射技术将图像上的坐标映射到三维空间，并根据深度信息将坐标进行调整和重构。
最后，将重构后的三维模型进行优化和细化，以达到更高的精度和真实感。
基于深度学习的双目视觉三维重建
中文摘要中文摘要随着工业自动化的高速发展，机器人等智能设备在工业生产中的应用日渐广泛。
对周边环境的感知是设备智能化的一项重要研究内容，目前，获取周边三维环境信息的主要技术途径以激光雷达和双目相机为主，与超声波传感器、激光雷达相比，双目相机具有获取信息丰富，价格低廉，精度高的特点，通常应用于实时测距、三维形貌恢复、缺陷诊断等领域。
智能设备在实际作业时，对周围的三维环境进行精确的三维重建有助于实际作业的安全有效进行，本文基于深度学习算法，对双目视觉系统的三维重建进行研究。
本文的主要研究内容有：(1)研究了当前摄像头标定的主流方法，对其具体算法实现进行了分析，通过对双目相机进行标定得到相机的内参数和外参数，基于相机的内外参数实现图像矫正、三维重建工作。
(2)对相机的成像和畸变原理进行分析和研究，对采集图像进行滤波、自适应伽马变换与去畸变处理，提高双目相机采集图像的质量。
(3)对双目视觉中最关键的算法——立体匹配算法进行研究，为了解决传统立体匹配算法匹配精度较低，误匹配区域较大的问题，本文基于深度学习算法，利用2D卷积神经网络对双目相机获取的左、右图进行匹配代价提取，并利用3D卷积神经网络对聚合后的匹配代价进行特征总结和匹配差异学习。
将立体匹配问题转化为一个有监督的机器学习问题，在KIIT2015数据集上训练一个端到端的神经网络模型，该卷积神经网络直接使用双目相机获取的左右两图作输入，直接输出预测的视差图。
(4)通过相机内外参数及立体匹配视差图得到周围环境的三维点云信息，并通过阈值分割算法提取特定工作范围内的稠密点云数据。
(5)搭建了综合实验平台，与其它算法的立体匹配效果进行对比，并对比标准雷达测距数据计算本文算法的精确度，验证了本文算法的有效性。
关键词：双目视觉；立体匹配；深度学习；三维重建I基于深度学习的双目视觉三维重建IIABSTRACTABSTRACTWith the rapid development of industrial automation,smart devices such as robots are increasingly used in industrial production.Perception of the surrounding environment is an important research content of device intelligence.At present,we mainly obtain three-dimensional information of the surrounding environment through lidar and binocular pared with ultrasonic sensors and lidar,binocular cameras obtain It is more abundant,the price is lower,and the accuracy is higher.It is usually used in real-time ranging, three-dimensional shape restoration,defect diagnosis and other fields.During the actual operation of the smart device,accurate3D reconstruction of the surrounding3D environment is helpful for the safe and effective operation of the actual operation.Based on the deep learning algorithm,this paper studies the3D reconstruction of the binocular vision system. The main research contents of this article are:(1)This paper studies the current mainstream camera calibration methods,analyzes its specific algorithm implementation,obtains the camera's internal and external parameters by calibrating the binocular camera,and implements image correction and3D reconstruction based on the camera's internal and external parameters.(2)This paper analyzes and studies the imaging and distortion principles of the camera, and filters,adaptive gamma transforms,and distorts the collected images to improve the quality of the images captured by the binocular camera.(3)This paper studies the most critical algorithm in binocular vision-stereo matching algorithm.In order to solve the problems of low matching accuracy and large mismatching area of traditional stereo matching algorithms,this paper uses a2D convolution neural network to extract the matching cost of the left and right images obtained by the binocular camera based on deep learning algorithms,and uses3D The product neural network performs feature summarization and matching difference learning on the aggregated matching costs. Turn the stereo matching problem into a supervised machine learning problem.Train an end-to-end neural network model on the KIIT2015dataset.The convolutional neural network directly uses the left and right images obtained by the binocular camera as input,and directly output the predicted Disparity map.(4)Obtain the three-dimensional point cloud information of the surrounding environmentIII基于深度学习的双目视觉三维重建through the internal and external parameters of the camera and the stereo matching disparity map,and extract the dense point cloud data within a specific working range through the threshold segmentation algorithm.(5)A comprehensive experimental platform was built to compare the stereo matching effect with other algorithms,and to compare the accuracy of the algorithm in this paper with standard radar ranging data to verify the effectiveness of the algorithm in this paper.Key words:Binocular vision;stereo matching;deep learning;3D reconstructionIV目录目录第一章绪论 (1)1.1课题的研究背景及意义 (1)1.2国内外研究现状 (1)1.3论文主要内容及工作 (5)第二章相机标定及图像预处理 (7)2.1单目相机数学模型 (7)2.2双目相机数学模型 (9)2.3双目相机的标定 (11)2.3.1张正友标定法 (11)2.3.2立体标定 (13)2.3.2畸变参数估计 (14)2.4双目极线矫正 (15)2.5图像预处理 (17)2.5.1图像去噪 (18)2.5.1伽马变换 (18)2.6本章小结 (20)第三章基于深度学习的立体匹配 (21)3.1传统立体匹配算法的基本理论 (21)3.2基于深度学习的立体匹配发展 (23)3.2.1深度学习的基本原理 (23)3.2.2mc-cnn与GC-net (27)3.3基于W-net的立体匹配 (29)3.3.1残差结构与通道注意模块介绍 (29)3.3.2W-ne2D模块(2D卷积网络部分) (31)3.3.3Cost Value模块(代价聚合部分) (33)3.3.4W-net3D模块(3D卷积网络部分) (34)3.3.5Prob模块(视差预测部分) (36)3.3.6数据集的选择 (37)3.3.7损失函数的选择 (37)V基于深度学习的双目视觉三维重建3.3.8权值初始化及优化算法 (38)3.3.9网络结构说明 (39)3.4本章小结 (40)第四章基于视差图的三维重建 (41)4.1整体视差图的三维点云 (41)4.2视差图处理 (44)4.3点云滤波处理 (47)4.4本章小结 (48)第五章基于双目相机的三维点云重建算法与平台的实现 (49)5.1Pytorch、Opencv、Qt简介 (49)5.2平台开发环境 (49)5.3算法流程与实验结果分析 (50)5.4本章小结 (58)第六章总结与展望 (59)参考文献 (61)致谢 (65)附录 (67)VI第一章绪论第一章绪论1.1课题的研究背景及意义计算机视觉的任务是赋予计算机“自然视觉”的能力，使计算机对输入的图像(视频)进行处理，实现对图像中内容的表达和理解。
《2024年度基于双目立体视觉定位和识别技术的研究》范文
《基于双目立体视觉定位和识别技术的研究》篇一一、引言随着科技的飞速发展，计算机视觉技术在许多领域中得到了广泛的应用。
其中，双目立体视觉定位和识别技术以其高精度、高效率的特点，在机器人导航、工业检测、无人驾驶等领域展现出巨大的应用潜力。
本文将围绕双目立体视觉定位和识别技术进行深入的研究和探讨。
二、双目立体视觉技术概述双目立体视觉技术是一种模拟人类双眼视觉的计算机视觉技术。
通过模拟人眼的视差感知原理，双目立体视觉技术利用两个相机从不同角度获取场景的图像信息，然后通过图像处理和算法分析，得到场景中物体的三维信息。
双目立体视觉技术主要包括相机标定、图像获取、图像预处理、特征提取、立体匹配、三维重建等步骤。
三、双目立体视觉定位技术双目立体视觉定位技术是双目立体视觉技术的核心部分，它通过计算左右相机获取的图像间的视差信息，实现场景中物体的三维定位。
具体而言，双目立体视觉定位技术首先需要对相机进行精确的标定，以获取相机的内外参数。
然后通过图像预处理和特征提取，获取场景中的特征点或特征线。
接着，利用立体匹配算法，将左右相机获取的图像进行匹配，得到视差图。
最后，根据视差信息和相机的内外参数，计算得到场景中物体的三维坐标信息。
四、双目立体视觉识别技术双目立体视觉识别技术是在定位技术的基础上，进一步对场景中的物体进行分类和识别。
通过分析物体的形状、大小、纹理等特征信息，结合机器学习、深度学习等算法，实现对物体的识别和分类。
双目立体视觉识别技术可以广泛应用于无人驾驶、机器人导航、工业检测等领域。
五、双目立体视觉技术的应用双目立体视觉技术在许多领域都得到了广泛的应用。
在无人驾驶领域，双目立体视觉技术可以实现车辆的定位和障碍物识别，提高车辆的行驶安全性和自动驾驶的准确性。
在机器人导航领域，双目立体视觉技术可以帮助机器人实现精准的路径规划和导航。
在工业检测领域，双目立体视觉技术可以实现对产品的快速检测和质量控制。
六、研究展望随着计算机视觉技术的不断发展，双目立体视觉定位和识别技术将会有更广泛的应用前景。
基于深度学习的双目立体视觉关键技术研究
基于深度学习的双目立体视觉关键技术研究随着深度学习技术不断地深入发展，其在计算机视觉领域的应用得到了越来越广泛的探索和应用，其中双目立体视觉技术便是其中的一个重要方向。
那么，基于深度学习的双目立体视觉关键技术究竟是什么？它有什么作用和应用场景呢？本文将对这些问题进行一定的探讨和分析。
一、什么是双目立体视觉技术？双目立体视觉技术是一种通过两个摄像机分别拍摄同一场景的图像，然后通过计算机视觉技术将这两张图像进行配对，最终得到一个三维的深度图像，以模拟人类双眼观察物体的效果。
相对于单目视觉技术，双目立体视觉技术能够提供更加丰富的信息，包括物体的距离、深度、大小等，这在机器人导航、三维重建、虚拟现实、安防监控等领域都有着广泛的应用。
二、基于深度学习的双目立体视觉关键技术传统的双目立体视觉技术主要是通过构建匹配代价函数，利用像素级别的匹配方法获取两幅图像之间的对应关系，并进而计算出深度信息。
然而，由于环境、光照、物体材质等因素的影响，传统的双目立体视觉技术往往难以获得准确的深度信息。
基于深度学习的双目立体视觉技术则可以通过神经网络的学习和训练，将图像中的区域特征提取出来，进而实现更加精准和准确的深度信息获取。
具体来说，基于深度学习的双目立体视觉关键技术主要包括以下方面：1、基于神经网络的立体匹配算法传统的立体匹配算法主要是通过计算左右两个视角内不同像素之间的匹配代价，并选择匹配代价最小的一组像素作为匹配结果。
而基于深度学习的立体匹配算法则是通过训练一个深度卷积神经网络（CNN）来提取出深度信息的特征，再通过卷积核匹配图像，从而获取更加精准和准确的深度信息。
2、深度学习的特征提取和表示学习利用深度学习模型可以对图像进行特征提取和表示学习，将图像中的区域特征提取出来，包括边缘、角点、纹理等。
这些特征能够进一步用于深度估计和视差计算等任务中，以提升深度信息的准确度和精度。
3、基于深度学习的图像生成和增强技术基于深度学习的图像生成和增强技术可以通过生成对抗网络（GAN）和卷积神经网络将图像进行合成和增强。
《2024年基于计算机立体视觉的双目立体成像研究》范文
《基于计算机立体视觉的双目立体成像研究》篇一一、引言随着计算机技术的飞速发展，计算机视觉在众多领域中得到了广泛应用。
其中，双目立体成像技术作为计算机立体视觉的重要组成部分，以其高精度的三维信息获取能力，为众多领域提供了强大的技术支持。
本文旨在研究基于计算机立体视觉的双目立体成像技术，分析其原理、应用及未来发展趋势。
二、双目立体成像技术原理双目立体成像技术是通过模拟人类双眼的视觉机制，利用两台相机从不同角度拍摄同一场景，获取场景的二维图像信息。
通过图像处理技术，将这些二维图像信息转换为三维空间信息，从而实现场景的三维重建。
该技术主要包括相机标定、图像获取、特征提取、视差计算和三维重建等步骤。
1. 相机标定相机标定是双目立体成像技术的重要步骤，其主要目的是确定相机的内外参数。
内参数包括相机的焦距、主点坐标等，外参数包括两台相机之间的相对位置和姿态。
这些参数的准确性直接影响到后续的图像处理和三维重建效果。
2. 图像获取通过标定后的相机，从不同角度拍摄同一场景，获取两幅具有视差的图像。
这些图像将作为后续特征提取和视差计算的基础。
3. 特征提取特征提取是双目立体成像技术的关键步骤，其主要目的是从两幅具有视差的图像中提取出具有匹配性的特征点。
这些特征点将用于后续的视差计算和三维重建。
4. 视差计算视差计算是通过比较两幅图像中相同特征点的位置差异，计算视差信息的过程。
视差信息反映了场景中物体在三维空间中的位置和距离信息。
5. 三维重建根据视差信息和相机的内外参数，通过三角测量原理，可以实现对场景的三维重建。
三维重建后的场景信息可以用于后续的目标检测、识别和跟踪等任务。
三、双目立体成像技术的应用双目立体成像技术具有广泛的应用前景，包括机器人导航、三维测量、虚拟现实、医学影像等领域。
1. 机器人导航双目立体成像技术可以为机器人提供精确的三维环境信息，实现机器人的自主导航和避障功能。
在无人驾驶汽车、无人机等领域具有广泛的应用前景。
《双目立体视觉三维重建的立体匹配算法研究》
《双目立体视觉三维重建的立体匹配算法研究》篇一一、引言双目立体视觉技术是计算机视觉领域中的一项重要技术，它通过模拟人类双眼的视觉系统，利用两个相机从不同角度获取同一场景的图像信息，再通过一系列的图像处理技术，实现三维重建。
其中，立体匹配算法是双目立体视觉三维重建的关键技术之一。
本文将重点研究双目立体视觉三维重建中的立体匹配算法，并分析其原理、方法和存在的问题及解决方法。
二、立体匹配算法的基本原理和常用方法1. 立体匹配算法的基本原理立体匹配算法是利用双目相机获取的左右两幅图像中的视差信息，通过匹配算法找出同一场景在不同视角下的对应点，进而实现三维重建。
其基本原理包括四个步骤：图像预处理、特征提取、立体匹配和三维重建。
2. 常用立体匹配算法（1）基于区域的立体匹配算法：该算法通过计算左右图像中每个像素点周围的区域相似度来确定视差值。
其优点是精度高，但计算量大，实时性较差。
（2）基于特征的立体匹配算法：该算法先提取左右图像中的特征点，再通过特征匹配来计算视差值。
其优点是计算量小，实时性好，但需要较好的特征提取算法。
（3）基于相位的立体匹配算法：该算法利用相位信息来计算视差值，具有较高的精度和稳定性。
但其对噪声敏感，且计算量较大。
三、存在的问题及解决方法1. 匹配精度问题：由于光照、遮挡、透视畸变等因素的影响，立体匹配算法的精度会受到影响。
为了提高匹配精度，可以采用多尺度、多特征融合的方法，提高特征提取的准确性和鲁棒性。
2. 实时性问题：在实际应用中，要求立体匹配算法具有较高的实时性。
为了解决这一问题，可以采用优化算法、硬件加速等方法来降低计算量，提高运算速度。
3. 视差图问题：视差图是立体匹配算法的重要输出结果之一。
视差图的质量直接影响着三维重建的精度和效果。
为了提高视差图的质量，可以采用多约束条件下的优化算法、后处理等方法来优化视差图。
四、研究进展与展望近年来，随着计算机视觉技术的不断发展，双目立体视觉三维重建技术也取得了较大的进展。
双目立体视觉SLAM研究
双目立体视觉SLAM研究双目立体视觉SLAM（Simultaneous Localization and Mapping）是一种基于双目摄像头的三维环境建模和定位技术。
它利用双目摄像头获取场景的深度信息，并通过同时进行定位和建图来实现对环境的理解。
在机器人导航、增强现实、自动驾驶等领域具有广泛的应用前景。
双目摄像头由两个摄像头组成，其间距与人眼间距类似。
通过双目摄像头可以获取场景的立体信息，即对于同一点在两个摄像头中的视差（disparity）可以计算出该点的深度信息。
而SLAM技术则是通过对场景中的特征点进行跟踪和匹配，来实现同时定位和建图。
在双目视觉SLAM中，像素点在两个摄像头中的坐标与其对应的深度信息构成了一个三维点云。
通过连续的帧间特征点的跟踪和匹配，可以实现对场景的建模。
同时，结合传感器的数据和运动模型，可以实现对机器人的定位。
在双目视觉SLAM中，有两个关键问题需要解决：特征点跟踪和匹配，以及地图的建立和更新。
特征点跟踪和匹配是通过检测图像中的特征点，并通过计算视差来获得深度信息。
地图的建立和更新是通过将连续的视差信息结合，生成一幅完整的三维点云地图，并根据机器人的运动不断更新地图。
在特征点跟踪和匹配方面，常用的方法有FAST、SIFT、ORB等。
这些算法可以提取出图像中的关键点，并计算其描述子。
在双目摄像头中，可以通过计算两个摄像头之间的视差来计算出关键点的深度信息。
在地图的建立和更新方面，有一些经典的算法，如ICP（Iterative Closest Point）算法。
该算法通过对点云的配准和匹配，来构建地图，并根据机器人的运动不断更新地图。
此外，还有一些基于滤波器的算法，如扩展卡尔曼滤波器和粒子滤波器等，可以通过融合传感器的数据和建立的地图，实现对机器人的精确定位。
双目立体视觉SLAM研究目前仍在不断发展中，还有很多挑战和问题需要解决。
例如，在复杂的环境中，特征点的跟踪和匹配可能会变得困难，并且随着机器人运动速度的增加，物体的快速运动会导致深度估计的不准确。
基于双目线结构光的三维重建及其关键技术研究
基于双目线结构光的三维重建及其关键技术研究基于双目线结构光的三维重建是一种常见的三维重建方法，在计算机视觉和图像处理领域有广泛应用。
本文将探讨双目线结构光三维重建的基本原理和关键技术。
一、基本原理双目线结构光的三维重建基于以下原理：通过投射具有特定空间编码的光线，利用摄像机捕捉图像，并对图像进行处理和分析，可以推断出场景中物体的三维形状和深度信息。
二、关键技术1. 双目成像双目成像是双目线结构光重建的基础。
通过使用两个物理上分开的相机，可以获取场景的不同视角，从而获得更多的信息，提高重建的精度和稳定性。
2. 线结构光投影线结构光投影是双目线结构光重建的核心技术。
通过投射特定编码的结构光，可以在场景中形成一系列光条或光带，从而在摄像机中产生对应的图像。
这样，可以通过分析图像中结构光的失真或形状变化，来推断物体表面的深度信息。
3. 结构光编码结构光编码是双目线结构光重建的重要组成部分。
通过在结构光中引入编码，可以增加光条或光带的区分度，从而提高重建的精度。
常见的编码方法包括灰度编码、正弦编码、校正编码等。
4. 影像获取与处理双目线结构光重建需要获取并处理图像数据。
影像获取涉及到摄像机的标定、同步和触发等技术，以确保双目系统的准确性和稳定性。
影像处理包括去噪、校准、纹理映射等步骤，以提取出有效的结构光信息，并进行后续的三维重建处理。
5. 三维重建算法三维重建算法是双目线结构光重建的核心内容。
常见的算法包括三角测量、立体匹配、点云拼接等。
这些算法通过分析不同视角的结构光图像，通过匹配和计算来推断物体的三维形状和深度信息。
6. 点云处理与可视化三维重建通常最终呈现为点云模型。
点云处理涉及到点云滤波、配准、分割等技术，以去除噪声、合并重叠点云、提取物体表面等。
点云可视化则将点云数据以直观的形式呈现，便于人们观察和理解。
综上所述，基于双目线结构光的三维重建是一种常见的三维重建方法。
它利用投射特定编码的结构光，结合双目成像和影像处理技术，通过分析图像中的结构光信息，推断物体的三维形状和深度信息。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Key words: binocular stereo vision, camera calibration, stereo matching
II
独创性声明
本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人 或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已 在文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。
1
华 中 科 技 大 学 硕 士 学 位 论 文
术台进行实时地拍摄。摄像机采集到的视频信号经图像采集卡接入计算机，通过定 位系统软件的图像捕获程序捕获视频图像。在特制的标准手术器械上贴上两个或多 个特殊的定位标记点，术前已精确测得手术器械与标记点之间的相对位置和方向关 系，在手术进行中手术立体导航定位系统就是通过对标记点的定位，推知手术器械 当前的位置和运动方向。图像监视器可以显示病人手术部位配准后的三维立体图 像，术前所作的手术路径规划，以及经定位系统计算重建得到的手术器械的模型和 目前所在的位置。外科医生及其助手可以通过监视器观察手术部位和手术器械的相 对位置(可显示任意剖面)，然后根据术前所作的路径规划，由医生本人或控制机器 人进行下一步的操作，避开重要的功能区、神经以及血管，选择安全的手术路径。 本课题研究的目的就是希望通过对基于双目立体视觉的手术器械进行三维定 位研究，设计出定位精度高的立体视觉系统，以便将来能够应用于手术导航系统， 辅助外科医生完成高难度的手术。课题来源于华中科技大学计算机学院医学图像信 息研究中心承担的国家自然科学基金项目《三维肿瘤概率映射辅助前列腺活组织穿 刺取样方法研究》 ，此项目的主要任务就是在已建立的三维前列腺肿瘤概率模型的 基础上，开发出辅助进行前列腺活体组织穿刺取样的计算机图像导引系统，使医生 清楚地看到自己穿刺的位置，从而排除穿刺的盲目性，降低漏检率，减轻病人的痛 苦。
关键词：双目立体视觉，摄像机标定，立体匹配
I
华 中 科 技 大 学 硕 士 学 位 论 文 Abstract
Stereo Vision is used to locate spatial point, which is an important research field of Computer Vision. Binocular Stereo Vision is the famous one in Stereo Vision, due to its characteristic of simulating the manner of man’s eyes processing information, which has great applicability. Research is done on Binocular Stereo Vision’s key technique, based on the project named on 3D Probability Model Assisted Prostate Tumor Biopsy Navigation System. The system can calculate the position of surgery instrument and instruct doctor locating the part of focus. The main technique of Binocular Stereo Vision is composed of camera calibration, stereo matching and 3D coordinates computing. Camera calibration is a key one. For the Surgical Navigation System of Computer-Assisted Surgery must have simple operation, high precision and good stability, the method of camera calibration must be simple, flexible and fast. We adopt Zhang’s flexible new camera calibration method, and solve the problem about how to automatically get the pixel coordinates and world coordinates of all the characteristic points on the calibration board by homography matrix. Besides, we consider the effect of tangential distortion to improve the Zhang’s shortage only calibrating radial distortion, which has better result and high precision. According to the actual need, we put forward a stereo matching method based on characteristics points, which can obtain sub pixel precision. In the process of matching, we propose a new way to filter points based on the jump of gray, in the meantime we utilize polar line restrict to lower 2D research to 1D,which consumedly reduce the time and advance the efficiency. At the last, the 3D coordinates are given by least square method through the results of stereo matching. The experiment has shown that the stereo positioning precision of the system is high and the error is small under the current experiment condition, also the operation is simple.
保密□ ，在_____年解请在以上方框内打“√” ）
学位论文作者签名： 日期： 年 月 日
指导教师签名： 日期： 年 月 日
华 中 科 技 大 学 硕 士 学 位 论 文
1 绪论
1.1 研究背景及意义
随着 CT、MRI 等各种先进医学图像设备的出现，疾病的诊断已实现三维数字 化，对医生准确地诊断疾病提供了有力的帮助。但是，临床治疗仍依赖于医生的经 验， 特别是在外科手术中， 主要还是凭借外科医生的主观视觉判断来决定手术路径， 而且，有些手术部位很难触及或手术医生无法用肉眼观察到，因此，给外科医生带 来了极大的不便，即使是一些经验丰富的外科医生在手术中也不能准确确认手术器 械所在的位置。为了使外科手术越来越安全、可靠、精确，创伤越来越小，近年发 展起一个新的研究领域——计算机辅助外科手术(Computed Assisted Surgery，简称 CAS)[1,2]。外科医生利用 CAS 系统在术前、术中、术后对手术进行辅助支持，制定 合理、定量的手术方案，进行手术模拟，并在适当的图像监视和立体定位系统下， 利用一定的导引系统，进行手术干预，极大地提高外科医生的手术精确度，从而为 患者提供更好的医疗服务。 在 CAS 系统中，立体定位是整个系统的一个关键技术。立体定位是指利用一 些辅助设备在手术中定位手术器械，指导外科医生进行手术部位的准确定位。它是 图像信息、手术目标和手术器械之间的桥梁，直接关系到 CAS 系统的精度和手术 的成败。目前在各种不同的计算机辅助外科手术中, 所采用的导航定位的方法主要 有光学定位法、机械定位法、超声波定位法和电磁定位法[1,2,3]。由于机械定位法、 超声波定位法和电磁定位法有着各自的局限性，并且定位精度不高，所以，本课题 选用光学定位法。光学定位是利用至少两个摄像机来观察目标，然后根据立体视觉 的原理计算出目标的三维位置，从而达到立体定位的目的，其精度在 0.1～1.0mm 之间。光学定位法是目前最普遍应用且精度最高的方法，也是手术导航定位系统研 究的热点。 在基于立体视觉的手术立体导航定位系统中，一般采用两部或三部摄像机对手
华中科技大学 硕士学位论文 基于双目立体视觉的三维定位技术研究 姓名：刘晶晶 申请学位级别：硕士 专业：计算机软件与理论 指导教师：宋恩民 20070602
华 中 科 技 大 学 硕 士 学 位 论 文
摘 要
立体视觉是计算机视觉中的一个重要研究领域，用于对空间点进行立体定位。 由于双目立体视觉直接模拟人类双眼处理景物的方式，适用性广，成为立体视觉领 域的研究热点。结合国家自然科学基金项目《三维肿瘤概率映射辅助前列腺活组织 穿刺取样方法研究》 ，对双目立体视觉的各项关键技术进行研究，可对手术器械进 行三维定位，指导外科医生进行手术部位的准确定位。 双目立体视觉主要包括摄像机标定、立体匹配和三维坐标计算三部分。摄像机 标定是立体视觉的一项关键技术，针对计算机辅助外科手术的导航系统操作简单、 定位精度高、稳定性好的要求，应选用简单、灵活、快速的摄像机的标定方法，系 统采用张氏平面标定算法，并利用单应性矩阵解决了快速自动获取标定板上特征点 的像素坐标和世界坐标的问题；此外，改进了张氏标定算法中只校正径向畸变的不 足，考虑了切向畸变的影响，使得畸变校正结果更理想，精度更高。对于立体匹配， 根据实际背景需要，提出了基于特征的立体匹配方法，采用了新的基于灰度跳变的 角点筛选方法，利用亚像素级坐标获取方法得到角点的精确坐标，并利用极线约束 将角点搜索空间从二维降到一维，大大缩短了匹配的时间，提高了效率。最后，利 用匹配的结果采用最小二乘法计算空间点的三维坐标。 实验表明，在现有的实验条件下，系统的三维定位精度比较高，误差比较小， 并且操作简单，定位快捷。