双目立体视觉系统的立体匹配
双目立体视觉匹配
双目立体视觉匹配双目立体视觉匹配是指通过两个摄像机分别拍摄同一场景，然后通过图像处理算法来将两个摄像机捕获的图像进行匹配和处理，从而实现对场景深度信息的估计和3D重建。
双目立体视觉匹配的基本原理是利用两个摄像机在不同位置拍摄同一场景时所采集到的图像之间的差异来获取场景的深度信息。
通常情况下，两个摄像机之间的间距越大，获取的深度信息越准确。
在设计双目立体视觉系统时，需要合理选择摄像机的安装位置和距离。
双目立体视觉匹配的过程可以分为以下几个步骤：特征提取、特征匹配、深度估计和三维重建。
特征提取是指从两个摄像机捕获的图像中提取出具有区分性的特征点。
常用的特征点包括角点、边缘和纹理等。
在特征提取的过程中，可以使用一些常见的特征提取算法，如Harris角点检测算法、SIFT算法和SURF算法等。
特征匹配是指对两个图像中的特征点进行匹配。
匹配的目的是找到两个图像中具有相同位置的特征点对。
常用的特征匹配算法有暴力搜索算法、K最近邻算法和RANSAC算法等。
深度估计是指根据图像中特征点的匹配关系，利用三角测量原理估计场景中特征点的深度信息。
深度估计过程中，可以使用一些经典的深度估计算法，如视差图法、最小二乘法和随机抽样一致性算法等。
三维重建是指将深度估计得到的特征点的三维坐标转换为场景的三维模型。
在三维重建过程中，可以使用一些常见的三维重建算法，如点云拼接算法、结构光扫描算法和稀疏重建算法等。
双目立体视觉匹配在机器视觉领域有很广泛的应用。
在机器人导航中，可以利用双目立体视觉匹配来获取场景的深度信息，从而实现避障和路径规划等任务。
在自动驾驶领域，双目立体视觉匹配可以用于车道线检测和障碍物识别等任务。
在虚拟现实和增强现实领域，双目立体视觉匹配可以用于实现对真实场景的三维重建和虚拟场景的叠加等任务。
双目立体视觉匹配是一种利用两个摄像机获取场景深度信息的技术。
通过特征提取、特征匹配、深度估计和三维重建等过程，可以实现对场景的三维重建和深度估计，并在多个领域产生重要的应用价值。
双目立体视觉匹配
双目立体视觉匹配双目立体视觉匹配是一种计算机视觉技术，用于在双目摄像头中获取的图像中，找到对应的目标点，从而实现立体深度感知。
双目立体视觉匹配的原理是基于两个前提假设：一是视差概念，即两个相同的场景在左右两个眼睛中的图像位置差异；二是视差和深度之间的关系。
根据这两个基本假设，我们可以通过比较左右两个图像中的像素值来确定两个图像中的对应关系，从而计算出立体深度信息。
双目视觉匹配的过程通常包括以下几个步骤：1. 图像预处理：双目图像首先需要进行预处理，包括去噪、图像校正、颜色校正等。
这些步骤旨在提高图像质量和减少噪声对匹配结果的影响。
2. 特征提取：在预处理之后，需要从图像中提取出一些能够反映目标结构和纹理信息的特征点。
常用的特征包括角点、边缘、区域等。
3. 特征匹配：在这一步中，通过比较特征点之间的相似性来确定它们之间的对应关系。
常用的匹配算法有最近邻匹配、迭代最近点算法、随机抽样一致性算法等。
4. 视差计算：特征匹配之后，我们可以根据特征点之间的位置差异来计算出视差信息，即目标点在左右图像中的位置差异。
一般来说，视差越大，深度越小。
5. 深度计算：视差和深度之间的具体关系取决于相机的内外参数、基线长度等因素。
通过根据相机标定信息和经验参数，可以将视差转换为具体的深度值。
双目立体视觉匹配在机器人导航、三维重建、虚拟现实等领域具有广泛的应用。
通过获取场景的三维深度信息，可以使机器人在复杂环境中进行精确的定位和避障；在三维重建中，双目立体视觉匹配可以用于获取物体或场景的精确几何结构；在虚拟现实中，双目立体视觉匹配可以为用户提供更加真实的交互体验。
双目立体视觉匹配也面临着一些挑战和限制。
双目视觉匹配对于光照变化、纹理缺失等问题比较敏感，这会导致匹配结果的不稳定性；相机标定是双目视觉匹配中的重要一步，需要准确地测量相机参数和关联参数，否则会影响深度计算结果的精度；双目视觉匹配在处理大场景、纹理一致的区域等情况下会面临困难。
双目立体视觉匹配
双目立体视觉匹配双目立体视觉匹配是指利用人类双眼在空间中略微不同的视角，联合大脑进行视觉信息的处理和匹配，从而获得空间的深度和立体感。
在现代科技中，利用双目立体视觉匹配可以实现很多实用的应用，比如立体影像、立体游戏、机器人视觉导航等。
双目立体视觉匹配技术是计算机视觉和人工智能领域的一个重要研究方向，具有广泛的应用前景。
一、双目立体视觉原理人类通过双眼获取的两幅视觉图像，实际上是同一个物体在不同视角下的投影。
这两幅图像之间存在视差，也就是物体在不同视角下的位置差异。
大脑通过对这些视差的处理，得出了深度信息，使我们能够感知到物体的三维空间位置。
双目立体视觉匹配主要涉及视差的计算和匹配。
在数字图像处理中，利用计算机对双眼获取的两幅图像进行处理和匹配，从而获取深度信息。
通常采用的方法包括视差计算、视差匹配和深度图生成等步骤。
1. 视差计算：通过一系列像素级的图像处理方法，计算出两幅图像之间的视差。
常见的计算方法包括半全局匹配（Semi-Global Matching, SGM）、立体匹配算法（Stereo Matching）、视差图像传感器（Depth Sensing Image Sensor）等。
2. 视差匹配：将两幅图像中对应的像素进行匹配，找到它们之间的视差值。
通常采用的方法包括基于特征点的匹配、基于像素级的匹配等。
3. 深度图生成：根据计算得出的视差信息，生成目标物体的深度图，从而实现三维空间中物体位置的感知。
双目立体视觉匹配的原理是基于人类视觉的工作原理，通过模拟人类双眼的工作方式，从而实现数字图像的深度感知和立体视觉效果。
二、双目立体视觉应用双目立体视觉匹配技术在现代科技中应用广泛，涉及到多个领域，包括计算机视觉、人工智能、机器人技术等。
以下将介绍一些典型的双目立体视觉应用。
1. 立体影像：利用双目立体视觉匹配技术，可以实现立体影像的拍摄和显示。
通过双目相机拍摄的图像以及虚拟现实（Virtual Reality, VR）或增强现实（Augmented Reality, AR）技术，可以实现逼真的立体影像体验。
双目立体视觉匹配
双目立体视觉匹配双目立体视觉匹配是一种用于处理双眼图像的技术，它可以获取物体的深度信息，实现视线的立体感知，从而实现更真实、更生动的视觉感受。
在视觉感知中，双目立体视觉匹配是一个非常重要的问题，因为通过双目立体视觉匹配可以实现对场景的深度信息的获取和重构，为机器视觉和人工智能技术的发展提供了重要的工具。
双目立体视觉匹配是利用成对的左右眼视角图像，通过匹配两幅图像中的对应像素点，来获取物体的深度信息和三维形状信息。
在这个过程中，双目立体视觉匹配主要包括了一些关键的步骤，例如：特征提取、特征匹配、深度信息计算等。
在这些步骤中，特征提取是最基本的操作，它能够从图像中提取出一些重要的特征点和特征描述子。
而特征匹配则是通过匹配两幅图像中的特征点，来建立两幅图像之间的对应关系。
通过深度信息计算，可以得到每一个像素点的深度信息，从而实现对物体的深度感知。
整个过程中会有很多技术手段和算法用来解决双目立体视觉匹配的各种挑战，比如光照变化、遮挡、噪声等问题。
双目立体视觉匹配在许多领域都有着广泛的应用，如机器人导航、无人驾驶、虚拟现实、医疗影像等。
在无人驾驶领域，利用双目立体视觉匹配可以实现对周围环境的感知，帮助无人车辆实现安全行驶。
在医疗影像领域，双目立体视觉匹配可以帮助医生对病患的体表形态和内部结构进行更加精确的分析和诊断。
在虚拟现实领域，利用双目立体视觉匹配可以实现更加真实的场景重构，从而提供更加生动、更加沉浸式的虚拟现实体验。
双目立体视觉匹配技术的发展，在一定程度上受到了神经科学的启发。
在生物中，双眼视觉是通过两只眼睛向不同方向看的方式获取的。
人类的视觉系统能够通过左右眼的分别获取的图像，来对物体的深度信息进行感知。
这种生物视觉系统的优点是：可以避开遮挡难题，减少由于单一摄像机视角所引发的深度信息获取不准确问题。
而双目立体视觉匹配技术正是受到了这一生物系统的启发，通过模拟人类的双目视觉来实现对场景的深度信息获取。
双目视觉立体匹配算法研究
双目视觉立体匹配算法研究双目视觉立体匹配算法是计算机视觉领域中的一项重要研究内容，主要是通过分析两个视野稍有不同的图像，来确定每个像素点在三维空间中的位置。
立体匹配算法的研究旨在通过计算机模拟人眼的视觉感知能力，实现深度信息的获取和三维重建，为许多计算机视觉应用提供基础支持。
目前，双目视觉立体匹配算法主要包括了基于图像的局部匹配算法和全局匹配算法两类。
基于图像的局部匹配算法是立体匹配算法中最简单的一种方法，它主要通过比对两个图像中的像素，寻找最佳的匹配对应点。
常见的方法包括以下几种：1.窗口匹配算法：将两个图像中的局部窗口进行匹配，通过比较窗口中像素的相似性来确定最佳匹配。
2.匹配代价算法：基于窗口匹配的原理，通过定义匹配误差度量指标（如均方差、绝对差等），计算每个像素点的匹配代价。
3.匹配代价聚合算法：将匹配代价进行聚合，通过横向、纵向或斜向的扫描来减少误差，并提高匹配效率。
然而，基于图像的局部匹配算法存在几个问题，如像素间的不连续性、边界的不唯一性等。
因此，全局匹配算法应运而生，主要用于解决这些问题。
常见的全局匹配算法包括以下几种：1.动态规划算法：以图像像素为节点构建图，通过最小化能量函数来寻找最佳匹配点。
2.基于图割算法：将图像像素看作图中顶点，以像素之间的关系为边，通过割集的划分来确定最佳匹配点。
3.代价聚合算法：通过代价聚合来减少匹配误差，常用的方法有图像金字塔、多尺度匹配等。
此外，近年来，深度学习技术的快速发展，也为双目视觉立体匹配算法的研究带来了新的思路。
采用深度学习模型进行立体匹配可以有效地解决传统算法中存在的问题，提高匹配的准确性和鲁棒性。
常见的深度学习方法包括使用卷积神经网络（CNN）进行特征提取和匹配，使用生成对抗网络（GAN）进行深度图像估计等。
总之，双目视觉立体匹配算法的研究涉及到图像处理、计算机视觉、优化算法等多个领域，目前已经取得了很多重要的研究成果。
随着计算机硬件性能的不断提高和深度学习技术的迅速发展，双目视觉立体匹配算法将在未来更广泛地应用于三维重建、虚拟现实、自动驾驶等领域。
双目立体视觉匹配
双目立体视觉匹配
双目立体视觉匹配是一种利用双眼观察物体来获取三维信息的技术。
这种技术模拟了人类双眼观察物体时产生的视差效应，通过计算机算法处理双眼获取的图像信息，从而实现对物体的三维信息的获取和匹配。
在现代科技应用中，双目立体视觉匹配技术被广泛应用于计算机视觉、机器人技术、虚拟现实等领域，为人们带来了许多便利和乐趣。
在双目立体视觉匹配技术中，首先需要获取物体的双眼图像信息。
通常使用的设备是一对摄像头或者一对摄像机，分别模拟人类的两只眼睛。
这对摄像头或者摄像机需要同时观察同一物体，以获取两个不同角度的图像信息。
然后，利用计算机算法对这两个图像信息进行处理，来获取物体的三维信息和匹配。
在计算机视觉领域，双目立体视觉匹配技术被广泛应用于图像识别、目标检测、三维测量等方面。
通过获取物体的三维信息，可以更加准确地进行目标检测和图像识别，提高了计算机视觉系统的准确性和可靠性。
双目立体视觉匹配技术也可以实现对物体的三维测量，为各种测量应用提供了便利。
在机器人技术领域，双目立体视觉匹配技术可以帮助机器人更好地理解和感知周围环境。
通过获取环境物体的三维信息，机器人可以更加准确地进行导航和避障，提高了机器人的自主性和智能性。
双目立体视觉匹配技术还可以实现对物体的抓取和操作，为机器人的操作能力提供了技术支持。
在虚拟现实领域，双目立体视觉匹配技术可以帮助虚拟现实系统更加逼真地模拟现实情景。
通过获取物体的三维信息，虚拟现实系统可以更加真实地呈现物体的大小、形状和位置，为用户提供更加逼真的虚拟体验。
双目立体视觉匹配技术还可以帮助虚拟现实系统实现对物体的交互和操作，增强了用户与虚拟环境的互动性。
双目立体匹配ncc算法
双目立体匹配的NCC算法是一种常用的图像处理技术，用于在双目立体视觉系统中实现图像匹配。
双目立体视觉是一种通过分析两个不同视角的图像来确定物体三维信息的技术。
在双目立体匹配过程中，NCC算法被广泛应用于寻找两幅图像之间的相似区域。
NCC算法的基本原理是通过计算两个图像之间的相关系数来匹配图像。
相关系数是一种衡量两个变量之间相似性的度量，其值范围在-1到1之间。
当两个图像之间的相似区域越大时，相关系数值越大。
NCC算法的基本步骤包括：1. 计算两幅图像的卷积：使用一个滤波器（如高斯滤波器）对两幅图像进行卷积，以提取图像中的特征。
2. 计算相关系数：将卷积后的结果进行求和，并除以图像大小和卷积核大小的内积，得到相关系数矩阵。
3. 阈值处理：对相关系数矩阵进行阈值处理，以排除不相关区域的影响。
通常使用软阈值处理方法，以保证匹配质量的同时减小计算量。
4. 找到匹配区域：根据阈值处理后的相关系数矩阵，找到匹配区域。
通常采用自适应阈值法，根据图像的局部特征动态调整阈值，以提高匹配精度。
5. 优化匹配结果：对找到的匹配区域进行优化，如平滑、锐化等操作，以提高立体匹配的质量。
在双目立体匹配中，NCC算法的应用优势在于其计算速度快、精度较高。
通过使用合适的滤波器和阈值处理方法，NCC算法可以在保证匹配精度的同时减小计算量，提高处理速度。
此外，NCC算法还可以处理不同视角、光照和噪声条件下的图像，具有较强的鲁棒性。
在实际应用中，双目立体匹配的NCC算法通常与其他技术相结合，如特征点提取、特征匹配和三角测量等，以实现精确的立体视觉应用，如自动驾驶、机器人导航和医学影像等。
通过双目立体匹配技术，可以获取更加精确的三维信息，为各种应用提供更可靠的支撑。
总之，双目立体匹配的NCC算法是一种常用的图像处理技术，用于在双目立体视觉系统中实现图像匹配。
通过使用合适的滤波器和阈值处理方法，NCC算法可以在保证匹配精度的同时提高处理速度和鲁棒性。
双目立体视觉匹配
双目立体视觉匹配双目立体视觉匹配是指通过两只眼睛同时观察到的图像，通过视觉系统对两个图像进行匹配，并根据匹配结果确定物体在三维空间中的位置和形状。
双目立体视觉匹配是一种基于人类视觉系统的方法，人类通过两只眼睛分别观察到的图像，通过视觉系统对两个图像进行匹配，并将两个图像的匹配点映射到同一坐标系中，从而获取物体在三维空间中的位置和形状信息。
在人类视觉系统中，双眼之间的距离产生了视差，即两只眼睛在观察到同一物体时，由于视角的差异，物体在两个眼睛的图像上的位置会有一定的偏移。
基于这种视差信息，人类能够通过视觉将物体分辨为不同的立体结构，并判断其位置和形状。
在计算机视觉领域，双目立体视觉匹配是一种常用的三维重建方法，通过计算机对两个眼睛观察到的图像进行匹配，可以获取物体的深度信息，实现对三维物体的识别、分割和重建。
双目立体视觉匹配的基本原理是通过像素级别的图像匹配，找到两个图像中对应点的位置关系，进而利用视差信息计算物体的三维位置。
在双目立体视觉匹配中，常用的算法包括基于区域的方法和基于特征的方法。
基于区域的方法将图像分成若干个区域，在每个区域内进行像素级别的匹配，计算出视差图。
而基于特征的方法通过对图像提取特征点，然后进行特征点匹配，计算出视差图。
常用的特征点包括角点、边缘和纹理点等。
双目立体视觉匹配的应用非常广泛，包括机器人导航、自动驾驶、三维重建、虚拟现实等领域。
比如在机器人导航中，双目立体视觉匹配可以用于确定机器人相对于环境的位置，避免障碍物；在自动驾驶中，双目立体视觉匹配可以用于感知周围车辆和行人，提供环境信息；在三维重建中，双目立体视觉匹配可以用于捕捉物体的形状、大小和位置；在虚拟现实中，双目立体视觉匹配可以用于生成逼真的立体效果。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
２００９年５月 第５期（总第ｌ ２６期）
广西轻工业
ＧｕＡＮＧｘＩ ＪｏｕＲＮＡＬ ｏＦ ＬＩＧＨＴ ＤｕｓＴＲＹ 计算机与信息技术
双目立体视觉系统的立体匹配 吴媛 ，周德俭１＇。，代宣军 （１．桂林工学院，广西桂林５４１００４；２．河南机电高等专科学校，河南新乡４５３００２；３．广西工学院，广西柳州 ５４５００６） 【摘 要】 双目立体视觉是计算机视觉的一个分支，立体匹配是立体视觉中的关键问题，是三维重建中的核心问题。以双 目立体视觉原理为基础，采用一种改进的ｓｕｓＡＮ角点特征检测方法，结合基于灰度相关及极线几何约束的双向匹配及优化。实现 了一个鲁棒的匹配算法的应用。通过对真实图像的实验表明，该立体匹配算法效果良好。具有较好的实用性。 【关键词】立体匹配；双目立体视觉；极线几何；基本矩阵；角点检测 【中图分类号】ＴＰ３９１．４１ 【文献标识码】Ａ 【文章编号】 １００３—２６７３（２ｏｏ９）０５—６７—０２
１ 引言 客观世界是一个三维的空间世界。用各种观测系统以不同 的形式和手段观测客观世界而得来的图像是二维平面的，尽管 其中包含有三维物体的空间信息。人的视觉系统具有将获取的 图像信息转换为立体视图的功能。立体视觉正是根据此原理， 探求从二维图像中恢复三维空间信息的方法，达到从图像认识 世界的目的。而双目立体视觉是由两幅图像获取物体三维几何 信息的方法。其基本原理是从两个视点观察同一景物，以获取 在不同视角下的感知图像，通过三角测量原理计算图像像素间 的位置偏差（即视差）来获取景物的三维信息。图像特征点的提 取以及特征点的立体匹配是计算机视觉领域的一个基本问题， 也是立体视觉中最重要，最困难的部分。 解决对应点匹配的方法有两种：基于特征的匹配方法和基 于区域的匹配方法［１】。基于点特征的图像匹配方法对灰度变化 有较强适应能力，能够处理图像间存在的较大未对准情况，且 计算量小，因此，它在计算机视觉、目标识别、医学图像处理、遥 感等领域的应用越来越广泛。特征点的选择是基于点特征匹配 算法的一个关键步骤，特征点选择的成功与否对于下一步的匹 配有着至关重要的影响。特征点匹配的算法流程如图１所示： ｒ———————］ ———————一＿——————一 ｆ特征点提取｝— ｆ对应点匹配 —＋ｆ点匹配优化ｆ
Ｌ———————一 ———————Ｊ ———————．Ｊ
图１特征点匹配算法流程 本文通过对图像特征点的提取及对应点匹配算法的研究， 采用一种改进的ｓｕｓＡＮ角点检测算法，对提取的角点结合基 于灰度相关及极线约束的双向匹配技术来优化的特征点匹配 算法。 ２特征点的提取 角点是图像上在两维空间内灰度和边缘方向变化剧烈并 且和周围的邻点有着明显差异的点，是图像立体匹配的一个很 好特征，是图像立体匹配算法中的关键点。角点的提取直接影 响立体匹配算法的准确性和稳定性。 Ｓｍｉｔｈ和Ｂｒａｄｙ提出的ＳＵＳＡＮ Ｓｍａｌ１ｅｓｔ Ｕｎｉｖａｌｕｅ Ｓｅｇ— ｍｅｎｔ Ａｓｓｉｍｉ１ａｔｉｎｇ Ｎｕｃｌｅｕ ｓ）算子，它是一种错误率低、定位精 确而且快速的算法；它提供的角点提取和边缘提取方法一样， 有很强的抗噪声能力，因此不需要进行去噪声处理（滤波）。 本文采用的特征点的提取算法是基于ｓｕｓＡＮ算子和角点 几何结构分析的思想，是一种改进的快速自适应阈值ｔ的角点 提取算法。 使用一个包含３７个像素的圆形模板，半径为３．４个像素， 如图２所示： 图２包括３７个像素的ＳＵＳＡＮ圆形模板 ２。１灰度差阈值ｔ的自适应选取 为提取出角点，需将模板内每个像素的灰度与模板中心的 灰度进行比较，首先计算模板内像素点与模板中心的灰度差阈 值，取灰度差值的平均值为迭代初始值Ｔ０： Ｔ。＝去 Ｉ（ｒ）一Ｉ（ｒ０） （１） ＪＵ 然后根据迭代初值Ｔ。将灰度差直方图分为两部分，由公 式（２）计算下一个迭代值Ｔｉ Ｉ ｝ ｍ＝Ｏ ∑ｈ（ｍ） Ｃ… ∑ｍ×ｈ（ｍ） （２） 公式（２）中ｍ为模板中像素点和中心像素点的灰度差值， ｈ（ｍ）为模板中具有该灰度差值的点的数量，ｃ～为灰度差值的
最大值。每进行一次迭代进行判断，若ｆＩ＋ 一Ｉ ｆ＝ｏ，则停止迭 代，取Ｔ．作为最后的ｓｕＳＡＮ模板的灰度差阈值。即在不同灰 度对比度下，得到最佳灰度差值ｔ。 ２．２对应点ＳＵＳＡＮ区域大小 根据计算得到的ｔ由公式（３）、公式（４）计算核点ｓｕＳＡＮ 区域的大小。 公式（３）为实际应用中常用的相似比较函数，比原ＳｕｓＡＮ 算法中的有更好的稳定性。
【作者简介】吴媛（１９７８一）．女，硕士研究生，讲师，研究方向：制造业信息化、自动化检测。 ６７
—一■ 鲁峨｜Ｉ枷■一 一■瑚一善一一 ■一■■■ ■■■ 葛＋ １‘ ｃ（；，； ）＝ｅ （３）
公式（３）中：ｒ和ｒ 分别是模板中心点和模板中其他点的坐 标，ｃ（；，； ）为比较的结果，ｌ（；）为该点的亮度值，ｔ为灰度差阈 值。理论与实践都证明当指数取６时错误的否定和错误的肯定 概率都最小。 ＵｓＡＮ区域的大小可以由公式（４）给出：
ｎ（ｒ０）＝∑ｃ（ｒ，ｒ０） （４） 和值ｎ为ｕｓＡＮ区域的像素值个数，即ｕｓＡＮ区域的面积。 ２．３角点响应 由公式（５）得到图像的初始角响应。
Ｒ㈩＝仨 ｇ ㈩
公式（５）中ｇ为几何阈值，它决定了提取的角点的尖锐程 度，ｇ越小提取的角点越尖锐。在用ＳｕＳＡＮ算法进行边缘提取 的时候通常取ｇ＝３，４ｎ ，在进行角点提取的时候，通常取 ｇ＝ｌ，２ｎ 。一般而言，对于ｇ不需要通过调整就能取得较好的 效果。 最后搜索初始角点响应中的局部最大值，将其对应的像素 点标记为角点。
３特征点的灰度值相关双相匹配与极线约束优化 在初始匹配阶段，采用基于灰度相关的双向特征匹配方 法。相关方法假设左右立体图像对中对应点及其各自的邻域上 各点的灰度具有相似性。考虑到噪声的影响，以左图像为基准， 取左图像上一个像素点为中心，大小为（２ｍ＋１）×（２ｎ＋１）的相 关窗口，在右图像中选定一个与该点具有相同坐标为中心，大 小为（２ｄ ＋１）×（２ｄ，＋１）的矩形搜索区域，对左图像中的该角点 与右图像中落人搜索区域的全部角点在给定的窗口内完成一 个基于灰度的相关计算，用ｓ‘ｐ，ｐ。）表示这种灰度相似性。 预定义角点的图像坐标为ｐ＝［ｘ，ｙ］，ｐ。：【ｘ‘，ｙ’】，本文采用 归一化灰度相关系数方法来计算相似度。此时，灰度相关值为： Ｓ（ｐ，ｐ’）＝ ∑∑［Ｉ（ｘ＋ｉ，ｙ＋ｊ）—ｉ 】×【Ｉ・（ｘｔ＋ｉ，ｙｔ＋ｊ）— ｉ ｉ ］ 窆［Ｉ（ ＋ｊ．ｙ＋ｊ）一 ］ 主 （ Ｉ＋ｉ，ｙ－＋ｊ） 】 （６）
公式（６）中， 表示在点（ｘ，ｙ）处的灰度平均值，它的 表达式为：
＿＿ ｉ至ｉ圣Ｉ（ｘ ｙ＋ｊ）（７）
直接采用公式（６）计算，则该函数的计算量会因为窗口移 动过程中存在的很多重复计算而变得相当大，若是把公式（７）
及兀 ＝可 丽。 ＩＩ（ｘｌ＋ｊ ＋ｊ）代人到
公式（６）的分子进行整理简化后，得到公式（８）： Ｓ（ｐ．ｐ’）＝ ∑∑［Ｉ（ｘ＋ｉ．ｙ＋ｊ）．Ｉｔ（ｘｔ＋ｉ。ｙｔ＋ｊ）一（２ ＋１）（２ｎ＋１）ｉｒ Ｆ ；： 】 （８）
采用公式（８）可大大提高相关计算速度。 在实际的匹配过程中，若是计算出来的ｓ‘ｐ，ｐ。）满足阈值 的要求，说明该点是点ｐ的一个候选匹配点。用此方法可求出 左图像上所有已提取的角点在右图像上的候选匹配点；将相同 的原理应用于右图像上，求出右图像上所有已提取的角点在左 图像上的候选匹配点，若是还能找到相同的匹配点，则对应的 预匹配点视为匹配点，从而得到一个初始匹配集。
４极线约束优化 利用极线约束对匹配点进行优化。如图３所示：三维空间 点Ｐ在左、右摄像机成像平面上投影为一对相匹配的点ｐ和 ｐ’；两摄像机的光心ｃ和ｃ。的连线为基线，其与摄像机图像平 面的交点ｅ和ｅ’称为两图像平面的极点，它们分别为两个摄像 机中心ｃ和ｃ 在对应的摄像机成像平面上的投影坐标；Ｐ、Ｃ和 ｃ‘组成的三角平面称为极平面 。１ｒ和两个摄像机成像平面 的交线ｌ和ｌ’称为极线，一般称ｌ为点ｐ对应的极线，ｌ’为点ｐ’ 对应的极线，ｌ和ｌ‘互为对应极线。Ｒ为摄像机刚体运动时的旋 转矩阵，Ｔ为平移向量。根据极线约束性质，ｐ’一定位于ｐ相关 联的极线ｌ‘上，则１．与ｐ之间满足一个线性变换： １ ＝Ｆｐ （９）
图３对极几何 公式（９）中，Ｆ是一个秩为２的基本矩阵，因ｐ的匹配点ｐ’ 在极线ｌ’上，故有： ｐ’ ｐ＝Ｏ （１Ｏ） 对极几何关系是指从２个不同视点获得的来自同一场景 的２幅图像之间存在着一定的约束关系。是非定标情况下可以 从图像对中获得的唯一信息，它的准确求解是三维重建、运动 估计、摄像机自标定、匹配和跟踪的基础。对极几何关系在数学 上的表示是—个３阶的且秩为２的矩阵，称为基本矩阵。因此， 对极几何的求解问题就转化为对基本矩阵的估计问题。对极几 何的本质是，对于左图像上的点ｐ，若在右图像找它的对应点， 则该点必定位于点ｐ在右图像的极线上，但由于噪音等的影 响，正确的匹配也不一定会严格满足公式（１Ｏ）。但可以肯定的 是，若ｐ’，ｐ是一对正确的匹配点，那么在右图像中，点ｐ‘和对 应点ｐ的极线之间的距离一定非常小，若距离比较大的话，则 点ｐ 必然是ｐ的错误匹配点。此种情况时，可使用Ｌｍｅｄｓ来优 化，通过解非线性最小化问题来估计参数，对于全部数据的所 有可能的余差平方的中值求解，此方法给出的中值最小网，即： ｍｉｎ ｍｅｄ ｒ ｉ （１１） 公式（１１）中，ｒ 为匹配点对中各个点与对应极线距离的平 方和，其数学表达式为： ＝ｄ （ｐ’， ｐ ）＋ｄ。（ｐ。，Ｆ ｐ’ ） （１２） 公式（１２）中，ｄ表示的是点与对应极线的距离，即：
（下转第７０页）