双目立体视觉区域局部匹配算法的改进及其实现

图１局部相关算法原理示意图
１．３局部相关匹配算法的时间复杂度
在图１（ａ）中坐标为（ｚ，ｙ）的像素点，算法要计算
图１（ｂ）中所有相关像素的相似性。根据极线约束以及
视差约束，在图１（ｂ）中只需计算同一极线上，视差范围
内的像素相似性即可，需要的计算量为：
Ｔ（。．ｖ）＝ｄ。，行２
（１）
式中：ｒｌ为正方形窗口边长；ｄ。，为最大视差。设Ｗ为图
算法实时性有了较大提升。
２双目立体视觉区域局部匹配算法的实现
２．１ 实验环境 该研究的实验主要是通过计算机编程实现区域局
部匹配算法，并在双相机系统上利用标准和实际场景图 像进行验证性实验的。以ＶＣ＋＋６．０及ｏＰＥＮＣＶ为编 程环境，完成验证软件设计。
该研究的验证实验使用了西安交通大学系统工程 所的实验设备（如图２所示）。丽只摄像机平行放置，其 位置姿态参数已由标定结果给出，如表２所示。
根据匹配基元的不同，现有的立体匹配方法可大致 分为三类：基于特征的匹配‘４矗］，基于区域的匹配‘６３和 基于相位的匹配【７］。
本文重点研究双目视觉立体匹配中基于区域的局 部匹配算法，对基于ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ） 的区域匹配算法通过模板滑动进行了改进。经分析和 多次实验结果表明，该改进算法具有有效性和快速性。
［８］Ｃｙｇａｎｅｋ Ｂ，Ｂｏｒｇｏｓｚ Ｊ．Ａ Ｃｏｍｐａｒａｔｉｖｅ Ｓｔｕｄｙ ｏｆ Ｐｅｒｆｏｒｍａｎｃｅ
ａｎｄ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ＳｏｍｅＡｒｅａ—ｂａｓｅｄ ＳｔｅｒｅｏＡｌｇｏｒｉｔｈｍｓ ［Ａ］·ＣＡＩＰ［Ｃ］·２００１，２１（２４）：７０９—７１６·
［９］夏永泉·计算机视觉中双目匹配相关技术的研究［Ｄ］·南京：
通过ＳＡＤ约束计算能匿最小匹配点
通过畦艇＾计霄街纠的税差． 获铂整幅ｌ冬Ｉ的税置图
３结语
这里对双目立体视觉中的区域局部匹配算法进行 讨论，对现有ＳＡＤ算法进行了改进，较显著地提高了匹 配速度。在实验平台上较好地完成了对标准图像及现 实场景图像的视差图获取，验证了算法的有效性和快 速性。
对卉右图像进行采样 创建模板，ｘ．Ｎｉ蹦进行搜索
场景图对所提方法进行验证。分析和实验结果都表明了该改进算法的有效性和快速性。
关键词：双目立体视觉；区域相关，立体匹配；标准测试图
中图分类号：ＴＰ３９１
文献标识码：Ａ
文章编号：１００４—３７３Ｘ（２００９）１２—０６８—０３
Ｉｍｐｒｏｖｅｍｅｎｔ ｏｆ Ｒｅｇｉｏｎａｌ Ｒｅｌａｔｅｄ Ｍａｔｃｈ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｂｉｎｏｃｕｌａｒ Ｓｔｅｒｅｏ Ｖｉｓｉｏｎ ａｎｄ Ｉｔｓ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ
由之前的计算结果得到，有迭代公式：
Ｐ（ｘ＋１，Ｙ，ｄ）一Ｐ（ｘ，Ｙ，ｄ）＋［Ｉ ｆＬ（ｚ＋竹＋１，ｙ）一
ＪＲ（ｚ＋打＋１＋ｄ，ｙ）Ｉ—Ｉ ＪＬ（ｚ一以，ｙ）一
ＪＲ（ｚ一，ｌ＋ｄ，ｙ）Ｉ］
（３）
即在模板滑动时，不需要重新计算整个窗口的
ＳＡＤ，而只需计算薪的一列ＳＡＤ。分析可知，改进后算
法的时间复杂度由Ｏ（ＷＨｄ。。ｎ２）降为Ｏ（ＷＨｄ。。咒），
参考文献
Ｉ－１］章毓晋．图像工程（下册）图像理解ｉ－Ｍ］．２版．北京：清华大 学出版社，２００７．
［２］何明一，卫保国．数字图像处理［Ｍ］．北京：科学出版
社，２００８．
［３］游素亚．立体视觉研究的现状与进展［Ｊ］．中国图像图形学
报，１９９７，２（１）：１—２．
［４］Ｈａｊａｒ Ｓａｄｅｇｈｉ，Ｐａｙｍａｎ Ｍｏａｌｌｅｍ。Ｍｏｎａｄｊｅｍｉ Ｓ Ａ．Ｆｅａｔｕｒｅ
像的宽度；Ｈ为图像的高度，对于整幅图片，全部相似
性的计算量为：
Ｔ一
∑ 丁“Ｄ—ＷＨｄ。。，ｚ２
（２）
０≤ｉ＜Ｗ．０≤ｊ＜Ｈ
易知，局部相关匹配算法的时间复杂度为
Ｏ（ＷＨｄ。，恕２）。
１．４局部相关匹配算法的改进
若假设匹配窗口的边长为２，ｚ＋１，对于每行像素，
Ｈ
其相似性测度函数为Ｐ（ｘ，Ｙ，ｄ）一∑Ｉ ＩＬ（工＋ｉ，ｙ）一
收稿日期：２００８—０９—１１ ６８
万方数据
１双目立体视觉区域局部匹配的理论基础
１．１相似性测度函数 匹配算法的实质就是估计待匹配点和候选匹配点
之间的相似性程度，评价这种相似性程度度量方法有多 种。由于单个像素点所包含的信息太少，因而只依据单 个像素点是的信息建立度量方法可靠性较差。为了提 高相似性度量方法的可靠性，一般需要在匹配点上的一 个小邻域内的像素点集合中进行。
局部相关匹配算法是以基准图像中待匹配点为中 心像素来创建一个大小为”×Ｉｔ／的矩形窗，由该窗口内
的像素灰度分布来表征该像素。在第二幅图像中，沿极
线在视差范围内取出与基准点邻域同样大小为挖×力的
像素邻域，依次与匹配点的窗口进行比较，最大相似性
对应的点就是最佳匹配。整个匹配过程如图１所示。
襄１几种相似性测度函数
卉，＼
ｒ耥ｉ
图３ 系统算法流程图 ２．３ 实验结果
部分实验结果如图４所示。
图４ 实验结果
由图４可知ｎ０］，实验得到的图片较好地完成了对 现实场景中的匹配，可以较直接地从所得视差图中获得 物体的深度信息。
同时，图像边缘处的匹配精度受到图像边界的影
。螺葺较奎，真实罂图片中噪声较大，导致误匹配较
多。如何减少误差，提高精度是现在和今后重点考虑的 问题之一。
万方数据
图２试验系统
表２相机标定参数表｛以像素为单位）
参数指标
左相机
右相机
焦距
６９９．８５
６９６．１５
相机中心
［３９２．３４ ２８３．９４］
［３８９．２６ ３０８．１８］
畸变
［一ｏ．２７０ ２０ ０．４５４ ４８３［一ｏ．２３９ ７５ ０．２５６ ２２］
旋转角／ｒａｄ
口＝０．０１３ ７７，口一０．００１ ０７，ｙ一０．０００ ３８
名称
公式
ＳＡＤ
∑
Ｊ１．（ｚ＋ｉ，ｙ＋』）一ＩＲ（ｘ＋ｄｚ＋ｆ，ｙ＋』）
‘Ｉ·ｊ）∈Ｕ
∑Ｉ［ＪｌＪ（ｚ＋ｆ，ｙ＋Ｊ）一五ｉｊ石－］一
ＺＳＡＤ
‘‘·ｊ）∈Ｕ
［ＩＲ（ｘ＋以＋ｆ，Ｙ＋Ｊ）一五ｉｉ干刁万］
ＳＳＤ
∑［ＪＩＪ（ｚ＋ｉ，ｙ＋Ｊ）一ＩＲ（ｚ＋ｄ，＋ｆ，ｙ＋Ｊ）］２
∑［１１，（ｚ＋ｉ，，＋Ｊ）一ｉ了而］一
ＺＳＳＤ ‘ｆ·ｊ）∈Ｕ ［ＩＲ（ｘ＋以＋ｉ，Ｙ＋，）－－—ＩＲ（Ｘ＋—ｄ．，ｙ）］２
∑［ＪＩ．（ｚ＋ｉ，，＋Ｊ）一ＪＲ（ｚ＋ｄ，＋ｉ，ｙ＋，）］２
＾／∑ＩＬ（ｚ＋ｉ，ｙ＋，）２∑ＩＲ（ｘ＋ｄ，＋ｆ．ｙ＋Ｊ）２
Ｖ（ｉ·Ｊ，ＥＵ
ｔｉ，Ｊ）∈Ｕ
ＳＣＰ
∑Ｉｉ，（ｚ＋ｉ，ｙ＋ｊ）ＩＲ（Ｘ＋以＋ｉ，ｙ＋Ｊ）
ＪＲ（ｚ＋ｉ＋ｄ，３，）Ｉ；在模板向右滑动时，Ｐ（ｘ＋１，Ｙ，ｄ）可
双目立体视觉区域局部匹配算法的改进及其实现
何人杰
（西北工业大学电子信息学院陕西西安７１０１２９）
摘要：匹配算法是双目立体视觉中关键技术之一。这里讨论双目立体视觉区域局部匹配的相似性测度函数、局部相
关匹配算法，并分析其复杂度，进而提出模板滑动的匹配算法。在ＶＣ＋＋平台上，通过双相机实验系统的标准测试图及实际
ｔｉｐｌｅ Ｃａｍｅｒａｓ ｗｉｔｈ Ｄｉｓｊｏｉｎｔ Ｖｉｅｗｓ［Ａ］．Ｎｉｎｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａ— ｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ［Ｃ］．２００３（２）：
相对位移／ｍｍ
ｔｌ一８７．９２１，ｔ２—１．２０５，ｔ３—４．９８０
摄像机与处理计算机之间通过双１３９４总线连接， 计算机中配备２块６４位ＰＣＩ一１３９４卡，以适应摄像机 高速图像流的要求。摄像机的主要参数如表３所示。
衰３摄像机参数
摄像机特性 ＣＣＤ传感器 ＣＣＤ最大像素
参数 Ｓｏｎｙ Ｐｒｏｇｒｅｓｓｉｖｅ Ｓｃａｎ ＣＣＤｓ
ＨＥ Ｒｅｎｊｉｅ
（Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ ｓｃｈｏｏＩ．Ｎｏｒｔｈｗｅｓｔｅｒｎ Ｐｏｌｙｔｅｃｈｎｉｃａｌ Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ，７１０１２９，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｍａｔｃｈ ａｌｇｏｒｉｔｈｍ ｉｓ ｏｎｅ ｏｆ ｋｅｙ ｔｅｃｈｎｉｑｕｅｓ ｉｎ ｔｈｅ ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｓｙｓｔｅｍ．Ｔｈｅ ｓｉｍｉｌａｒｉｔｙ ｆｕｎｃｔｉｏｎｓ，ｔｈｅ ｒｅ— ｇｉｏｎａｌ ｒｅｌａｔｅｄ ｍａｔｃｈ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ Ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ ａｒｅ ｄｉｓｃｕｓｓｅｄ ａｎｄ ｔｈｅ ａｌｇｏｒｉｔｈｍｉｃ ｃｏｍｐｌｅｘｉｔｙ ｉｓ ａｎａｌｙｚｅｄ．Ｍｏｒｅｏｖｅｒ， ａ ｎｅｗ ｉｍｐｒｏｖｅｄ ｒｅｇｉｏｎａｌ ｒｅｌａｔｅｄ ｍａｔｃｈ ａｌｇｏｒｉｔｈｍ ｂｙ ｓｌｉｄｉｎｇ ｐａｔｔｅｒｎ ｐｌａｔｅ ｉｓ ｐｒｏｐｏｓｅｄ ｔｏ ｄｅｃｒｅａｓｅ ｔｈｅ ｍａｔｃｈｉｎｇ ｔｉｍｅ ａｎｄ ａ ｔｅｓｔ ｓｏｆｔｗａｒｅ ｉｓ ｄｅｓｉｇｎｅｄ ｂｙ ｕｓｉｎｇ ＶＣ＋＋ａｎｄ ＯＰＥＮ—ＣＶ．Ａ ｎｕｍｂｅｒ ｏｆ ｅｘｐｅｒｉｍｅｎｔｓ ａｒｅ ｃａｒｒｉｅｄ Ｏｕｔ ｔｈｒｏｕｇｈ ｔｈｅ ｔｗｏ—ｃａｍｅｒａ ｓｙｓ— ｔｅｍ ａｎｄ ｔｈｅ ｓｔａｎｄａｒｄ ｔｅｓｔ ｉｍａｇｅｓ ａｓ ｗｅｌｌ ａｓ ｐｒａｃｔｉｃａｌ ｓｅｎｓｅ ｉｍａｇｅｓ．Ｔｈｅ ａｎａｌｙｔｉｃａｌ ａｎｄ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｉｍ— ｐｒｏｖｅｄ ｍｅｔｈｏｄ ｉｓ ｅｆｆｅｃｔｉｖｅ ａｎｄ ｉｔｓ ｍａｔｃｈｉｎｇ ｔｉｍｅ ｉｓ ｄｅｃｒｅａｓｅｄ ｇｒｅａｔｌｙ．
［１０］南三三茹箍ｅｓｔ眦渊。‰Ｒ雠眦ｈ［ＥＢ伽
。