基于NCC的改进立体匹配算法

ｍａｇｅ　ａｎｄ　Ｍｕｌｔｉｍｅｄｉａ　基于ＮＣＣ的改进立体匹配算法　欧阳鑫玉　一，张娟娟　，赵楠楠　一，徐建楠　（１．辽宁科技大学电子与信息工程学院，辽宁鞍山１　１４０５１；　２．国家金融安全及系统装备工程技术研究中心，辽宁鞍山ｌ１４０５１）　

摘　要：在双目立体视觉系统中．图像匹配是关键步骤之一。在众多匹配算法中，归一化互相关　（ＮＣＣ）算法由于具有精度高、鲁棒性强等优点得到广泛应用，但其计算量大、运算速度较慢，使其难以　在线应用。为此，本文提出一种改进的ＮＣＣ立体匹配算法，通过引入积分图像和平方积分图像，将矩　形窗口区域像素求和运算转化为四个像素点值的简单相加减，同时剔除基准图像中无法匹配区域以　减小搜索范围，使计算复杂度得到简化，计算量大为降低。实验证明，改进后的ＮＣＣ算法在保证匹配　质量的基础上，执行速度得到显著提高，利于在线应用。　关键词：图像匹配；归一化互相关（ＮＣＣ）；积分图像；图像处理　中图分类号：ＴＰ３９１．９　文献标识码：Ａ　文章编号：１６７４—７７２０（２０１５）０３—００５４—０４　

Ｉｍｐｒｏｖｅｄ　ｓｔｅｒｅｏ　ｍａｔｃｈｉｎｇ　ａｌｇｏｒｉｔｈｍ　ｂａｓｅｄ　ｏｎ　ＮＣＣ　Ｏｕｙａｎｇ　Ｘｉｎｙｕ　一，Ｚｈａｎｇ　Ｊｕａｎｊｕａｎ’，Ｚｈａｏ　Ｎａｎｎａｎ　一，Ｘｕ　Ｊｉａｎｎａｎ　（１．Ｓｃｈｏｏｌ　ｏｆ　Ｅｌｅｃｔｒｏｎｉｃｓ　ａｎｄ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ　Ｌｉａｏｎｉｎｇ，Ａｎｓｈａｎ　１　１４０５　１，Ｃｈｉｎａ；　２．Ｎａｔｉｏｎａｌ　Ｆｉｎａｎｃｉａｌ　Ｓｅｃｕｒｉｔｙ　ａｎｄ　Ｓｙｓｔｅｍ　Ｅｑｕｉｐｍｅｎｔ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｒｅｓｅａｒｃｈ　Ｃｅｎｔｅｒ，Ａｎｓｈａｎ　１　１４０５　１，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｉｍａｇｅ　ｍａｔｃｈｉｎｇ　ｉｓ　ａ　ｋｅｙ　ｓｔｅｐ　ｉｎ　ｔｈｅ　ｂｉｎｏｃｕｌａｒ　ｓｔｅｒｅｏ　ｖｉｓｉｏｎ　ｓｙｓｔｅｍ．Ｍａｎｙ　ｍｅｔｈｏｄｓ　ｗｅｒｅ　ｐｒｏｐｏｓｅｄ　ｔｏ　ｐｒｏｃｅｓｓ　ｔｈｅ　ｐｒｏｂｌｅｍ，ａｍｏｎｇ　ｗｈｉｃｈ　ｔｈｅ　ｎｏｒｍａｌｉｚｅｄ　ｃｒｏｓｓ　ｃｏｒｒｅｌａｔｉｏｎ　ａｌｇｏｒｉｔｈｍ　ｉｓ　ｕｓｕａｌｌｙ　ｕｓｅｄ．Ｉｔ　ｈａｓ　ｔｈｅ　ａｄｖａｎｔａｇｅｓ　ｏｆ　ｈｉｇｈ　ｒｏｂｕｓｔ　ａｎｄ　ｐｒｅｃｉｓｉｏｎ，　ｂｕｔ　ｉｔｓ　ｃｏｍｐｕｔｉｎｇ　ｐｒｏｃｅｓｓ　ｉｓ　ＳＯ　ｃｏｍｐｌｉｃａｔｅｄ　ｔｈａｔ　ｄｉｆｉｃｕｌｔ　ｔｏ　ａｐｐｌｙ　ｏｎ　ｌｉｎｅ．Ｔｈｅｒｅｆｏｒｅ，ｔｈｅ　ｉｎｔｅｇｒａｌ　ｉｍａｇｅ　ａｎｄ　ｓｑｕａｒｅｄ　ｉｎｔｅｇｒａｌ　ｉｍａｇｅ　ａｒｅ　ｉｎｔｒｏｄｕｃｅｄ，ａｎ　ｉｍｐｒｏｖｅｄ　ＮＣＣ　ａｌｇｏｒｉｔｈｍ　ｉｓ　ｐｒｏｐｏｓｅｄ．Ｂｙ　ｕｓｉｎｇ　ｉｔ，ｔｈｅ　ｓｕｍｍａｔｉｏｎ　ｏｐｅｒａｔｉｏｎ　ｏｆ　ｐｉｘｅｌｓ　ｖａｌｕｅ　ｉｎ　ａ　ｃｅｒｔａｉｎ　ｒｅｇｉｏｎ　ｗｉｌｌ　ｂｅ　ｒｅｄｕｃｅ　ｇｒｅａｔｌｙ，ｔｈａｔ　ｉｓ，ｉｔ　ｏｎｌｙ　ｒｅｑｕｉｒｅｓ　ｔｏ　ｏｐｅｒａｔｅ　ａｄｄｉｔｉｏｎｓ　ａｎｄ　ｓｕｂｔｒａｃｔｉｏｎｓ　ｏｆ　ｆｏｕｒ　ｐｉｘｅｌｓ　ｖａｌｕｅ．Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ，ｍｉｓｍａｔｃｈ　ａｒｅａｓ　ｉｎ　ｔｈｅ　ｓｏｕｒｃｅ　ｉｍａｇｅ　ａｒｅ　ｅｌｉｍｉｎａｔｅｄ　ｔｏ　ｄｅｃｒｅａｓｅ　ｔｈｅ　ｓｅａｒｃｈｉｎｇ　ｒａｎｇｅ．Ｔｈｅ　ｉｍｐｒｏｖｅｄ　ＮＣＣ　ａｌｇｏｒｉｔｈｍ　ｎｏｔ，ｏｎｌｙ　ｇｕａｒａｎｔｅｅｓ　ｔｈｅ　ｍａｔｃｈ　ｑｕａｌｉｔｙ，ｂｕｔ　ａｌｓｏ　ｉｍｐｒｏｖｅｓ　ｔｈｅ　ｓｐｅｅｄ　ｏｆ　ｅｘｅｃｕｔｉｏｎ　ｇｒｅａｔｌｙ．Ｆｉｎａｌｌｙ，ｔｈｅ　ｓｉｍｕｌａｔｉｏｎ　ｒｅｓｕｌｔｓ　ｄｅｍｏｎｓｔｒａｔｅ　ｉｔｓ　ｖａｌｉｄｉｔｙ．　Ｋｅｙ　ｗｏｒｄｓ：ｉｍａｇｅ　ｍａｔｃｈｉｎｇ；ｎｏｒｍａｌｉｚｅｄ　ｃｒｏｓｓ　ｃｏｒｒｅｌａｔｉｏｎ　ａｌｇｏｒｉｔｈｍ；ｉｎｔｅｇｒａｌ　ｉｍａｇｅ；ｉｍａｇｅ　ｐｒｏｃｅｓｓｉｎｇ　

０引言　双目立体视觉是计算机视觉的一个重要分支，近年　来，双目立体视觉技术得到了大量研究＿ｌＪ，主要应用在　机器人导航、三维测量和虚拟现实等领域。双目立体视　觉系统的实现过程由图像获取、摄像机标定、特征点提　取、图像匹配和三维立体重建等步骤组成［２１。图像匹配　本质上是寻找两幅图像的相似性［３－４１。是恢复三维立体　场景的先决条件ｌ　５＿，是立体视觉系统中的关键技术之　一。

双目立体视觉图像匹配［６１技术是通过两台水平摆放　

的摄像机分别获取两幅图像，并从中找出相同景物各像　基金项目：“十二五”国家科技支撑计划课题（２０１３ＢＡＪ１５Ｂ０３）　５４　

素点的对应关系，得到其最佳视差值，最终获得图像视　差图的技术。　图像匹配方法按照匹配基元不同可分为特征匹配　１、　相位匹配［８１和区域匹配　】三种。特征匹配是针对提取的　特征进行描述，然后运用所描述的参数进行匹配的一类　算法，计算量小，速度快，但是匹配效果受到图像特征稀　疏性的影响难以获得致密视差图。相位匹配是最近才发　展起来的一类算法。能够反映信号的结构信息和抑制图　像的高频噪声，适用于并行处理存在相位奇点和相位卷　绕问题的情况。区域匹配是基于局部窗口间灰度信息相　关程度的匹配算法，常用的匹配相似度量函数有ＮＣＣ　

《微型机与应用》２０１５年第３４卷第３期　（Ｎｏｒｍａｌｉｚｅｄ　Ｃｒｏｓｓ　Ｃｏｒｒｅｌａｔｉｏｎ，归一化互相关）、ＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅｓ，差绝对值和）和ＳＳＤ（Ｓｕｍ　ｏｆ　Ｓｑｕａｒｅｄ　Ｄｉｆｆｅｒｅｎｃｅｓ，差平方和）。这三种算法中，ＮＣＣ算　法最常用，它通过计算视差范围内基准图像与实时图像　对应像素点间的相关性来获取视差图，相关系数一般在　［＿１，１】之间取值，该算法将搜索相关系数最大值对应的　视差作为最佳视差值，具有精度高、鲁棒性强［１ｏｌ的优点，　缺点是计算量大、速度慢，在线应用受到限制。　本文针对ＮＣＣ算法的缺点，通过在立体匹配中引入　积分图像和平方积分图像，并且剔除基准图像中无法匹　配区域，对原ＮＣＣ算法进行了改进，在保证匹配质量的　情况下，使匹配速度得到显著提高。实验结果验证了该　改进算法的有效性和快速性［１１】。　１积分图像及平方积分图像　１．１积分图像　积分图像（Ｉｎｔｅｇｒａｌ　Ｉｍａｇｅ）理论是Ｖｉｏｌａ　Ｐ．等于２００１　年提出的［１２１。积分图像是一种用于快速计算图像某窗口　区域灰度和的一种图像中间表示，有较广泛的应用［ｔ３－１５１。　积分图像中任意一点（ｉ，Ｊ）的值用ｉｉ（　，Ｊ）表示，代表了　源图像中行数小于ｉ、列数小于　的所有灰度值的和，即：　ｉｉ（　，－『）：２２　（　，Ｙ）　（１）　≤ｆ，ｙ《Ｊ　其中　（　，Ｙ）表示源图像中（　，Ｙ）点的灰度值。令ｓ（　，．『）　为源图像中第ｉ行、第　列的灰度值积分，则有：　ｓ（　，　）＝ｓ（ｉ，　一１）＋　（ｉ，Ｊ）　（２）　ｉｉ（ｆ，．『）＝ｉｉ（ｆ一１，－『）＋ｓ（ｆ，Ｊ）　（３）　利用式（２）和式（３）编程实现时，应该扩展一行一列　以确保ｉ一１，Ｊ一１为正数。　如果要计算原始图像中顶点依次为　、　、Ｃ、Ｄ的矩　形窗口，只需将原图像遍历一遍得到积分图像后，利用　四个顶点对应的值进行简单加减运算，即可求得该区域　灰度。不管矩形窗口区域有多大，利用积分图像只需进　行３次加减运算，即：　Ｓ＝ｐ（．Ｄ）＋ｐ（Ａ）一ｐ（　）一ｐ（Ｃ）　（４）　其中；Ｓ表示矩形窗Ｉ＝ｔ区域的灰度值；ｐ（Ａ）　（　）、ｐ（Ｃ）　和ｐ（Ｄ）分别表示矩形顶点的灰度值。　１．２平方积分图像　为了能够快速获得区域内像素点灰度平方和，在　积分图像基础上引入了平方积分图像　】，在实际应用　中以矩阵形式存储，平方积分图像中任意一点值表示　为Ｐｉｉ（ｉ，　），即：　Ｐｉｉ（ｉ，＿『）＝∑ｉｚ（　，　）　≤１．　（５）　其中ｉ２（　，Ｙ）表示源图像中（　，Ｙ）点的灰度值的平方，参　考式（２）、式（３），源图像中第ｉ行、第　列的灰度平方积　分Ｐｓ（ｉ，　）以及平方积分图像中任意一点（ｉ，＿『）的值　Ｐ／ｉ（　，＿『）可以分别由下面公式求得：　《微型机与应用》２０１５年第３４卷第３期　（　，Ｊ）＝Ｐｓ（ｉ，．『一１）＋ｆ　（ｉ，Ｊ）　（６）　Ｐｉｉ（ｉ，Ｊ）＝Ｐｉｉ（ｉ－１，Ｊ）＋Ｐｓ（　，　）　（７）　再利用式（４），可求出某窗口区域的灰度值平方和，　运算简单，计算量大幅降低。　２　ＮＣＣ算法及其改进　２．１原ＮＣＣ匹配算法　图像匹配本质上是求两图像间的相似性，即针对右　图待匹配点，在视差ｄ所有可能取值范围［０，ｄｉｓＭａｘ】内，　计算（ｄｉｓＭａｘ＋１）个归一化系数，取相关系数最大值对应　的左图点作为最佳匹配点，对应的ｄ为最佳视差。若选　择图像尺寸为ＭｘＮ，模板窗口尺寸为ｍ￣ｍ，则归一化互　相关系数计算式如下Ｄ６］：　

∑∑（，『７Ｒ）∑∑（　７　）　Ｎｃｃ（ｄ）＝——＝ｉ＝＝１＝＝ｊ＝ｌ＝＝＝＝＝＝＝＝ｉ＝二１＝ｊ＝＝＝ｌ＝＝＝＝＝＝＝　（８）　，ｍ　ｍ　ｍ　ｍ　＼／∑∑（　∑∑（　Ｔ　

ｉ－ｚｌ　＝１　ｉ＝１　ｊ＝ｌ　其中：　

＝　（ｘ＋ｉ，ｙ＋ｊ）　（９）　

∑∑　７　上Ｌ！　一　（１０）　，孔。　

厶＝　（ｘ＋ｉ，ｙ＋ｊ＋ｄ）　（１１）　

∑∑厶　７　』Ｌ　士一　（１２）　ｍ‘　

由式（８）可知，对于每一视差，在计算相关性系数时　都需要对窗口区域求均值，复杂度较高，消耗的时间长，　所以实时性差。　２．２改进的ＮＣＣ算法　在原ＮＣＣ算法中涉及到求窗口区域像素的均值，因　此在计算每一个视差值时都要进行６（ｍｘｍ一１）次加法、　４（ｍ￣ｍ一１）次减法、２（ｍｘｍ一１）次乘方、２次乘法、３次除　法和１次开方，而且计算的次数随着窗口ｍｘｌｎ大小的　变化而变化，模板窗口越大，匹配时消耗的时间越多。为　了减低计算量，对归一化互相关系数先不进行求均值运　算。而是将其分子分母先展开化简。基于此，对归一化互　相关系数进行重推可得：　Ｎｃｃ（ｄ）＝　厂Ｓ￣Ｓｄｍ　、／（Ｓ艘＿Ｓ￣Ｓ，，／ｍ　）（Ｓ『厂Ｓ￡Ｓ　）　其中：　

ｓ皿＝∑∑他　ｉ＝１』＝１　

ｓ　∑∑　ｉ＝１，＝ｌ　

Ｓ　∑∑厶　１』＝１　

ｓ　∑∑　

（１３）　（１４）　（１５）　（１６）　（１７）　欢迎网上投稿ＷＷＷ．ｐｃａｃｈｉｎａ．ｃｏｒｎ　５５