反求工程中基于照片重构点云数据的研究

第24卷2005年第11期11月机械科学与技术MECHANICALSCIENCEANDTECHNOLOGYVol.24NovemberNo.112005

收稿日期:20041025

基金项目:国家863基金项目(2001AA421160)资助作者简介:马永壮(1975-),男(汉),辽宁,博士研究生E2mail:asyzma@126.com

马永壮文章编号:100328728(2005)1121362204

反求工程中基于照片重构点云数据的研究马永壮1,2,刘伟军1(1中国科学院沈阳自动化研究所,沈阳　110016;2中国科学院研究生院,北京　100039

)

摘　要:通过在不同的方位所拍摄的两幅照片,根据双目视觉匹配原理,以循环淘汰式鲁棒性匹配结果做为种子点,

用唯一性和连续性约束实现区域扩散的对应点匹配,并利用相机非线性优化方法的标定结果和SFM重建算法来恢复物体三维结构信息。本方法仅仅利用数码相机作为图像传感器来测量物体的三维模型,避免了其他的测量方法操作复杂,测量物体尺度限制性等,通过照片就能够直接生成面向反求工程的点云数据。试验结果表明本文的方法能够达到理想的精度,是有效可行的。关　键　词:反求工程;图像匹配;点云数据;相机标定中图分类号:TP391.72 文献标识码:A

CloudDataReconstructionBasedonPhotographsinReverseEngineeringMaYongzhuang1,2,LiuWeijun1

(1ShenyangInstituteofAutomation,ChineseAcademyofSciences,Shenyang110016;

2GraduateSchooloftheChineseAcademyofSciences,Beijing100039)

Abstract:Twophotographsproducedbyadigitalcameraatdifferentpositionsrealizecorrespondencebasedonregionpropagationbyuniquenessandconstraint,whosegreedcomesfromtheresultofrobustmatchingofeliminatedoutliersgraduallyandcircularly.Themethodcanrecover3Dstructureinformationbyusingtheresultofcameranon2linearcalibrationandSFMalgorithm.Thedigitalcameraasakindofimagesensorcanmeasurethreedimensions,avoidcomplicateoperationsandlimitsofobjectscaleanddi2rectlyproduceclouddatabyphotographsforreverseengineering.Experimentresultsshowthatgoodpreci2sioncanbeachievedandthatitiseffective.Keywords:reverseengineering;imagematching;clouddata;cameracalibration

反向工程(reverseengineering)又称逆向工程,是指对存在的实物模型或零件进行测量,根据测量数据重构出实物的CAD模型并通过加工复现实物的一个过程。目前采用反求测量的方法主要有3种,分别是接触式测量、非接触式测量和逐层扫描法。三坐标测量仪(CMM)是反求工程中使用最为广泛的传统形状测量设备,但它存在弱点,即需要一定的工作环境、速度慢、效率低且价格昂贵。随着计算机及光电技术的发展,光学式非接触测量方法与光学成像法等正逐步占据重要地位。但这些方法通常需要较为复杂的光学、机电系统设计,而且价格比较昂贵,操作比较复杂,应用的场合也有限,比如特大型的物体,人脸等。近年来,通过对物体摄像并对照片进行图像处理从而建立物体三维模型的方法,受到了国内外学者的广泛关注。与传统的光学成像法不同,它对硬件设备依赖比较少,仅仅利用图像信息,从摄像机的成像模型入手,仅仅需要物体在一般光照的条件下来计算物体的三维结构。1997年,加拿大的Lu[1]在他的博士论文中设计了一套基于照片的测量系统,并成功地应用于陶瓷杯、瓶等物体的造型。Katho2lieke大学的Pollefeys[2]等提出可变参数下的运用摄像机的

自标定技术就可以获得物体表面的自动生成技术。Faugeras[3]等利用分层重建等经典方法从图像序列中重建

出建筑物,并利用建筑物上的三维坐标已知点,已知角度或平行线来标定摄像机,并将待重建的物体用多面体来表示,

该系统主要用于为CAD2CAM等提供原始的几何模型。在国内,文献[4]利用了系列照片剪影轮廓体相交技术生成了基于八叉树的物体模型。文献[5]提出了由物体表面的二维灰度图像来重构三维几何形状法(明暗恢复法),也获得了较好的效果。而本文根据双目视觉匹配原理,仅仅利用数码相机在不同的角度来拍摄物体,并利用相机的标定技术,基于区域扩散鲁棒性匹配,基于SMF重建算法来恢第11期 马永壮等:反求工程中基于照片重构点云数据的研究复物体的三维信息,这个过程不需要人工干预,仅仅利用计算机进行自动计算就可以得到反映物体三维形状的点云数据,最后经过逆向工程软件的降噪处理和几何建模,就可以得到三维模型。1　算法描述1.1　总体步骤首先计算两幅对应图像特征匹配关系,然后恢复出两幅图像的极线几何,既得到基础矩阵,最后通过种子扩散匹配算法得到反映物体外貌的稠密匹配,进而根据立体视觉原理,重构出特征点的三维信息,整个算法可以用下面的步骤来描述:(1)采用定标物的方法来计算相机的内参数K。(2)从不同的角度拍摄两幅照片,提取每幅照片的特征点,然后完成基于循环淘汰式鲁棒性对应点匹配。(3)算出两幅图像的基础矩阵,利用第(2)步得到的对应点作为种子进行扩散匹配,扩散原则根据图像的灰度信息和唯一性与连续性原则,从而得到反映物体全貌的对应点的密集匹配。(4)根据SMF算法原理算出数码相机的外部参数(旋转矩阵R和平移矩阵t),最后重建出物体的点云数据。1.2　相机标定通常使用的相机模型是针孔模型,在该模型下,相机按透视投影把空间点X=(x,y,z,1)投影到像平面形成像点m=(x,y,1)。用公式可以写成λm=PX(1)式中:P可以分解成K(R,-Rt),其中K是相机的内参数,它是不依赖于相机的运动,K=fxγu00fyv0001,fx,fy均为有效的相机焦距;γ为倾斜因子;R,t为相机的坐标系到世界坐标系的旋转矢量和平移矢量。(x,y),(x′,y′)表示理想化和真实化的归一化图像坐标,只考虑径向畸变系数k1和k2的相机非线性模型为x′=x+x[k1(x2+y2)+k2(x2+y2)2]y′=y+x[k1(x2+y2)+k2(x2+y2)2](2) 在文献[6]基础上,提出改进相机标定的步骤如下:(1)在一个平面板上打印出一幅黑白相间的正方形网格图案(作为定标物)。(2)移动定标物并拍出2幅不同方位的照片。(3)检查这些图像的特征点。(4)用近似方法得到内参数和所有的外参数。(5)求解径向畸变系数k1,k2。(6)通过Levenberg—Marquart算法解决相机的非线性模型,进一步精确化参数。1.3　对应点匹配建立图像对应点的匹配关系,是本算法的核心之一。只要建立了图像的对应点关系,根据公式(1)就能计算出物体的三维坐标。从图像中提取特征点是匹配的第一步,

这里的特征点通常指灰度变化剧烈的点,包括物体轮廓上的曲率变化最大的点。直线的交点等,在实现过程中我们使用目前广泛的Harris算子。在匹配阶段,通常引用一些约束条件来达到图像的精确匹配。为了求解匹配问题,通常需要引入一些约束条件:

(1)对极几何约束,即对于左图像中的任一点,它在右

图像中的匹配点必定位于相应的对极线上。(2)相似性约束,即假设对应点的灰度值或颜色是相

同的,因此一般在匹配中利用的都是图像的灰度信息。(3)唯一性约束,即所求点的匹配是唯一的。

(4)连续性约束,即假设他们的视差是连续性的。

因此我们采取类似文献[7]的方法得到正确的对应点匹配和高精度的基础矩阵。即初始互相关匹配阶段、基于松弛算法的匹配阶段以及基于极线约束的匹配阶段。首先,我们利用图像的灰度信息,采用了广泛使用的归一化互相关法ZNCC,即

S(m1,m2)=∑ni=-n　∑nj=-n[I1(u1+i,v1+j)-I1(u1,v1)]×[I2(u2+i,v2+j)-I2(u2,v2)]/(2n+1)2σ(I1)σ(I2)

来计算每个匹配点的互相关系数,凡是大于某一阈值的匹配点既可作为初始匹配集。在松弛算法的匹配阶段,主要是计算初始匹配点的匹配强度,然后进行松驰法迭代。在极线约束匹配阶段,主要是使用最小中值法原理剔除掉不合理的错误匹配点,进而得到了高精度的基础矩阵,整个3

个阶段的匹配过程称为循环淘汰式鲁棒性匹配。由于得到的仅仅是基于图像特征点的稀疏匹配,只是恢复了两幅图像的极线几何信息,而没有得到反映整个图像全貌的密集匹配,还不能进行三维重建。根据匹配的唯一性和连续性原则,并利用刚才获得的稀疏匹配点作为种子,进行整个图像的扩散匹配。具体说来就是若已知左图像上一点a与右图像上一点A匹配,则与a相邻的c点的匹

配点必定在A点5×5模板窗内右下角的黑线框内,同理如图1对于点B的匹配点候选点也在b黑框内的所有元素,这

样匹配点的搜索范围就可以限制在一个较小邻域范围之内,通常只需要在4×4或3×3(像素)的搜索窗内计算目标函数求得最大匹配值,即可认为是所求点的正确匹配。因此一旦有了一个准确、可靠的匹配点对,就可以根据它们进行扩散匹配整个图像。

图1　匹配候选点范围定义具体的步骤是令A为当前的匹配集,B为当前种子点,

3631