基于光度立体视觉的表面精细特征三维重建技术研究
机器视觉—三维重建技术简介
三维重建技术简介 一、视觉理论框架 1982年，Marr立足于计算机科学，首次从信息处理的角度系统的概括了心理生理学、神经生理学等方面已经取得的重要成果,提出了一个迄今为止比较理想的视觉理论框架。尽管Marr提出的这个视觉理论框架仍然有可以进行改进和完善的瑕疵,但是在近些年,人们认为,计算机视觉这门学科的形成和发展和该框架密不可分。 第一方面,视觉系统研究的三个层次。 Marr认为,视觉是一个信息处理系统,对此系统研究应分为三个层次:计算理论层次,表示与算法层次,硬件实现层次,如下图所示: 计算机理论层次是在研究视觉系统时首先要进行研究的一层。在计算机理论层次，要求研究者回答系统每个部分的计算目的与计算策略，即视觉系统的输入和输出是什么，如何由系统的输入求出系统的输出。在这个层次上，将会建立输入信息和输出信息的一个映射关系，比如，系统输入是二维灰度图像，输出则是灰度图像场景中物体的三维信息。视觉系统的任务就是研究如何建立输入输出之间的关系和约束，如何由二维灰度图像恢复物体的三维信息。 在表示与算法层次，要给出第一层中提到的各部分的输入信息、输出信息和内部信息的表达，还要给出实现计算理论所对应的功能的算法。对于同样的输入，如果计算理论不同，可能会产生不同的输出结果。 最后一个层次是硬件实现层次。在该层次，要解决的主要问题就是将表示与算法层次所提出的算法用硬件进行实现。 第二方面，视觉信息处理的三个阶段。 Marr认为，视觉过程分为三个阶段，如表所示：
第一阶段，也称为早期阶段，该阶段是求取基元图的阶段，该阶段对原始图像进行处理，提取出那些能够描述图像大致三维形状二维特征，这些特征的集合构成所构成的就是基元图(primary sketch)"。 第二阶段也称中期阶段，是对环境的2.5维描述，这个阶段以观察者或者摄像机为中心，用基元图还原场景的深度信息，法线方向(或一说物体表面方向)等，但是在该阶段并没有对物体进行真正的三维恢复，因此称为2.5维。 第三阶段也称为后期阶段，在一个固定的坐标系下对2.5维图进行变换，最终构造出场景或物体的三维模型。 二、三维重建技术现状 目前三维重建的方法大致可分为三类，即:用建模软件构造的方式，多幅二维图像匹配重建的方式以及三维扫描重建的方式。 对于第一种方式，目前使用比较广泛的是3D Max, Maya, Auto Cad以及MultiGen-Creator等软件。这些三维建模软件，一般都是利用软件提供的一些基本几何模型进行布尔操作或者平移旋转缩放等操作，来创建比较复杂的三维模型。这样所构建出来的模型，比较美观，而且大小比例等非常精确。然而，这需要建模者精确知道三维场景的尺寸、物体位置等信息，如果没有这些信息，就无法建立精准的模型。 第二种方式是利用实时拍摄的图像或者视频恢复场景的三维信息。这种方式是基于双目立体视觉，对同一物体拍摄不同角度的图像，对这些图像进行立体匹
第九章 明暗分析
第九章 明暗分析 本章将介绍光在物体表面的反射物理特性以及利用反射特性估计表面形状的方法，即光度立体法（Photometric Stereo ）．在讨论光度立体法及从明暗恢复形状(Shape from Shading)之前，我们将首先介绍成象物理学，即场景中各点的光强度在图象平面上的映射过程（通常将这一过程称为成像）．本章将按照[Horn 1986]所做的开创性工作对有关的理论和算法展开讨论． 9．1 图象辐照度 我们知道，通过投影原理可以确定场景中的点在图象平面中的位置，但并不能确定该点的图象强度．图象强度可用本节将要介绍的成象物理学来确定，其中用于描述图象强度的一个术语是图象辐照度（Irradiance ）．由于强度、亮度或灰度等术语使用的十分普遍，因此本书通篇将这些术语视为图象辐照度的同义词． 图象平面中一点的图象辐照度是指图象平面点单位面积接收的辐射（radiance ）功率。辐射为输出能量，辐照为输入能量．对图像来说，图像的辐照源对应景物对光源的反射，即场景的辐射。也就是说，图象平面上一点的辐照度),(y x E ''对应于图象点到场景点方向的场景辐射能量),,(z y x L ： ),,(),(z y x L y x E ='' (9．1) 场景点),,(z y x 位于从投影中心到图象点),(y x ''的射线上．为了找到图象的辐照源，我们必须沿这条射线返回到发射射线的表面片上，并且弄清楚场景照明光是如何被表面片反射的． 决定场景表面片辐射的因素有两个：一个是投在场景表面片上的照明，另一个是表面片反射的入射照明部分． 投在某一特定表面片上的照明量取决于该表面片在场景中相对于光源的分布位置．在某一特定方向上被表面片反射的入射照明部分取决于表面材料的光学特性． 图9．1在一个无限小的表面片上建立极坐标系，用来描述表面片 可视半球方向的照明和辐射方向 考虑场景中一个无穷小的表面片被一个单独的点光源照明．在表面片上建立一个坐标系，如图9．1所示．此坐标系表示能量可以到达或离开该表面所有可能的方向半球．设),(i i φθ表示在极坐标中相对于表面片的场景照明点光源的方向，设),(e e φθ表示能量从表面片中发射的方向．从某一方向到达该表面片的能量为),(i i E φθ，从表面片向某一方向辐射的能量为
三维重建综述
三维重建综述 三维重建方法大致分为两个部分1、基于结构光的（如杨宇师兄做的）2、基于图片的。这里主要对基于图片的三维重建的发展做一下总结。 基于图片的三维重建方法： 基于图片的三维重建方法又分为双目立体视觉；单目立体视觉。 A双目立体视觉： 这种方法使用两台摄像机从两个(通常是左右平行对齐的，也可以是上下竖直对齐的)视点观测同一物体，获取在物体不同视角下的感知图像，通过三角测量的方法将匹配点的视差信息转换为深度，一般的双目视觉方法都是利用对极几何将问题变换到欧式几何条件下，然后再使用三角测量的方法估计深度信息这种方法可以大致分为图像获取、摄像机标定、特征提取与匹配、摄像机校正、立体匹配和三维建模六个步骤。王涛的毕业论文就是做的这方面的工作。双目立体视觉法的优点是方法成熟，能够稳定地获得较好的重建效果，实际应用情况优于其他基于视觉的三维重建方法，也逐渐出现在一部分商业化产品上;不足的是运算量仍然偏大，而且在基线距离较大的情况下重建效果明显降低。 代表文章：AKIMOIO T Automatic creation of3D facial models1993 CHEN C L Visual binocular vison systems to solid model reconstruction 2007 B基于单目视觉的三维重建方法: 单目视觉方法是指使用一台摄像机进行三维重建的方法所使用的图像可以是单视点的单幅或多幅图像，也可以是多视点的多幅图像前者主要通过图像的二维特征推导出深度信息，这些二维特征包括明暗度、纹理、焦点、轮廓等，因此也被统称为恢复形状法（shape from X） 1、明暗度（shape from shading SFS） 通过分析图像中的明暗度信息，运用反射光照模型，恢复出物体表面法向量信息进行三维重建。SFS方法还要基于三个假设a、反射模型为朗伯特模型，即从各个角度观察，同一点的明暗度都相同的;b、光源为无限远处点光源;c、成像关系为正交投影。 提出：Horn shape from shading：a method for obtaining the shape of a smooth opaque object from one view1970(该篇文章被引用了376次) 发展：Vogel2008年提出了非朗伯特的SFS模型。 优势：可以从单幅图片中恢复出较精确的三维模型。 缺点：重建单纯依赖数学运算，由于对光照条件要求比较苛刻，需要精确知道光源的位置及方向等信息，使得明暗度法很难应用在室外场景等光线情况复杂的三维重建上。 2、光度立体视觉（photometric stereo） 该方法通过多个不共线的光源获得物体的多幅图像，再将不同图像的亮度方程联立，求解出物体表面法向量的方向，最终实现物体形状的恢复。 提出：Woodham对SFS进行改进（1980年）：photometric method for determining surface orientation from multiple images(该文章被引用了891次) 发展：Noakes：非线性与噪声减除2003年； Horocitz：梯度场合控制点2004年； Tang：可信度传递与马尔科夫随机场2005年； Basri：光源条件未知情况下的三维重建2007年； Sun：非朗伯特2007年； Hernandez：彩色光线进行重建方法2007年；
基于双目立体视觉三维重建系统的制作流程
本技术公开了一种基于双目立体视觉三维重建系统，涉及三维重建系统技术领域；机箱的底部四角处均固定安装有行走轮，机箱的内部分别固定安装有蓄电池与处理计算机，机箱的上端分别固定安装有显示器与安装架，安装架上通过轴承座固定安装有主轴，主轴的下端固定安装有安装齿轮，安装齿轮与驱动齿轮相啮合，驱动齿轮固定安装有驱动电机的轴上，驱动电机通过螺栓安装在安装架上，主轴的上端固定安装有连接轴，连接轴为横向设置，连接轴的两端固定安装有双摄像头，连接轴的中上端固定安装有照明灯；本技术能够实现快速控制，稳定性高，且控制准确，操作简便，能够节省时间；使用方便，结构简单，且效率高，能够在检测时进行补光。 技术要求
1.一种基于双目立体视觉三维重建系统，其特征在于：包括机箱、行走轮、蓄电池、处理计算机、显示器、安装架、驱动齿轮、驱动电机、安装齿轮、主轴、连接轴、双摄像头、照明灯；机箱的底部四角处均固定安装有行走轮，机箱的内部分别固定安装有蓄电池与处理计算机，机箱的上端分别固定安装有显示器与安装架，安装架上通过轴承座固定安装有主轴，主轴的下端固定安装有安装齿轮，安装齿轮与驱动齿轮相啮合，驱动齿轮固定安装有驱动电机的轴上，驱动电机通过螺栓安装在安装架上，主轴的上端固定安装有连接轴，连接轴为横向设置，连接轴的两端固定安装有双摄像头，连接轴的中上端固定安装有照明灯，蓄电池通过导线与处理计算机、显示器的电源端电连接，双摄像头通过导线与处理计算机的输入端电连接，处理计算机的输出端分别与驱动电机、照明灯电连接，显示器与处理计算机的输入、输出端电连接。 2.根据权利要求1所述的一种基于双目立体视觉三维重建系统，其特征在于：所述显示器为触摸式显示屏。 3.根据权利要求1所述的一种基于双目立体视觉三维重建系统，其特征在于：所述行走轮为减震式万向行走轮。 4.根据权利要求1所述的一种基于双目立体视觉三维重建系统，其特征在于：所述驱动电机为低速电机。 5.根据权利要求1所述的一种基于双目立体视觉三维重建系统，其特征在于：所述照明灯为LED灯。 技术说明书 一种基于双目立体视觉三维重建系统 技术领域 本技术属于三维重建系统技术领域，具体涉及一种基于双目立体视觉三维重建系统。 背景技术
双目视觉成像原理
双目视觉成像原理 1.引言 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图。 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。 2.双目立体视觉系统 立体视觉系统由左右两部摄像机组成。如图一所示，图中分别以下标L和r标注左、右摄像机的相应参数。世界空间中一点A(X，Y，Z)在左右摄像机的成像面C L和C R上的像点分别为al(ul，vl)和ar(ur，vr)。这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为世界空间中的对象点A(X，Y，Z)。这就是立体视觉的基本原理。 图1：立体视觉系统 3.双目立体视觉相关基本理论说明 3．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图2所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图2所示。事实上摄像机的成像平面在镜头的光心后，图2中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐
主动式光学三维成像技术
万方数据
万方数据
万方数据
万方数据
主动式光学三维成像技术 作者：周海波， 任秋实， 李万荣 作者单位：上海交通大学激光与光子生物医学研究所,上海,200030 刊名： 激光与光电子学进展 英文刊名：LASER & OPTOELECTRONICS PROGRESS 年，卷(期)：2004,41(10) 被引用次数：6次 参考文献(23条) 1.Noguchi M;Nayar S K Microscopic shape from focus using active illumination[外文会议] 1994(01) 2.Cohen F S;Patel M A A new approach for extracting shape from texture,Intelligent Control,1990 1990 3.Nayar S K;Watanabe M;Noguchi M Real-time focus range sensor[外文期刊] 1996(12) 4.Ghita O;Whelan P F A bin picking system based on depth from defocus[外文期刊] 2003(04) 5.POSDAMER J L;Altschuler M D Surface measurement by space-encoded projected beam systems[外文期刊] 1982(01) 6.WOODHAM R J Photometric method for determining surface orientation from multiple images 1980(01) 7.Miyasaka T;Kuroda K;Hirose M High speed 3-D measurement system using incoherent light source for human performance analysis 2000 8.Carrihill B;Hummel R Experiments with the intensity ratio depth sensor 1985 9.Maruyama M;Abe S Range sensing by projecting multiple slits with random cuts[外文期刊] 1993(06) 10.Caspi D;Kiryati N;Shamir J Range imaging with adaptive color structured light[外文期刊] 1998(05) 11.Horn E;Kiryati N Toward optimal structured light patterns[外文期刊] 1999(02) 12.Rocchini C;Cignoni P;Montani M A low cost 3D scanner based on structured light 2001(03) 13.Inokuchi S;Sato K;Matsuda F Range imaging system for 3-D object recognition 1984 14.Horn B K P;Brooks M Shape from Shading 1989 15.Schubert E Fast 3D object recognition using multiple color coded illumination[外文会议] 1997 16.Pulli K Acquisition and visualization of colored 3D objects[外文会议] 1998 17.Sato K;Inokuchi S Three-dimensional surface measurement by space encoding range imaging 1985(02) 18.Daniel Scharstein;Richard Szeliski High-Accuracy Stereo Depth Maps Using Structured Light[外文会议] 2003 19.Batlle J;Mouaddib E;Salvi J Recent progress in coded structured light as a technique to solve the correspondence problem: a survey[外文期刊] 1998(07) 20.Yoshizawa T The recent trend of moiremetrology 1991(03) 21.Li Zhang;Curless B;Seitz S M Rapid Shape Acquisition Using Color Structured Light and Multi-pass Dynamic Programming[外文会议] 2002 22.Sato T Multispectral pattern projection range finder 1999 23.EL-Hakim S F;Beraldin J A;Blais F A Comparative Evaluation of the Performance of Passive and Active 3-D Vision Systems 1995 本文读者也读过(2条) 1.欧阳俊华.OUYANG Jun-hua近距离三维激光扫描技术[期刊论文]-红外2006,27(3)
机器视觉检测讲解
研究背景： 产品表面质量是产品质量的重要组成部分，也是产品商业价值的重要保障。产品表面缺陷检测技术从最初的依靠人工目视检测到现在以CCD 和数字图像处理技术为代表的计算机视觉检测技术，大致经历了三个阶段，分别是传统检测技术阶段、无损检测技术阶段、计算机视觉检测技术阶段。[] 传统检测技术 （1）人工目视检测法 （2）频闪检测法 无损检测技术 （1）涡流检测法 （2）红外检测法 （3）漏磁检测法 计算机视觉检测技术 （1）激光扫描检测法 （2）CCD 检测法 采用荧光管等照明设备，以一定方向照射到物体表面上，使用CCD摄像机来扫描物体表面，并将获得的图像信号输入计算机，通过图像预处理、缺陷区域的边缘检测、缺陷图像二值化等图像处理后，提取图像中的表面缺陷的相关特征参数，再进行缺陷图像识别，从而判断出是否存在缺陷及缺陷的种类信息等。 优点：实时性好，精确度高，灵活性好，用途易于扩充，非接触式无损检测。 基于机器视觉的缺陷检测系统优点： 集成化生产缩短产品进入市场时间改进生产流程100%质量保证实时过程监控提高产量精确检测100%检测 由于经济和技术原因国内绝大多数图像处理技术公司都以代理国外产品为主，没有或者很少涉足拥有自主知识产权的机器视觉在线检测设备，对视觉技术的开发应用停留在比较低端的小系统集成上，对需要进行大数据量的实时在线检测的研究很少也很少有成功案例，但是随着国内经济发展和技术手段不断提高对产品质量检测要求就更高，对在线检测设备的需求也就更大具有巨大的市场潜力。 机器视觉图像处理技术是视觉检测的核心技术 铸件常见缺陷：砂眼气孔缩孔披缝粘砂冷隔掉砂毛刺浇不足缺陷变形 问题的提出： 1.水渍、污迹等不属于铸件缺陷，但由于其外观形貌与缺陷非常类似, 因此易被检测系统误识为缺陷。从目前发表的文献来看，对于伪缺陷的识别率较低。 2.不同种缺陷之间可能存在形状、纹理等方面的相似性，造成缺陷误判。 国外研究发展现状： 20 世纪90 年代后，基于机器视觉检测系统的自动化功能和实用化水平得到了进一步的提高。 1990 年芬兰Rautaruukki New Technology公司研制了Smartivis表面检测系统[]，该系统具有自学习分类功能，应用机器学习方法对决策树结构进行自动设计优化。 1996 年美国Cognex公司研发了一套iLearn自学习分类器软件系统并应用于其研制了iS-2000 自动检测系统。通过这两套系统的无缝衔接，极大地提高了检测系统实时的运算速度，有效的改进了传统自学习分类方法在算法执行速度、数据实时吞吐量、样本训练集规模及模式特征自动选择等方面的不足之处[]。 2004 年Parsytec公司发布了新一代表面质量检测产品Parsytec5i，该系统运用了自学习神经
几种三维重建方法的比较_尚明姝
第19卷哈尔滨师范大学自然科学学报 V ol.19,N o.52003 第5期 NAT URA L SCIE NCES JOURNA L OF H AR BI N NORM A L UNI VERSITY 几种三维重建方法的比较3 尚明姝 解 凯 (哈尔滨师范大学) 【摘要】 本文综述了三维重建的若干方法,并分析比较了各种方法的特点,同时 还给出了在欧氏几何下一种简单摄像机配置下的三维重建空间点的简单方法1此外给出了通过矩阵分解的办法来推导基本矩阵F 的方法1 关键词:三维重建;摄影重建;基本矩阵 收稿日期:2003-09-04 3本课题是黑龙江省教育厅科技资金(10531085)、哈师大校基金资助项目 1 三维重建的意义 客观世界在空间上是三维的,在工程技术界一般要对三维物体进行分析,以便获取有用的信息1目前,大多数图像采集装置所获取的图像本身是在二维平面上的,尽管其中可以含有三维物体的空间信息1因此,要从图像认识真实物体,就要从二维图像中恢复三维空间信息,这正是三维立体重建所要完成的任务1 2 三维重建的若干方法 211 欧氏几何意义下三维重建的一般方法 欧氏几何下三维重建的一般方法是在摄像机已定标情况下,从重建空间点开始,由三维顶点计算空间直线、空间二次曲线,由计算出的空间直线重组三维面、二次曲面,最后由计算出的三维平面、二次曲面重建三维实体121111 空间点的重建 空间物体表面是由三维点构成的,若能获得足够多的三维点,三维物体的形状与位置就可唯一确定1因此,用立体视觉的方法获得三维点的坐标是最基本的、最简单的,但也是十分重要的1 假定对应空间点的两个摄像机上的图像点已 从两幅图像中分别检测出来,两个摄像机已标定, 其投影矩阵已知1通过列出空间点在图像上投影 点坐标(u ,v )与世界坐标系(x ,y ,z )的关系,得出方程组,解出此空间点在世界坐标系下的坐标1 为了更清楚地了解点重建的物理意义,在文献[1]中给出了一种简单摄像机配置下空间点重建方法1以下作者将给出另一种简单摄像机配置下三维重建的简单方法1 如图1、2所示,原摄像机配置为:C 1与C 2摄像机的焦距相等,各内部参数也相等,且两个摄像机的光轴互相平行,X 轴互相重合,Y 轴互相平行,两个摄像机坐标系只差X 轴方向上的一个平移,平移距离记为b.现将左摄像机绕Y 轴顺时针转θ角,右摄像机逆时针转θ角,以左摄像机坐标系为世界坐标系1 在图2所示配置下,任一空间点在C 1坐标系下坐标为(x 1,y 1,z 1),在C 2坐标系下坐标为(x 2,y 2,z 2),其中,(x 1,y 1,z 1)与(x 2,y 2,z 2)关系如下 : 转换为方程:
【CN109766876A】非接触式指纹采集装置和方法【专利】
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910180648.4 (22)申请日 2019.03.11 (71)申请人 墨奇科技（北京）有限公司 地址 100097 北京市海淀区北四环西路67 号中关村国际创新大厦802室 (72)发明人 汤林鹏 邰骋 康峰 胡伟 刘博 (74)专利代理机构 北京市汉坤律师事务所 11602 代理人 初媛媛 魏小薇 (51)Int.Cl. G06K 9/00(2006.01) (54)发明名称 非接触式指纹采集装置和方法 (57)摘要 本发明提供了一种非接触式指纹采集装置 和方法。非接触式指纹采集装置可包括：壳体，所 述壳体包括用于至少一个手指的手指扫描区；至 少两个图像捕获装置，所述至少两个图像捕获装 置位于所述壳体中并且以预定的基线距离设置， 每个图像捕获装置具有与竖直方向成预定角度 的光轴；以及照明单元，所述照明单元位于所述 壳体中，用于照射所述至少一个手指。其中，所述 至少两个图像捕获装置能够操作以采集所述至 少一个手指的多个部分指纹图像，并且所述多个 部分指纹图像对应于所述至少一个手指的不同 部分。由此，能够采集到具有更高图像质量和更 大面积的指纹图像。权利要求书4页 说明书12页 附图10页CN 109766876 A 2019.05.17 C N 109766876 A
权 利 要 求 书1/4页CN 109766876 A 1.一种非接触式指纹采集装置，包括： 壳体，所述壳体包括用于至少一个手指的手指扫描区； 至少两个图像捕获装置，所述至少两个图像捕获装置位于所述壳体中并且以预定的基线距离设置，每个图像捕获装置具有与竖直方向成预定角度的光轴；以及 照明单元，所述照明单元位于所述壳体中，用于照射所述至少一个手指， 其中，所述至少两个图像捕获装置能够操作以采集所述至少一个手指的多个部分指纹图像，并且所述多个部分指纹图像对应于所述至少一个手指的不同部分。 2.如权利要求1所述的非接触式指纹采集装置，其中，所述照明单元包括至少一个可见光源和设置在所述至少一个可见光源之上的至少一个光学部件。 3.如权利要求2所述的非接触式指纹采集装置，其中，所述照明单元包括与水平方向成不同角度定位的三个可见光源以及分别设置在所述三个可见光源之上的三个光学部件，并且 其中，所述三个可见光源分别照射所述至少一个手指的左侧、右侧和上侧，并且所述三个可见光源的照射区域重叠。 4.如权利要求1所述的非接触式指纹采集装置，其中，所述照明单元包括环型可见光源。 5.如权利要求2所述的非接触式指纹采集装置，其中，所述照明单元进一步包括红外光源，并且所述至少两个图像捕获装置能够操作以进一步捕获多个部分指纹红外图像。 6.如权利要求1所述的非接触式指纹采集装置，其中，所述至少两个图像捕获装置为相机，并且其中，每个相机的相机镜头的光圈的F值范围为4至12，其中，所述F值是每个相机的所述相机镜头的焦距与所述相机镜头的入射光瞳的直径之比。 7.如权利要求1所述的非接触式指纹采集装置，其中，所述至少两个图像捕获装置是相机，并且来自所述照明单元的光与所述相机的快门同时闪光。 8.如权利要求1所述的非接触式指纹采集装置，其中，所述至少两个图像捕获装置为两个相机，并且其中，所述两个相机之间的所述预定基线距离处于3cm至20cm的范围内，并且所述预定角度处于5度至45度的范围内。 9.如权利要求1所述的非接触式指纹采集装置，进一步包括：深度感测单元，所述深度感测单元用于感测所述多个部分指纹图像的深度信息，其中，所述深度感测单元包括主动式立体视觉部件、结构光部件、飞行时间(ToF)部件和光度立体部件中的至少一个。 10.如权利要求1所述的非接触式指纹采集装置，进一步包括：处理器，所述处理器用于处理所述多个部分指纹图像，以通过组合所述多个部分指纹图像来获得3D指纹图像。 11.如权利要求1所述的非接触式指纹采集装置，进一步包括：通信接口，所述通信接口用于将所述多个部分指纹图像传输到外部装置，其中，所述通信接口是通用串行总线(USB)、GigE、CameraLink、RS485、RS422、无线网络接口、或蓝牙。 12.如权利要求11所述的非接触式指纹采集装置，其中，所述外部装置是服务器，并且所述多个部分指纹图像由所述服务器处理以获得3D指纹图像。 13.如权利要求11所述的非接触式指纹采集装置，其中，所述外部装置是计算装置，并且所述多个部分指纹图像由所述计算装置处理以获得3D指纹图像。 14.如权利要求1所述的非接触式指纹采集装置，其中，所述至少一个手指是单个手指， 2
医学图像三维重建中的关键算法
医学图像三维重建中的关键算法 罗东礼，徐大宏，赵于前 (中南大学信息物理工程学院生物医学工程研究所，长沙410083) 摘要：本文主要讨论了基于序列图像的三维重建中的两个关键算法：特征数据点列的重采样算法与三角化算法。本文把Douglas-Peucker线性简化算法应用在特征边界的重采样上，数据的压缩比得到了明显的改善，也显著地提高了可视化速度。并使用一种简单的三角化算法，对重采样后的数据点列进行三角化，实现目标的三维重建。 关键词：图像序列，三维重建，重采样，三角化 The Algorithm about 3D Reconstruction of Image Sequences Luo Dongli，Xu Dahong，Zhao Yuqian (Institute of biomedical Engineering, School of Info-Physics Geomatics Engineering, CSU, Changsha 410083) Abstract This paper discusses two important algorithms in 3D reconstruction of image sequences, i.e. re-sampling algorithm and triangulation algorithm. An improved algorithm for Doulas-Peucker Line-Simplification is presented. This algorithm can improve the performance of re-sampling and 3D data field visualization. Triangulation is implemented by using a simple triangulation algorithm. Sequentially, 3D object reconstruction is achieved. Keywords Image Sequence, 3D Reconstruction, re-sampling, Triangulation 0 引言 随着计算机软硬件技术，以及医学成像技术的日益发展，基于数字图像技术的医学应用系统也逐渐得到了长足的发展。在这些医学应用系统中，在有效精确地提取出医学图像中相应目标特征量的基础上，进行人体组织或器官的三维重建[1,2]，是很多实用系统的基础，如基于图像的病理分析[3]、基于图像的手术导引与增强[4,5,6,8]、虚拟手术平台[7]等应用系统，因此医学图像的三维重建一直是国内外医学界及图像领域的研究与应用热点之一。 三维重建的目的是从一系列二维切片数据（图像）中得到物体的三维表示，一般使用网格的形式来表示。目前，三维重建过程中经常延用的一种经典算法是Lorensen等人于1987年提出的Marching Cubes方法[10]，其原理简单，易于实现。但这种方法计算效率低，输出的三角网格数量巨大。因此近些年来，仍然有研究者们从不同角度对该算法进行改进[9,11,12]。本文在文献[13]的基础上提出了一种改进重采样算法结合文献[9]基于轮廓的三维重建方法，运用并改进了相关算法，与直接运用文献[9]所提出的算法相比较，本文所提出并改进的方法处理速度更快，输出的三角网格数量也较少，而且三角网格的形态也比较理想。 在第1小节中对算法作了描述，第2小节总结并分析了本文所提出方法的一些性能。 1 算法描述 作者实现基于序列图像三维重建的主要思路如下： (1) 特征提取：在序列图像中提取出需要重建目标的轮廓；
双目立体视觉
计算机双目立体视觉 双目立体视觉技术是仿照人类利用双目线索感知深度信息的方法，实现对三维信息的感知。为解决智能机器人抓取物体、视觉导航、目标跟踪等奠定基础。 双目立体视觉（Binocular Stereo Vision ）是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点之间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获取的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作为视差（Disparity ）图像。 双目立体视觉系统 立体视觉系统由左右两部摄像机组成，如图，世界空间中的一点A(X,Y ,Z)在左右摄像机的成像面1C 和r C 上的像点分别为）（111,v u a 和） （r r r v u a ,。这两个像点是世界空间中同一个对象点A 的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心1O 和r O 的连线，即投影线11O a 和r r O a ，它们的交点即为世界空间中的对象点A 。这就是立体视觉的基本原理。 双目立体视觉智能视频分析技术 恢复场景的3D 信息是立体视觉研究中最基本的目标，为实现这一目标，一个完整的立体视觉系统通常包含六个模块：图像获取、摄像机标定、特征提取、立体匹配、三维恢复和视频
分析（运动检测、运动跟踪、规则判断、报警处理）。 图像获取（Image Acquisition ） 数字图像的获取是立体视觉的信息来源。常用的立体视觉图像一般为双目图像，有的采用夺目图像。图像的获取方式有很多种，主要有具体运用的场合和目的决定。立体图像的获取不仅要满足应用要求，而且考虑视点差异、光照条件、摄像机的性能和场景特点等方面的影像。 摄像机标定（Camera Calibration ） 图像上每一点的亮度反映了空间物体表面某点反射光的强度，而该点在图像上的位置则与空 间物体表面相应点的几何位置有关。这些位置的相互关系由摄像机成像几何模型来决定。该几何模型的参数称为摄像机参数，这些参数必须由实验与计算来确定，实验与计算的过程称为摄像机定标。 立体视觉系统摄像机标定是指对三维场景中对象点在左右摄像机图像平面上的坐标位置 ）（111,v u a 和） （r r r v u a ,与其世界空间坐标A （X, Y , Z ）之间的映射关系的确立，是实现立体视觉三维模型重构中基本且关键的一步。 特征提取（Feature Acquisition ） 特征提取的目的是获取匹配得以进行的图像特征，图像特征的性质与图像匹配的方法选择有着密切的联系。目前，还没有建立起一种普遍适用的获取图像特征的理论，因此导致了立体视觉研究领域中匹配特征的多样化。像素相位匹配是近二十年才发展起来的一类匹配算法。相位作为匹配基元，本身反映着信号的结构信息，对图像的高频噪声有很好的一直作用，适于并行处理，能获得亚像素级精度的致密视差。但存在相位奇点和相位卷绕的问题，需加入自适应滤波器解决。或者是像素的集合，也可以是它们的抽象表达，如图像的结构、图像的目标和关系结构等。常用的匹配特征主要有点状特征、线装特征和区特征等几种情形。 一般而言，尺度较大的图像特征蕴含较多的图片信息，且特征本身的数目较少，匹配效率高；但特征提取和描述过程存在较大的困难，定位精度也较差。而对于尺度较小的图像特征来说，对其进行表达和描述相对简单，定位的精度高；但由于特征本身数码较多，所包含的图像信息少，在匹配时需要采用较为严格的约束条件和匹配策略，一尽可能的减少匹配歧义和提高匹配效率。总的来说，好的匹配特征应该具有要可区分性、不变性、唯一性以及有效解决匹配歧义的能力。 图像匹配（Image Matching ） 在立体视觉中，图像匹配是指将三维空间中一点A （X, Y , Z ）在左右摄像机的成像面1C 和r C 上的像点）（111,v u a 和） （r r r v u a ,对应起来。图像匹配是立体视觉中最重要也是最困难的问题，一直是立体视觉研究的焦点。当空间三维场景经过透视投影（Perspective Projection ）变换为二维图像时，同一场景在不同视点的摄像机图像平面上成像会发生不同程度的扭曲和变形，而且场景中的光照条件、被测对象的几何形状和表面特性、噪声干扰和畸变、摄像机特性等诸多因素的影响都被集中体现在单一的图像灰度值中。显然，要包含了如此之多不利因素的图像进行精准的匹配是很不容易的。
三维重建方法综述
三维重建方法综述 三维重建方法大致分为两个部分1、基于结构光的2、基于图片的。这里主要对基于图片的三维重建的发展做一下总结。基于图片的三维重建方法： 基于图片的三维重建方法又分为双目立体视觉；单目立体视觉。 A双目立体视觉： 这种方法使用两台摄像机从两个(通常是左右平行对齐的，也可以是上下竖直对齐的)视点观测同一物体，获取在物体不同视角下的感知图像，通过三角测量的方法将匹配点的视差信息转换为深度，一般的双目视觉方法都是利用对极几何将问题变换到欧式几何条件下，然后再使用三角测量的方法估计深度信息这种方法可以大致分为图像获取、摄像机标定、特征提取与匹配、摄像机校正、立体匹配和三维建模六个步骤。王涛的毕业论文就是做的这方面的工作。双目立体视觉法的优点是方法成熟，能够稳定地获得较好的重建效果，实际应用情况优于其他基于视觉的三维重建方法，也逐渐出现在一部分商业化产品上;不足的是运算量仍然偏大，而且在基线距离较大的情况下重建效果明显降低。 代表文章：AKIMOIOT Automatic creation of 3D facial models 1993 CHENCL Visual binocular vison systems to solid model reconstruction 2007 B基于单目视觉的三维重建方法: 单目视觉方法是指使用一台摄像机进行三维重建的方法所使用的图像可以是单视点的单幅或多幅图像，也可以是多视点的多幅图像前者主要通过图像的二维特征推导出深度信息，这些二维特征包括明暗度、纹理、焦点、轮廓等，因此也被统称为恢复形状法（shape from X） 1、明暗度（shape from shading SFS） 通过分析图像中的明暗度信息，运用反射光照模型，恢复出物体表面法向量信息进行三维重建。SFS方法还要基于三个假设a、反射模型为朗伯特模型，即从各个角度观察，同一点的明暗度都相同的;b、光源为无限远处点光源;c、成像关系为正交投影。 提出：Horn shape from shading：a method for obtaining the shape of a smooth opaque object from one view 1970(该篇文章被引用了376次) 发展：V ogel2008年提出了非朗伯特的SFS模型。优势：可以从单幅图片中恢复出较精确的三维模型。 缺点：重建单纯依赖数学运算，由于对光照条件要求比较苛刻，需要精确知道光源的位置及方向等信息，使得明暗度法很难应用在室外场景等光线情况复杂的三维重建上。 2、光度立体视觉（photometric stereo） 该方法通过多个不共线的光源获得物体的多幅图像，再将不同图像的亮度方程联立，求解出物体表面法向量的方向，最终实现物体形状的恢复。 提出：Woodham对SFS进行改进（1980年）：photometric method for determining surface orientation from multiple images(该文章被引用了891次) 发展：Noakes：非线性与噪声减除2003年； Horocitz：梯度场合控制点2004年； Tang：可信度传递与马尔科夫随机场2005年；Basri：光源条件未知情况下的三维重建2007年；Sun：非朗伯特2007年； Hernandez：彩色光线进行重建方法2007年； Shi：自标定的光度立体视觉法2010年。 3、纹理法（shape from texture SFT） 通过分析图像中物体表面重复纹理单元的大小形状，恢复出物体法向深度等信息，得到物体的三维几何模型。
基于视觉认知机制的三维重建算法(VCM算法)
基于视觉认知机制的三维重建算法（VCM算法） Abstract:本文在总结以往重建方法的基础上，提出了一种新的三维重建方法——基于视觉认知机制的三维重建算法（VCM算法）。类似于模型引导（CSG）[1,2]方法，算法将整个三维实体划分成基元（基本体素）的组合。不同的是，基元不是事先定义好的，而是被限制为能用实体造型中广义平移操作所能生成的实体。算法利用自底向上（B-rep）[3]方法生成实体每一个基元，再将基元合并成最后的结果实体。在重建过程中出现歧义时，利用剖视图处理和视觉推理机制加以解决，使得结果实体与人的理解结果更加一致。Keywords: Interpretation of engineering draws,3D reconstruction from multi-projections, visual cognition, pattern recognition. 1 Introduction 从工程视图重建三维实体一向被认为是一个颇具挑战性的课题，它的主要任务是从二维视图表达中提取产品模型的三维信息，使计算机能像人理解视图那样从工程视图中重建出产品的三维模型。在工程制图中，主要都是以多视图表达一个三维实体的，包括三视图、剖视图、局部试图等，因此本文也将主要的研究集中在多视图三维重建技术上（下文如无特别说明，三维重建技术指的都是从多视图重建三维实体的技术）。从上文对多视图三维重建技术的分析，我们可以看到从多视图重建三维实体目标的研究应做好以下几项工作： 1)必须要将自动识别与人机交互有效地结合起来，至少在目前一个全自动识别系统的实用性是有限时。 因为目前教给计算机识图的本领与有经验工程人员识图的本领相差太大，诸如多视图、剖面、局部放大、省略表示、检查图形一致性等在目前还没有很好解决。因此充分利用人的知识和技巧来弥补自动识别的不足，引导自动识别将会极大地增强识别算法的实用性。 2)必须建立综合各种识别方法及相关学科技术的识别系统，至少在目前运用一种方法独自建立的识别系 统很难胜任实际工程中三视图的识别时。而且已有许多算法综合了不同的识别方法从而提高了识别能力。在识别策略上应采用“各个击破”的策略，充分利用视图上所有相关信息，灵活运用不同的识别方法有针对性地处理不同类型的图形，尽快抓住形体特征，从而减少识别的复杂性，提意识别能力和速度。 3)必须要建立知识的自动积累机制，具有良好的扩展性，用以不断提高识别的自动化程度。人识图的经 验是通过不断地“看”、归纳、总结而积累起来的。而以往的算法不具备这种能力。无论通过什么方法好不容易识别出来的实体目标，却没有再把它自动转化成识别知识以扩展识别能力，更不用说能自动归纳、总结出识别某类实体的最佳方法。而且有些识别模型太复杂，用人工的方式构造已无法胜任，必须要有自动构造的能力。当图纸信息越复杂，识别越困难时，就越显出知识自动积累的重要。 本文主要是从前两个方面着手，提出一种新算法，算法的思想和框架将在下面一章中具体描述。 2 Algorithm 2.1算法思想 现有三维重建算法的不足，促使我们考虑一种新的算法。这种算法需要解决三个方面的问题： 1) 选择一个合适的基准抽象表达层。使得在从这样的一个中间表达层上进行三维模型重建时，不要过分地依赖自然约束与常识； 2) 建立新的算法机制，克服B-rep[3]、CSG[1,2]等方法的缺限和所遇到的困难； 3) 引入视觉推理机制，从而使得算法能根据所“看”到的形体的固有的形状特征作一些合理的猜测和推理，