第二章-图像处理的光学与视觉基础
双目视觉成像原理
双目视觉成像原理 1.引言 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图。 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。 2.双目立体视觉系统 立体视觉系统由左右两部摄像机组成。如图一所示，图中分别以下标L和r标注左、 右摄像机的相应参数。世界空间中一点A(X，Y，Z)在左右摄像机的成像面C L 和C R 上的像点 分别为al(ul，vl)和ar(ur，vr)。这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为世界空间中的对象点A(X，Y，Z)。这就是立体视觉的基本原理。 图1：立体视觉系统 3.双目立体视觉相关基本理论说明
3．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图2所示为简单的平视双目立体成像原 理图，两摄像机的投影中心的连线的距离，即基线距为b 。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图2所示。事实上摄像机的成像平面在镜头的光心后，图2中将左右成像平面绘制在镜头的光心前f 处，这个虚拟的图像平面坐标系O1uv 的u 轴和v 轴与和摄像机坐标系的x 轴和y 轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P 在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P 图像坐标的Y 坐标相同，即v1=v2。由三角几何关系得到: c c 1z x f u = c c 2z ）b -x （f u = v 1 c c 21z y f v v == 上式中（x c ，y c ，z c ）为点P 在左摄像机坐标系中的坐标，b 为基线距，f 为两个摄 像机的焦距，（u1，v1）和（u2，v2）分别为点P 在左图像和右图像中的坐标。 视差定义为某一点在两幅图像中相应点的位置差: 图2：双目立体成像原理图 由此可计算出空间中某点P 在左摄像机坐标系中的坐标为: 因此，只要能够找到空间中某点在左右两个摄像机像面上的相应点，并且通过摄像机标定获得摄像机的内外参数，就可以确定这个点的三维坐标。 双目立体视觉的系统结构以及精度分析 由上述双目视觉系统的基本原理可知，为了获得三维空间中某点的三维坐标，需要在
何东健-数字图像处理 第二章
第二章数字图像处理基础 2.1 图像数字化技术 2.2 数字图像类型 2.3 图像文件格式 2.4 色度学基础与颜色模型
2.1 图像数字化技术 图像处理的方法有模拟式和数字式两种。由于数字计算技术的迅猛发展，数字图像处理技术得到了广泛的应用。我们日常生活中见到的图像一般是连续形式的模拟图像，所以数字图像处理的一个先决条件就是将连续图像离散化，转换为数字图像。 图像的数字化包括采样和量化两个过程。 设连续图像f(x,y) 经数字化后，可以用一个离散量组成的矩阵g(i,j)（即二维数组）来表示。
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? - - - - - - = )1 ,1 ( )1,1 ( )0,1 ( )1 ,1( )1,1( )0,1( )1 ,0( )1,0( )0,0( ) ,( n m f m f m f n f f g n f f f j i g （2-1） 矩阵中的每一个元素称为像元、像素或图像元素。而g(i,j)代表(i,j)点的灰度值，即亮度值。以上数字化有以下几点说明： （1）由于g(i, j)代表该点图像的光强度，而光是能量的一种 形式，故g(i, j)必须大于零，且为有限值，即：0＜g(i, j)＜∞。
（2）数字化采样一般是按正方形点阵取样的，除此之外还有三角形点阵、正六角形点阵取样。如图2-1所示。 （3）以上是用g(i,j)的数值来表示(i,j)位置点上灰度级值的大小，即只反映了黑白灰度的关系，如果是一幅彩色图像，各点的数值还应当反映色彩的变化，可用g(i,j,λ)表示，其中λ是波长。如果图像是运动的，还应是时间t的函数，即可表示为g(i,j,λ, t)。
机器视觉基础知识详解
机器视觉基础知识详解 随着工业4.0时代的到来，机器视觉在智能制造业领域的作用越来越重要，为了能让更多用户获取机器视觉的相关基础知识，包括机器视觉技术是如何工作的、它为什么是实现流程自动化和质量改进的正确选择等。小编为你准备了这篇机器视觉入门学习资料。 机器视觉是一门学科技术，广泛应用于生产制造检测等工业领域，用来保证产品质量，控制生产流程，感知环境等。机器视觉系统是将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。 机器视觉优势：机器视觉系统具有高效率、高度自动化的特点，可以实现很高的分辨率精度与速度。机器视觉系统与被检测对象无接触，安全可靠。人工检测与机器视觉自动检测的主要区别有：
为了更好地理解机器视觉，下面，我们来介绍在具体应用中的几种案例。 案例一：机器人+视觉自动上下料定位的应用： 现场有两个振动盘，振动盘1作用是把玩偶振动到振动盘2中，振动盘2作用是把玩偶从反面振动为正面。该应用采用了深圳视觉龙公司VD200视觉定位系统，该系统通过判断玩偶正反面，把玩偶处于正面的坐标值通过串口发送给机器人，机器人收到坐标后运动抓取产品，当振动盘中有很多玩偶处于反面时，VD200视觉定位系统需判断反面玩偶数量，当反面玩偶数量过多时，VD200视觉系统发送指令给振动盘2把反面玩偶振成正面。 该定位系统通过玩偶表面的小孔来判断玩偶是否处于正面，计算出玩偶中心点坐标，发送给机器人。通过VD200视觉定位系统实现自动上料，大大减少人工成本，大幅提高生产效率。 案例二：视觉检测在电子元件的应用： 此产品为电子产品的按钮部件，产品来料为料带模式，料带上面为双排产品。通过对每个元器件定位后，使用斑点工具检测产品固定区域的灰度值，来判断此区域有无缺胶情况。 该应用采用了深圳视觉龙公司的DragonVision视觉系统方案，使用两个相机及光源配合机械设备，达到每次检测双面8个产品，每分钟检测大约1500个。当出现产品不良时，立刻报警停机，保证了产品的合格率和设备的正常运行，提高生产效率。
机器视觉检测的基础知识[大全]
机器视觉检测的基础知识~相机 容来源网络，由“机械展（11万㎡，1100多家展商，超10万观众）”收集整理！ 更多cnc加工中心、车铣磨钻床、线切割、数控刀具工具、工业机器人、非标自动化、数字化无人工厂、精密测量、3D打印、激光切割、钣金冲压折弯、精密零件加工等展示，就在机械展. 相机都有哪些种类？我们常说的CCD就是相机么？除了2D平面相机，是否还有其他种类的相机，原理又是什么？下面这篇文章给您一一道来。 一，相机就是CCD么？ 通常，我们把所有相机都叫作CCD，CCD已经成了相机的代名词。正在使用被叫做CCD的很可能就是CMOS。其实CCD和CMOS都称为感光元件，都是将光学图像转换为电子信号的半导体元件。他们在检测光时都采用光电二极管，但是在信号的读取和制造方法上存在不同。两者的区别如下： 二，像素。 所谓像素，是指图像的最小构成单位。电脑中的图像，是通过像素（或者称为PIXEL）这一规则排列的点的集合进行表现的。每一个点都拥有色调和阶调等色彩信息，由此就可以描绘出彩色的图像。 ▼例如：液晶显示器上会显示「分辨率：1280×1024」等。这表示横向的像素数为1280，纵向的像素数为1024。这样的显示器的像素总数即为1280×1024＝1,310,720。由于像素数越多，则越可以表现出图像的细节，因此也可以说「清晰度更高」。
三，像素直径。 所谓像素直径，是指每个CCD元件的大小，通常使用μm作为单位。严谨的说，这个大小中包含了受光元件与信号传送通路。（＝像素间距，即某个像素的中心到邻近一个像素的中心的距离。）。也就是说，像素直径与像素间距的值是一样的。如果像素直径较小，则图像将通过较小的像素进行描绘，因此可以获得更加精细的图像。可以通过像素直径和有效像素数，求出CCD元件的受光部的大小。 假设某个 CCD 元件的条件如下所示： ·有效像素数…768 × 484 ·像素直径…8.4 μm× 9.8μm 则受光部的大小为 ·横向768 × 8.4μm＝ 6.4512 mm ·纵向484 × 9.8μm＝ 4.7432 mm 四，CCD的大小。 ▼CCD感光元件的大小，一般分为采用英寸单位表示和采用APS-C大小等规格表示这2种方式。采用英寸表示时，该尺寸并不是拍摄的实际尺寸，而是相当于摄像管的对角长度。例如，1/2英寸的CCD表示「拥有相当于1/2英寸的摄像管的拍摄围」。为什么如此计算呢，这是由于当初制造CCD的目的就是用来代替电视机录像机的摄像管的。当时，由于想要继续使用镜头等光学用品的需求比较强烈，由此就诞生了这种奇怪的规格。主要的英寸规格的尺寸如下表所示。
机器视觉入门知识详解
机器视觉入门知识详解 随着工业4.0时代的到来，机器视觉在智能制造业领域的作用越来越重要，为了能让更多用户获取机器视觉的相关基础知识，包括机器视觉技术是如何工作的、它为什么是实现流程自动化和质量改进的正确选择等。小编为你准备了这篇机器视觉入门学习资料。 机器视觉是一门学科技术，广泛应用于生产制造检测等工业领域，用来保证产品质量，控制生产流程，感知环境等。机器视觉系统是将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。 机器视觉优势：机器视觉系统具有高效率、高度自动化的特点，可以实现很高的分辨率精度与速度。机器视觉系统与被检测对象无接触，安全可靠。人工检测与机器视觉自动检测的主要区别有：
为了更好地理解机器视觉，下面，我们来介绍在具体应用中的几种案例。 啤酒厂采用的填充液位检测系统为例来进行说明： 当每个啤酒瓶移动经过检测传感器时，检测传感器将会触发视觉系统发出频闪光，拍下啤酒瓶的照片。采集到啤酒瓶的图像并将图像保存到内存后，视觉软件将会处理或分析该图像，并根据啤酒瓶的实际填充液位发出通过-未通过响应。如果视觉系统检测到一个啤酒瓶未填充到位，即未通过检测，视觉系统将会向转向器发出信号，将该啤酒瓶从生产线上剔除。操作员可以在显示屏上查看被剔除的啤酒 瓶和持续的流程统计数据。
机器人视觉引导玩偶定位应用： 现场有两个振动盘，振动盘1作用是把玩偶振动到振动盘2中，振动盘2作用是把玩偶从反面振动为正面。该应用采用了深圳视觉龙公司VD200视觉定位系统，该系统通过判断玩偶正反面，把玩偶处于正面的坐标值通过串口发送给机器人，机器人收到坐标后运动抓取产品，当振动盘中有很多玩偶处于反面时，VD200视觉定位系统需判断反面玩偶数量，当反面玩偶数量过多时，VD200视觉系统发送指令给振动盘2把反面玩偶振成正面。 该定位系统通过玩偶表面的小孔来判断玩偶是否处于正面，计算出玩偶中心点坐标，发送给机器人。通过VD200视觉定位系统实现自动上料，大大减少人工成本，大幅提高生产效率。 视觉检测在电子元件的应用：
1 光与视觉的基础知识介绍
光与视觉的基础知识 郭奉杰 杭州浙大三色仪器有限公司
人眼的视觉特性 ?光是一种电磁波，广义上它的波长从几个纳米至一毫米左右，而人眼所能看见的只是一小部分，通常波长范围为380nm至780nm，我们把这部分光称为可见光。
?可见光的波长不同，引起人眼的颜色感觉就不同。 单色光波长由长至短，对应的颜色感觉由红到紫。 一般认为: ?红色780nm～620nm 橙色620nm～590nm 黄色590nm～560nm ?黄绿色560nm～530nm 绿色530nm～500nm 青色550nm～470nm ?蓝色470nm～430nm 紫色430nm～380nm ?上述的范围只是根据人们的习惯大致划分。实际 上随着波长的变化，颜色是连续渐变的，没有严 格的界限。
?物体分为发光体和不发光体。 ?发光体的颜色由它本身发出的光谱所确定，如白炽灯发黄和日光灯发白。 ?不发光体的颜色与照射光的光谱和不发光体对照射光的反射、透射特性有关。如绿叶反射绿色的光、吸收其他颜色的光而呈现绿色；绿叶拿到暗室的红灯下观察成了黑色。 ?由此可见，光是一种客观存在的物质，而色是人眼对这种物质的视觉反应
白炽灯卤粉荧光灯低压汞灯 三基色荧光灯三基色绿粉蓝色LED
色温与标准光源 ?照明光源的作用非常重要，其光谱功率分布情况会直接影响被照物体的颜色。通常的照明光源，如太阳光、日光等发的光虽然都是白光，但它们的光谱成分相差很大，用它们照射相同物体时，呈现的颜色则相差较大。根据CIE （国际照明委员会）的规定，使用的标准光源主要有A、B、 C、D 、E五种，并以“色温”来表征。 65 ? 1. 色温 ?光源的色温是用来描述光源的光谱分布的物理量。在色度学上，它通常用光源的光与绝对黑体发出的光相比较，并用绝对黑体的绝对温度来表征。
双目视觉中的光学原理
机器双目视觉中的光学原理 人类的视觉不仅可以分辨出颜色、外形等特征，也可以分辨深度特征，原因在于人有双目，通过双目所看到不同图像的差别，人就可以分辨出物体的深度信息（位于身体的前后）。 单纯一张图片并没有深度信息，读者可以试着将左右食指放置于面前不同距离处（此距离不宜过大否则人可以通过常识判断出小的在远方），然后用一只眼睛观察两个指头的前后关系，一般会很难判断出前后关系，可是睁开双目再次观察，前后关系就一目了然。 本例说明人眼判断深度信息是依靠两只眼睛所获取的图像区别，只有这种差别产生，才能准确分辨前后信息。实际上3d 电影就是通过光学偏振原理为左右眼提供不同的图像信息来产生三维效果的。 双目光学原理有很广泛的应用，在很多自动控制领域可以帮助机器定位，在如机器零件的自动检测、智能机器人控制、生产线的自动监控等;在国防和航天等领域，双目视觉也具有较重要的意义，如运动目标的自动跟踪与识别、自主车导航及空间机器人的视觉控制等。本文就双目视觉的极轴光学原理进行简单的讨论。 立体视觉系统由左右两部摄像机组成。如图所示，图中分别以下标l和r标注左、右摄像机的相应参数。世界空间中一点A(X，Y，Z)在左右摄像机的成像面Cl和Cr上的像
点分别为al(ul，vl)和ar(ur，vr)。这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为世界空间中的对象点A(X，Y，Z)。这就是立体视觉的基本原理。 在平行光轴的立体视觉系统中，左右两台摄像机的焦距及其它内部参数均相等，光轴与摄像机的成像平面垂直，两台摄像机的x轴重合，y轴相互平行，因此将左摄像机沿着其x轴方向平移一段距离b（称为基线baseline）后与右摄像机重合。 由空间点A及左右两摄像机的光心Ol、Or确定的极平面（Epipolar plane）分别与左右成像平面Cl、Cr的交线pl、pr为共轭极线对，它们分别与各自成像平面的坐标轴ul、ur
双目视觉原理
Bumblebee 双目测量基本原理 一．双目视觉原理： 双目立体视觉三维测量是基于视差原理。 图 双目立体成像原理 其中基线距B=两摄像机的投影中心连线的距离；相机焦距为f 。 设两摄像机在同一时刻观看空间物体的同一特征点(,,)c c c P x y z ，分别在“左眼”和“右眼”上获取了点P 的图像，它们的图像坐标分别为(,)left left left p X Y =，(,)right right right p X Y =。 现两摄像机的图像在同一个平面上，则特征点P 的图像坐标Y 坐标相同，即 left right Y Y Y ==，则由三角几何关系得到： () c left c c rig h t c c c x X f z x B X f z y Y f z ?=???-=???=? ? (1-1) 则视差为：left right D isparity X X =-。由此可计算出特征点P 在相机坐标系下的三维坐标为： left c c c B X x D isp a rity B Y y D isp a rity B f z D isp a rity ? =???= ?? ?= ?? (1-2) 因此，左相机像面上的任意一点只要能在右相机像面上找到对应的匹配点，就可以确定出该点的三维坐标。这种方法是完全的点对点运算，像面上所有点只要存在相应的匹配点，
就可以参与上述运算，从而获取其对应的三维坐标。 二．立体视觉测量过程 1．图像获取 (1) 单台相机移动获取 (2) 双台相机获取：可有不同位置关系（一直线上、一平面上、立体分布） 2．相机标定：确定空间坐标系中物体点同它在图像平面上像点之间的对应关系。 (1)内部参数：相机内部几何、光学参数 (2)外部参数：相机坐标系与世界坐标系的转换 3．图像预处理和特征提取 预处理：主要包括图像对比度的增强、随机噪声的去除、滤波和图像的增强、伪彩色处理等； 特征提取：常用的匹配特征主要有点状特征、线状特征和区域特征等 4．立体匹配：根据对所选特征的计算，建立特征之间的对应关系，将同一个空间物理点在不同图像中的映像点对应起来。 立体匹配有三个基本的步骤组成：1)从立体图像对中的一幅图像如左图上选择与实际物理结构相应的图像特征；2)在另一幅图像如右图中确定出同一物理结构的对应图像特征；3)确定这两个特征之间的相对位置，得到视差。其中的步骤2是实现匹配的关键。 5．深度确定 通过立体匹配得到视差图像之后，便可以确定深度图像，并恢复场景3－D信息。 三．Triclops库中的数据流程 Triclops库中的数据流程如下图所示。系统首先从相机模型中获得raw格式的图像，最终将其处理成深度图像。在系统中有两个主要的处理模块。第一个处理模块是一个应用了低通滤波、图像校正和边缘检测的预处理模块。第二个处理模块用来做立体匹配、结果确认和亚像素插值。最后的处理结果就是一幅深度图像。 1．预处理（Pre-processing）
光和色的基本知识
光和色的基本知识 我们所看到的影像，都是景物的光影像。它是光源照射到物体上，被其表面反射出的那部分光线。光影照射入人眼中，刺激视网膜，使我们感受到物体的存在——也就是看到了景物。 物体的颜色 人眼感知的物体的颜色取决于该物体对人眼入射光的光谱功率分布情况。发光物体的颜色取决于自身的光谱分布情况。不发光物体通过反射光或透射光被人眼感知，其颜色由反射光或透视光的光谱功率分布所决定。决定物体反射光或透视光的光谱功率分布的因素有两个：物体本身的反射特性或透视特性；照明光源的光谱功率分布。 彩色光的三要素 彩色光作用于人眼，使之产生彩色视觉，为了能确切地表示某一彩色光，可用亮度、色调和色饱和度等三个物理量来描述，这三个量称之为彩色光的三要素。 亮度：是描述光刺激人眼时所引起视觉的明暗程度。彩色光辐射的功率越大，亮度越高，反之则亮度越低；对于不发光的物体，其亮度取决于它反射光功率的大小，与光照强度及物体的反射率有关。亮度所转换的电信号称之为亮度信号，是黑白电视的主要物理量，也是彩色电视要传送的信号之一。 色调：是颜色的类别，例如红色，绿色、蓝色等不同颜色。不同波长的光呈现不同的颜色，某物体的色调取决于它本身辐射的光谱成分或在光的照射下所反射的光谱成分，例如，树叶在阳光照射下，它反射绿色光谱成分而吸收其它光谱成份，所以呈现绿色。 色饱和度：是指颜色的深浅程度(或浓度)。对于同一种色调的颜色，饱和度越高，颜色越深，如深红、深绿、深蓝等，饱和度越低，则颜色越淡，如淡红、淡绿、淡蓝等。高饱和度的深色光可渗入白光而被冲淡，变为低饱和度的淡色光。 色调和色饱和度是表征颜色的两个物理量，在彩色电视中又被称为色度，它的电信号称为色度信号或色信号。彩色图像既有亮度，又有色度。黑白图像只有亮度，没有色度。 人眼的彩色视觉
机器视觉基础知识详解
机器视觉基础知识详解 随着工业4、0时代的到来,机器视觉在智能制造业领域的作用越来越重要,为了能让更多用户获取机器视觉的相关基础知识,包括机器视觉技术就是如何工作的、它为什么就是实现流程自动化与质量改进的正确选择等。小编为您准备了这篇机器视觉入门学习资料。 机器视觉就是一门学科技术,广泛应用于生产制造检测等工业领域,用来保证产品质量,控制生产流程,感知环境等。机器视觉系统就是将被摄取目标转换成图像信号,传送给专用的图像处理系统,根据像素分布与亮度、颜色等信息,转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征,进而根据判别的结果来控制现场的设备动作。 机器视觉优势:机器视觉系统具有高效率、高度自动化的特点,可以实现很高的分辨率精度与速度。机器视觉系统与被检测对象无接触,安全可靠。人工检测与机器视觉自动检测的主要区别有: 为了更好地理解机器视觉,下面,我们来介绍在具体应用中的几种案例。 案例一:机器人+视觉自动上下料定位的应用:
现场有两个振动盘,振动盘1作用就是把玩偶振动到振动盘2中,振动盘2作用就是把玩偶从反面振动为正面。该应用采用了深圳视觉龙公司VD200视觉定位系统,该系统通过判断玩偶正反面,把玩偶处于正面的坐标值通过串口发送给机器人,机器人收到坐标后运动抓取产品,当振动盘中有很多玩偶处于反面时,VD200视觉定位系统需判断反面玩偶数量,当反面玩偶数量过多时,VD200视觉系统发送指令给振动盘2把反面玩偶振成正面。 该定位系统通过玩偶表面的小孔来判断玩偶就是否处于正面,计算出玩偶中心点坐标,发送给机器人。通过VD200视觉定位系统实现自动上料,大大减少人工成本,大幅提高生产效率。 案例二:视觉检测在电子元件的应用: 此产品为电子产品的按钮部件,产品来料为料带模式,料带上面为双排产品。通过对每个元器件定位后,使用斑点工具检测产品固定区域的灰度值,来判断此区域有无缺胶情况。 该应用采用了深圳视觉龙公司的DragonVision视觉系统方案,使用两个相机及光源配合机械设备,达到每次检测双面8个产品,每分钟检测大约1500个。当出现产品不良时,立刻报警停机,保证了产品的合格率与设备的正常运行,提高生产效率。 案例三:啤酒厂采用的填充液位检测系统案例:
双目立体视觉技术的实现及其进展
双目立体视觉技术的实现及其进展 摘要：阐述了双目立体视觉技术在国内外应用的最新动态及其优越性。指出双目体视技术的实现分为图像获取、摄像机标定、特片提取、立体匹配和三维重建几个步骤，详细分析了各个步骤的技术特点、存在的问题和解决方案，并对双目体视技术的发展做了展望。 关键词：双目立体视觉计算机视觉立体匹配摄像机标定特征提取 双目立体视觉是计算机视觉的一个重要分支，即由不同位置的两台或者一台摄像机（CCD）经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅国像中的视差，获得该点的三维坐标值。80年代美国麻省理工学院人工智能实验室的Marr提出了一种视觉计算理论并应用在双睛匹配上，使两张有视差的平面图产生在深度的立体图形，奠定了双目立体视觉发展理论基础。相比其他类的体视方法，如透镜板三维成像、投影式三维显示、全息照相术等，双目本视直接模拟人类双眼处理景物的方式，可靠简便，在许多领域均极具应用价值，如微操作系统的位姿检测与控制、机器人导航与航测、三维测量学及虚拟现实等。 1 双目体视的技术特点 双目标视技术的实现可分为以下步骤：图像获取、摄像机标定、特征提取、图像匹配和三维重建，下面依次介绍各个步骤的实现方法和技术特点。 1.1 图像获取 双目体视的图像获取是由不同位置的两台或者一台摄像机（CCD）经过移动或旋转拍摄同一幅场景，获取立体图像对。其针孔模型如图1。假定摄像机C1与C2的角距和内部参数都相等，两摄像机的光轴互相平行，二维成像平面X1O1Y1和X2O2Y2重合，P1与P2分别是空间点P在C1与C2上的成像点。但一般情况下，针孔模型两个摄像机的内部参数不可能完成相同，摄像机安装时无法看到光轴和成像平面，故实际中难以应用。 上海交大在理论上对会摄式双目体视系统的测量精度与系统结构参数之间的关系作了详尽分析，并通过试验指出，对某一特定点进行三角测量。该点测量误差与两CCD光轴夹角是一复杂的函数关系；若两摄像头光轴夹角一定，则被测坐标与摄像头坐标系之间距离越大，测量得到点距离的误差就越大。在满足测量范围的前提下，应选择两CCD之间夹角在50℃～80℃之间。 1.2 摄像机的标定 对双目体视而言，CCD摄像机、数码相机是利用计算机技术对物理世界进行重建前的基本测量工具，对它们的标定是实现立体视觉基本而又关键的一步。通常先采用单摄像机的标定方法，分别得到两个摄像机的内、外参数；再通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系。目前常用的单摄像机标定方法主要有： （1）摄影测量学的传统设备标定法。利用至少17个参数描述摄像机与三维物体空间的结束关系，计算量非常大。 （2）直接线性变换性。涉及的参数少、便于计算。 （3）透视变换短阵法。从透视变换的角度来建立摄像机的成像模型，无需初始值，可进行实时计算。 （4）相机标定的两步法。首先采用透视短阵变换的方法求解线性系统的摄像机参数，再以求得的参数为初始值，考虑畸变因素，利用最优化方法求得非线性解，标定精度较高。 （5）双平面标定法。 在双摄像机标定中，需要精确的外部参数。由于结构配置很难准确，两个摄像机的距离
全自动光学视觉检测机
全自动光学视觉检测机 培训手册 第二版 科隆威自动化设备公司 FOLUNGWINAUTOMATICEQIPMENT COMPANY
目录 第一章：安全与危险....................................................................................................................... - 3 -第二章：系统描述........................................................................................................................... - 4 -第三章：工作原理........................................................................................................................... - 5 - 3.1电气工作原理 (5) 3.2相机工作原理 (6) 第四章：程序编辑入门................................................................................................................... - 7 -第五章：元件种命名举例............................................................................................................. - 17 -第六章：元件编辑......................................................................................................................... - 18 - 6.1M ARK点编辑 (18) 6.2CHIP元件基本设定及颜色抽取方法 (23) 6.3晶体管元件基本设定及颜色抽取方法 (30) 6.4排阻元件基本设定及颜色抽取方法 (33) 6.5钽电容元件基本设定及颜色抽取方法 (36) 6.6IC元件基本设定及颜色抽取方法 (39) 6.7CAD数据导入 (45) 第七章：维护与保养..................................................................................................................... - 51 -第八章：易损配件及注意事项 ..................................................................................................... - 52 -
光的基础知识
光的基础知识 光的基础知识 1、光的本质： 光的本质是电磁波,是整个电磁波谱中极小范围的一部分光是能量的一种形态； 可见光是电磁辐射谱中能够引起人眼视觉的部分。 可见光组成了所谓电磁光谱的一部分，电磁光谱存在于收音机和电视信号中，包括红外和紫外辐射，x射线，核辐射和宇宙辐射。在这些电磁辐射中，只有光波是动物和人眼可见的。该光谱也包括标准的50赫兹交流电（波长6000千米）和波长380-780纳米（=10-9米）的可见光部分。不同的波长给人眼造成不同的颜色感觉，从红、橙、黄、绿、蓝、靛（即蓝紫）到紫。 2、光通量（光束）： 为光源所发出的光线（条数），单位为流明（lm）,例如一节能灯的发出780（条）光线，则总光通量（光束）为780流明。 3、照度： 为每一单位面积所通过的光线，单位为lx.（lm/m2） 4、亮度： 与照度定义几乎相同，如果我们把每一物体都视为光源的话，那么亮度就是描述光源光亮的程度，而照度正好是把每一物体都作为被照物体，用一块木板来举例说明，当一定光束照到木板时我们讲木板有多少照度，然后木板将多少光束反射到人眼，就称为木板的多少亮度，那么有如下式子：亮度等于照度乘以反射率。 在同一房间同一位置一块白布和一块黑布的照度是相同的，而亮度是不同的。 5、光强： 为通过1立体角的光线条数，（通光束的密度）。光强的单位是光度测定的基本单位，也是国际单位制的基本单位之一。为了复现光强度的单位，光的基准器最初为蜡烛，所以光强度单位早称为（烛光）。后来随着科技发展，光基准器改为钨丝灯，又改为黑体，1948年后，光强度单位正式定名为坎德拉（cd）。 6、眩光、怎样控制眩光： 视野内有亮度极亮的物体或强烈的亮度对比，则可引起不舒适或造成视觉降低的现象，称为眩光。造成人眼视力降低的眩光称失能眩光；使人有不快之感的眩光称为不舒适眩光。一般有两种控制眩光的方法：1、直接控制光源的亮度或采用透光材料减弱眩光；2、用灯具保护角控制眩光。 7、光源的色表（色温），色温与心理： 由于人们是用与光源的色度相等或近似的完全辐射体的绝对温度来描述光源的色表，因此光源的色表又称为光源的色温。 色温：光源发射光的颜色与黑体在某一温度下辐射光色相同时，黑体的温度称为该光源的色温。色温在3300K以下有稳重的气氛，温暖的感觉；色温在3000--5000K为中间色温，有爽快的感觉；色温在5000K以上有冷的感觉。高色温光源照射下，如亮度不高则给人们有一种阴气的气氛；低色温光源照射下，亮度过高会给人们有一种闷热感觉。在同一空间使用两种光色差很大的光源，其对比将会出现层次效果，光色对比大时，在获得亮度层次的同时，又可获得光色的层次。 显色性是指光源的光照射到物体上所产生的客观效果。如果各色物体受照的效果和标准
常用光学计算公式
常用光学计算公式 文章来源：未知(发布时间：2012-07-03) 1. 焦距：反向延长的轴上成像锥形光束与延长的入射光束相交形成一个平面，从像到该平面的沿光轴距离就是焦距。焦距f、通光孔径D与f/#（F数）之间的关系： 2.视场角：由光学系统主平面与光轴交点看景物或看成像面的线长度时所张的角度。全视场角2ω、像面尺寸2y与焦距f之间的关系： 像面尺寸=像素数×像元尺寸 ω=arctg(像素数×像元尺寸/2f) 视场角分为水平视场角和垂直视场角，没有特殊说明是指由像面对角线尺寸计算出的视场角。 3. 分辨率：反映光学系统分辨物体细节的能力，通常将光学系统能够分辨名义物距处两个靠近的有间隙点源的能力定义为分辨率。瑞利判据指出，两个靠近的有间隙点源通过光学系统成像，每个点都形成一个衍射斑。如果两个衍射斑之间的距离等于艾里斑半径，两个点像是可以分辨的，此时像面上两个点的间距d 为： 4.空间分辨率：探测器的张角，为像元尺寸与焦距的比值，单位为mrad。 空间分辨率=像元尺寸/f 5. 尼奎斯特频率：是像素化传感器可以成功记录的最大空间频率，为1/（2像素周期），以lp/mm为单位。例如，某传感器的像元尺寸为25um，其尼奎斯特频率为： 1000/（2×25）=20lp/mm
6.视觉放大率：视觉光学系统的放大倍率，其定义为有光学系统（即通过光学系统观察）时目标所张的角度与无光学系统（即用肉眼直接观察）时目标所张的角度之比。在人眼为探测器的目视光学系统中，在250mm距离处定义放大倍率为1。 目镜视觉放大率Г=250/f 7.数值孔径：就是到达轴上像的边缘光线的半锥角的正弦，即来自轴上物点的半锥角的正弦。 8.红外系统识别和探测距离的计算： 其中，d s—识别距离 d t—探测距离 h—物体尺寸 f—光机系统焦距 n—识别或者探测所需像素数 d0—像元尺寸 9. 光焦度：焦距的倒数。用Φ表示： 其中，n—透镜的折射率 r1，r2—透镜的两个曲率半径
双目视觉成像原理讲解学习
双目视觉成像原理
双目视觉成像原理 1.引言 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图。 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。2.双目立体视觉系统 立体视觉系统由左右两部摄像机组成。如图一所示，图中分别以下标L和r标注左、右摄像机的相应参数。世界空间中一点A(X，Y，Z)在左右摄像机的成像面C L和C R上的像点分别为al(ul，vl)和ar(ur，vr)。这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为世界空间中的对象点A(X，Y，Z)。这就是立体视觉的基本原理。
图1：立体视觉系统 3.双目立体视觉相关基本理论说明 3．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图2所示为简单的平视双目 立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b 。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图2所示。事实上摄像机的成像平面在镜头的光心后，图2中将左右成像平面绘制在镜头的光心前f 处，这个虚拟的图像平面坐标系O1uv 的u 轴和v 轴与和摄像机坐标系的x 轴和y 轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P 在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P 图像坐标的Y 坐标相同，即v1=v2。由三角几何关系得到: c c 1z x f u = c c 2z ）b -x （f u = v 1 c c 21z y f v v ==
双目原理
双目立体视觉 双目立体视觉的研究一直是机器视觉中的热点和难点。使用双目立体视觉系统可以确定任意物体的三维轮廓，并且可以得到轮廓上任意点的三维坐标。因此双目立体视觉系统可以应用在多个领域。现说明介绍如何基于HALCON实现双目立体视觉系统，以及立体视觉的基本理论、方法和相关技术，为搭建双目立体视觉系统和提高算法效率。 双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。双目立体视觉系统在机器视觉领域有着广泛的应用前景。 HALCON是在世界范围内广泛使用的机器视觉软件。它拥有满足您各类机器视觉应用需求的完善的开发库。HALCON也包含Blob分析、形态学、模式识别、测量、三维摄像机定标、双目立体视觉等杰出的高级算法。HALCON支持Linux和Windows，并且可以通过C、C++、C#、Visual Basic和Delphi 语言访问。另外HALCON与硬件无关，支持大多数图像采集卡及带有DirectShow和IEEE 1394驱动的采集设备，用户可以利用其开放式结构快速开发图像处理和机器视觉应用软件。 一．双目立体视觉相关基本理论说明 1．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图1所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图1所示。事实上摄像机的成像平面在镜头的光心后，图1中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P图像坐标的Y坐标相同，即v1=v2。由三角几何关系得到: 上式中（xc，yc，zc）为点P在左摄像机坐标系中的坐标，b为基线距，f为两个摄像机的焦距，（u 1，v1）和（u2，v2）分别为点P在左图像和右图像中的坐标。 视差定义为某一点在两幅图像中相应点的位置差: 图1 双目立体成像原理图图3 一般双目立体视觉系统原理图
双目视觉成像原理
双目视觉成像原理 1、引言 双目立体视觉(Binocular Stereo Vision)就是机器视觉得一种重要形式,它就是基于视差原理并利用成像设备从不同得位置获取被测物体得两幅图像,通过计算图像对应点间得位置偏差,来获取物体三维几何信息得方法。融合两只眼睛获得得图像并观察它们之间得差别,使我们可以获得明显得深度感,建立特征间得对应关系,将同一空间物理点在不同图像中得映像点对应起来,这个差别,我们称作视差(Disparity)图。 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点,非常适合于制造现场得在线、非接触产品检测与质量控制。对运动物体(包括动物与人体形体)测量中,由于图像获取就是在瞬间完成得,因此立体视觉方法就是一种更有效得测量方法。双目立体视觉系统就是计算机视觉得关键技术之一,获取空间三维场景得距离信息也就是计算机视觉研究中最基础得内容。 2、双目立体视觉系统 立体视觉系统由左右两部摄像机组成。如图一所示,图中分别以下标L与r标注左、右摄像机得相应参数。世界空间中一点A(X,Y,Z)在左右摄像机得成像面C L与C R上得像点分别为al(ul,vl)与ar(ur,vr)。这两个像点就是世界空间中同一个对象点A得像,称为“共轭点”。知道了这两个共轭像点,分别作它们与各自相机得光心Ol与Or得连线,即投影线alOl与arOr,它们得交点即为世界空间中得对象点A(X,Y,Z)。这就就是立体视觉得基本原理。 图1:立体视觉系统 3、双目立体视觉相关基本理论说明 3.1 双目立体视觉原理 双目立体视觉三维测量就是基于视差原理,图2所示为简单得平视双目立体成像原理图,两摄像机得投影中心得连线得距离,即基线距为b。摄像机坐标系得原点在摄像机镜头得光心处,坐标系如图2所示。事实上摄像机得成像平面在镜头得光心后,图2中将左右成像平面绘制在镜头得光心前f处,这个虚拟得图像平面坐标系O1uv得u轴与v轴与与摄像机坐标系得x轴与y轴方向一致,这样可以简化计算过程。左右图像坐标系得
双目视觉技术解析
双目视觉技术解析 双目视觉的基础原理是基于三角测量原理，我们并排放置两个相机，利用投影光学系统可使两个相机视野在所需求的物距发生重叠，通过每个相机拍摄的图片，我们可以捕捉到不同视角的场景，如下图所示： CCAS双目视觉模型 在实现3D测量前，首先我们需要确定左边相机图像的表面点在右边相机图像的哪里显示；其次必须知道左右相机图像的关联像素交叉点。这涉及到2种技术：立体匹配和双目标定。 1、双目标定 双目标定是对双目三维测量系统的参数初始化过程，也就是说用已知世界坐标系测算双目系统的参数，可以用下面的关系进行描述： 双目视觉中测量和标定的关系
2、相机矫正 通过上述关系，很容易发现“图像坐标”是每次计算的基础，为了准确的计算该坐标，我们需要相机是“理想模型”，而实际上任何成像系统都有其畸变。相机的畸变模型如下，我们可以通过单相机标定确定相机的畸变系数。 CCAS系统成像畸变模型 3、立体匹配 由于单相机获取的图像只能计算出二维坐标，因为我们使用了2套相机，且2套相机之间的关系也是已知的，那么如果我们能把三维空间中某点在左右相机成像的二维坐标都计算出来，且能知道这是同一个点，这样就可以计算出三维坐标。这里面确认同名点的技术就是立体匹配。立体匹配有很多种算法，其中局部匹配法是最常用的，但是就目前已有算法来说，没有一种算法可以实现100%匹配。一般来说待匹配点越多，匹配准确率越低。 CCAS双目标定结果 4、三维测量 不管使用哪种匹配方式，最终的目的还是把兴趣点的三维坐标计算出来，达到我们三维信息获取的目的。目前比较常见的应用有三类：三维还原、立体导航、空间跟踪。
15-机器视觉硬件选型基础
目录1 机器视觉基础知识 1.1 机器视觉概述 1.2 相机（camera） 1.3 镜头（lens） 1.4 图像采集卡（frame grabber） 1.5 光源（illumination） 1.6 视觉开发软件(vision SDK) 1.7 智能相机（smart camera） 2典型案例 3.1 定位&引导（Locate & Guide ） 3.2几何尺寸测量（Gauging） 3.3 缺陷检测（Flaw Inspection） 3.4 光学字符检测/识别（OCV/OCR）
1.1机器视觉的概念 机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。 由于机器视觉系统可以快速获取大量信息，而且易于自动处理，也易于同设计信息以及加工控制信息集成，因此，在现代自动化生产过程中，人们将机器视觉系统广泛地用于工况监视、成品检验和质量控制等领域。机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。 半导体行业是最先利用机器视觉技术进行检测的行业，其他行业也随之而来。作为生产机械的OEM的设计工程师，最基本的问题就是：“我是要检测这个部件还是整个这个产品”。检测可以得到高质量的产品，但是也会有这样的事实存在：检测成本或者产品质量要求并不需要这样的检测。比如说牙签，假设在一个装有500个牙签的盒子里有一两个不合格，大多数人都不会怎么担心。但是对于很多产品，假如前面的盒子里装的不是牙签，而是针头，试想不合格品可能会带来什么样的后果，所以产品功能性的检测都是不可缺少的，即使只是外观检测，要证明内在的品质也必须要做到无缺陷。因此，为了达到这个目的，许多OEM将机器视觉应用到他们将要卖给用户的系统中。机器视觉能够为整个系统增值，表现在三个方面：提高生产效率，提高制造过程的精确性，减少成本。 那么，对于一个设计工程师来说，怎么样才能知道机器视觉是否适合他的系统呢？尽管最早的最基本的机器视觉系统在20世纪70年代引入，工业就将其视为主流应用。这就导致设计工程师要考虑它是否合适他们的应用，同时要考虑利用机器视觉检测的成本与其所能带来的利润。 高复杂度产品行业，比如说半导体行业和电子行业，由于它们的复杂性和小型化，从传统上推动着机器视觉市场的发展。但是如今，所有产业，包括自动化、制药、造纸等等都依靠机器视觉系统检测产品以提高产品质量。工业专家们预言：在未来的20年