双目视觉成像原理讲解学习
双目视觉成像原理
双目视觉成像原理
1.引言
双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图。
双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。2.双目立体视觉系统
立体视觉系统由左右两部摄像机组成。如图一所示，图中分别以下标L和r标注左、右摄像机的相应参数。世界空间中一点A(X，Y，Z)在左右摄像机的成像面C L和C R上的像点分别为al(ul，vl)和ar(ur，vr)。这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为世界空间中的对象点A(X，Y，Z)。这就是立体视觉的基本原理。
图1：立体视觉系统
3.双目立体视觉相关基本理论说明
3．1 双目立体视觉原理
双目立体视觉三维测量是基于视差原理，图2所示为简单的平视双目
立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b 。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图2所示。事实上摄像机的成像平面在镜头的光心后，图2中将左右成像平面绘制在镜头的光心前f 处，这个虚拟的图像平面坐标系O1uv 的u 轴和v 轴与和摄像机坐标系的x 轴和y 轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P 在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P 图像坐标的Y 坐标相同，即v1=v2。由三角几何关系得到:
c c 1z x f u = c c 2z ）b -x （f u = v 1 c c
21z
y f v v ==
上式中（x c ，y c ，z c ）为点P 在左摄像机坐标系中的坐标，b 为基线
距，f 为两个摄像机的焦距，（u1，v1）和（u2，v2）分别为点P 在左图像和右图像中的坐标。
视差定义为某一点在两幅图像中相应点的位置差:
c 21z
b f ）u -u （d *==
图2：双目立体成像原理图
由此可计算出空间中某点P 在左摄像机坐标系中的坐标为:
d u b x 1c *= d v b y c *= d
f b z c *= 因此，只要能够找到空间中某点在左右两个摄像机像面上的相应点，并且通过摄像机标定获得摄像机的内外参数，就可以确定这个点的三维坐标。
3.2双目立体视觉的系统结构以及精度分析
由上述双目视觉系统的基本原理可知，为了获得三维空间中某点的三维坐标，需要在左右两个摄像机像面上都存在该点的相应点。立体视觉系统的一般
双目视觉成像原理
双目视觉成像原理 1.引言 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图。 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。 2.双目立体视觉系统 立体视觉系统由左右两部摄像机组成。如图一所示，图中分别以下标L和r标注左、 右摄像机的相应参数。世界空间中一点A(X，Y，Z)在左右摄像机的成像面C L 和C R 上的像点 分别为al(ul，vl)和ar(ur，vr)。这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为世界空间中的对象点A(X，Y，Z)。这就是立体视觉的基本原理。 图1：立体视觉系统 3.双目立体视觉相关基本理论说明
3．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图2所示为简单的平视双目立体成像原 理图，两摄像机的投影中心的连线的距离，即基线距为b 。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图2所示。事实上摄像机的成像平面在镜头的光心后，图2中将左右成像平面绘制在镜头的光心前f 处，这个虚拟的图像平面坐标系O1uv 的u 轴和v 轴与和摄像机坐标系的x 轴和y 轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P 在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P 图像坐标的Y 坐标相同，即v1=v2。由三角几何关系得到: c c 1z x f u = c c 2z ）b -x （f u = v 1 c c 21z y f v v == 上式中（x c ，y c ，z c ）为点P 在左摄像机坐标系中的坐标，b 为基线距，f 为两个摄 像机的焦距，（u1，v1）和（u2，v2）分别为点P 在左图像和右图像中的坐标。 视差定义为某一点在两幅图像中相应点的位置差: 图2：双目立体成像原理图 由此可计算出空间中某点P 在左摄像机坐标系中的坐标为: 因此，只要能够找到空间中某点在左右两个摄像机像面上的相应点，并且通过摄像机标定获得摄像机的内外参数，就可以确定这个点的三维坐标。 双目立体视觉的系统结构以及精度分析 由上述双目视觉系统的基本原理可知，为了获得三维空间中某点的三维坐标，需要在
双目视觉原理
Bumblebee 双目测量基本原理 一．双目视觉原理： 双目立体视觉三维测量是基于视差原理。 图 双目立体成像原理 其中基线距B=两摄像机的投影中心连线的距离；相机焦距为f 。 设两摄像机在同一时刻观看空间物体的同一特征点(,,)c c c P x y z ，分别在“左眼”和“右眼”上获取了点P 的图像，它们的图像坐标分别为(,)left left left p X Y =，(,)right right right p X Y =。 现两摄像机的图像在同一个平面上，则特征点P 的图像坐标Y 坐标相同，即 left right Y Y Y ==，则由三角几何关系得到： () c left c c rig h t c c c x X f z x B X f z y Y f z ?=???-=???=? ? (1-1) 则视差为：left right D isparity X X =-。由此可计算出特征点P 在相机坐标系下的三维坐标为： left c c c B X x D isp a rity B Y y D isp a rity B f z D isp a rity ? =???= ?? ?= ?? (1-2) 因此，左相机像面上的任意一点只要能在右相机像面上找到对应的匹配点，就可以确定出该点的三维坐标。这种方法是完全的点对点运算，像面上所有点只要存在相应的匹配点，
就可以参与上述运算，从而获取其对应的三维坐标。 二．立体视觉测量过程 1．图像获取 (1) 单台相机移动获取 (2) 双台相机获取：可有不同位置关系（一直线上、一平面上、立体分布） 2．相机标定：确定空间坐标系中物体点同它在图像平面上像点之间的对应关系。 (1)内部参数：相机内部几何、光学参数 (2)外部参数：相机坐标系与世界坐标系的转换 3．图像预处理和特征提取 预处理：主要包括图像对比度的增强、随机噪声的去除、滤波和图像的增强、伪彩色处理等； 特征提取：常用的匹配特征主要有点状特征、线状特征和区域特征等 4．立体匹配：根据对所选特征的计算，建立特征之间的对应关系，将同一个空间物理点在不同图像中的映像点对应起来。 立体匹配有三个基本的步骤组成：1)从立体图像对中的一幅图像如左图上选择与实际物理结构相应的图像特征；2)在另一幅图像如右图中确定出同一物理结构的对应图像特征；3)确定这两个特征之间的相对位置，得到视差。其中的步骤2是实现匹配的关键。 5．深度确定 通过立体匹配得到视差图像之后，便可以确定深度图像，并恢复场景3－D信息。 三．Triclops库中的数据流程 Triclops库中的数据流程如下图所示。系统首先从相机模型中获得raw格式的图像，最终将其处理成深度图像。在系统中有两个主要的处理模块。第一个处理模块是一个应用了低通滤波、图像校正和边缘检测的预处理模块。第二个处理模块用来做立体匹配、结果确认和亚像素插值。最后的处理结果就是一幅深度图像。 1．预处理（Pre-processing）
机器人双目立体视觉测距技术研究与实现_张蓬
计算机测量与控制．２０１３．２１（７） Ｃｏｍｐｕｔｅｒ Ｍｅａｓｕｒｅｍｅｎｔ ＆Ｃｏｎｔｒｏｌ ·１７７５ · 收稿日期：２０１２－１１－２５； 修回日期：２０１３－０１－２３。 基金项目：油气管道受阻瞬态流时空演化规律及智能控制方法研究 （５０９０５１８６）。 作者简介：张 蓬（１９６３－），女，北京人，副教授，主要从事机械电子 工程，机器人控制技术方向的研究。 文章编号：１６７１－４５９８（２０１３）０７－１７７５－０４ 中图分类号：ＴＰ３９１．４文献标识码：Ａ 机器人双目立体视觉测距技术研究与实现 张 蓬，王金磊，赵 弘 （中国石油大学（北京）机械与储运工程学院，北京 １０２２４９） 摘要：机器人视觉是一种重要的机器人传感技术，主要应用于机器人定位和检测之中；文章阐述了构建机器人双目立体视觉测距系统的方法，并运用Ｌａｂｖｉｅｗ对所设计的系统加以实现；完成了图像的采集、预处理和边缘检测；通过在Ｌａｂｖｉｅｗ中的Ｃ语言接口调用Ｃ算法程序，进行了物体特征识别和目标物体测距的算法实现；实验表明焦距、滤波算法和外围光源都会对测量结果会产生较大影响；在相同检测距离不同焦距时得到的检测精度会有一些偏差；并且加入低通滤波，可增加图像识别的精度，进而使特征点匹配和检测的精度都有所提高，对提高系统的检测精度具有实际意义。 关键词：移动机器人；图像识别；测距；双目立体视觉 Ｒｅｓｅａｒｃｈ ａｎｄ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ Ｒｏｂｏｔｉｃ Ｂｉｎｏｃｕｌａｒ Ｖｉｓｕａｌ Ｄｉｓｔａｎｃｅ Ｍｅａｓｕｒｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ Ｚｈａｎｇ Ｐｅｎｇ，Ｗａｎｇ Ｊｉｎｌｅｉ，Ｚｈａｏ Ｈｏｎｇ （Ｃｈｉｎａ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｅｔｒｏｌｅｕｍ，Ｂｅｉｊｉｎｇ １０２２４９，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｒｏｂｏｔ ｖｉｓｉｏｎ ｉｓ ａｎ ｉｍｐｏｒｔａｎｔ ｐａｒｔ ｏｆ ｔｈｅ ｒｏｂｏｔ ｓｅｎｓｉｎｇ ｔｅｃｈｎｏｌｏｇｙ，ｍａｉｎｌｙ ｕｓｅｄ ｉｎ ｒｏｂｏｔ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｄｅｔｅｃｔｉｏｎ．Ｔｈｉｓ ｐａｐｅｒｄｅｓｃｒｉｂｅｓ ａ ｍｅｔｈｏｄ ｔｏ ｂｕｉｌｄ ａ ｒｏｂｏｔ ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｕａｌ ｄｉｓｔａｎｃｅ ｍｅａｓｕｒｅｍｅｎｔ，ａｎｄ ｕｓｅｓ Ｌａｂｖｉｅｗ ｔｏｏｌ ｔｏ ｄｅｓｉｇｎ ａｎｄ ｉｍｐｌｅｍｅｎｔ ａ ｓｙｓｔｅｍ．Ｔｈｅ ｓｙｓｔｅｍ ｈａｓ ｆｕｎｃｔｉｏｎｓ ｏｆ ｔｈｅ ｉｍａｇｅ ａｃｑｕｉｓｉｔｉｏｎ，ｐｒｅ－ｐｒｏｃｅｓｓｉｎｇ ａｎｄ ｉｍａｇｅ ｅｄｇｅ ｄｅｔｅｃｔｉｏｎ．Ｂｙ ｕｓｉｎｇ Ｃ ｌａｎｇｕａｇｅ ｉｎｔｅｒｆａｃｅ ｉｎ Ｌａｂｖｉｅｗ，Ｃａｌｇｏｒｉｔｈｍ ｃａｎ ｂｅ ｕｓｅｄ ｆｏｒ ｏｂｊｅｃｔ ｆｅａｔｕｒｅｓ ｉｄｅｎｔｉｆｙ ａｎｄ ｔａｒｇｅｔ ｏｂｊｅｃｔｓ ｒａｎｇｉｎｇ．Ｅｘｐｅｒｉｍｅｎｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｆｏｃａｌ ｌｅｎｇｔｈ，ｔｈｅ ｆｉｌｔｅｒ ａｌｇｏｒｉｔｈｍ ａｎｄｐｅｒｉｐｈｅｒａｌ ｌｉｇｈｔ ｓｏｕｒｃｅ ｈａｖｅ ａ ｇｒｅａｔｅｒ ｉｍｐａｃｔ ｏｎ ｔｈｅ ｍｅａｓｕｒｅｍｅｎｔ ｒｅｓｕｌｔｓ．Ｄｅｔｅｃｔｉｏｎ ａｃｃｕｒａｃｙ ｉｎ ｔｈｅ ｓａｍｅ ｄｅｔｅｃｔｉｏｎ ｄｉｓｔａｎｃｅ ａｎｄ ｄｉｆｆｅｒｅｎｔ ｆｏｃａｌｌｅｎｇｔｈｓ ｈａｓ ａ ｆｅｗ ｏｆ ｄｅｖｉａｔｉｏｎ．Ａｎｄ ａｄｄｉｎｇ ａ ｌｏｗ－ｐａｓｓ ｆｉｌｔｅｒ ｃａｎ ｉｎｃｒｅａｓｅ ｔｈｅ ａｃｃｕｒａｃｙ ｏｆ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ ｔｈｅ ｉｍａｇｅ．Ｔｈｅｎ ｆｅａｔｕｒｅ ｐｏｉｎｔｓｍａｔｃｈｉｎｇ ａｎｄ ｄｅｔｅｃｔｉｏｎ ａｃｃｕｒａｃｙ ｈａｖｅ ｉｍｐｒｏｖｅｄ．Ｉｔ ｈａｓ ｐｒａｃｔｉｃａｌ ｓｉｇｎｉｆｉｃａｎｃｅ ｔｏ ｉｍｐｒｏｖｅ ｔｈｅ ｄｅｔｅｃｔｉｏｎ ａｃｃｕｒａｃｙ ｏｆ ｔｈｅ ｓｙｓｔｅｍ．Ｋｅｙ ｗｏｒｄｓ：ｍｏｂｉｌｅ ｒｏｂｏｔｓ；ｄｉｓｔａｎｃｅ ｍｅａｓｕｒｉｎｇ；ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ ０ 引言 机器人视觉又称为计算机视觉，是一门研究通过图像数据 观察世界的学科。机器人借助各种传感装置（如摄像头，声 纳，里程计，光电编码器等）获取周围场景的图像信息，以感 知和恢复周围的三维环境中的物体的几何形态、颜色、相对位 置、安放姿态和运动等信息，并通过对客观世界的描述，感知 和解释，经过机器人智能运算完成需要完成的任务［１］。机器人 的双目立体视觉技术是基于模仿人眼与人类视觉的立体感知过 程，从两个视点观察同一景物，以获取不同视角下的感知图 像，通过三角测量原理计算图像像素间的位置偏差，以获取景 物的三维信息。双目视觉技术在机器人的定位导航、避障、地 图构建和测距等方面得到了应用。 １ 双目立体视觉的系统组成 双目立体视觉是对同一目标的两幅图像提取、识别、匹配 和解释，重建三维环境信息的过程。双目视觉系统通常由图像 采集、摄像机定标、图像预处理、立体匹配和深度图生成等五 大部分组成。 图像采集即通过光学镜头或红外，超声、Ｘ射线等对周围场 景和物体进行探测成像，得到关于场景和物体的二维或三维数字 图像［２］。空间点的三维几何位置与其在图像中对应点之间的相互 关系是由摄像机成像的几何模型决定的，而这些几何模型参数就 是摄像机参数，求解这些参数的过程为摄像机定标［３］。图像预处 理是对原始图像进行处理，例如图像滤波、图像增强、边缘检测 等，以便从图像中抽取诸如焦点，边缘，线条，边界以及色彩等 关于成像的基本特征［４］。立体匹配是寻找同一空间景物在不同视 点下投影图像中像素间的一一对应关系，从立体匹配实现的技术 上考虑，立体匹配可以分为基于区域的匹配和基于特征的匹配。 深度图生成即是深度信息的可视化过程。 ２ 双目立体视觉测距算法 双目立体视觉三维测量是通过计算空间点在两幅图像中的 视差来获取景物的三维坐标值。设空间一点Ｐ在世界坐标系 下的坐为（Ｘ，Ｙ，Ｚ，１），假设两个相同的平行放置的摄像机 镜头光心距离为Ｂ，摄像焦距为ｆ，成像模型如图１所示，摄 像机坐标系的原点Ｏ与左摄像机光心Ｏ１重合，ｘ１—ｙ与ｘ２— ｙ为两成像平面，因水平轴同线，所以Ｙ轴相同［５］。 以立体空间的一个投影面为例，若左右摄像头成像点坐标 分别为（ｘ１，ｙ），（ｘ２，ｙ），那么该点成像平面如图２所示［６］。 通过图２可知在深度ｄ为： ｄ＝ Ｂｆ ｘ２－ｘ１ （１） 据此原理，则可推导出３个投影面坐标：
基于OpenCV的双目立体视觉测距
基于OpenCV的双目立体视觉测距 基于OpenCV的双目立体视觉测距 论文导读:: 双目立体视觉模型。摄像机标定。立体匹配采用OpenCV库中的块匹配立体算法。目前的测距方法主要有主动测距和被动测距两种方法。论文 关键词: 双目立体视觉，摄像机标定，立体匹配，测距 (一)引言基于计算机视觉理论的视觉测距技术是今后发展的一个重要方向，它在机器人壁障系统、汽车导航防撞系统等领域有着广泛的应用前景。目前的测距方法主要有主动测距和被动测距两种方法。论文采用的是被动测距法。被动测距法是在自然光照条件下，根据被测物体本身发出的信号来测量距离，主要包括立体视觉测距法、单目测距法、测角被动测距法等。立体视觉测距法是仿照人类利用双目感知距离信息的一种测距方法，直接模拟人的双眼处理景物，简便可靠，但该方法的难点是选择合理的匹配特征和匹配准则。双目立体视觉系统采用两台摄像机同时从两个不同视点获取同一景物的多幅图像，即立体图像对，通过测量景物在立体图像对中的视差，再利用双目视觉成像原理就可以计算出目标到摄像机的距离。立体匹配采用OpenCV库中的块匹配立体算法，在得到摄像机参数和匹配点后再利用最小二乘法即可算出三维信息。 (二)双目立体视觉模型首先介绍双目视觉所涉及到三个坐标系: 世界坐标系、摄像机坐标系和图像坐标系。世界坐标系中的点坐标记为，摄像机坐标系用表示。图像坐标为摄像机所拍摄到的图像的二维坐标，一般有两种表示方法:
是以像素为单位的图像坐标，是以毫米为单位的图像坐标。建立以毫米为单位的图像坐标是因为坐标只表示了像素在数字图像中的行数和列数，并没有表示出该像素在数字图像中的物理位置论文范文。图1为平行双目视觉模型，即参数相同的两个摄像机平行放置，两光 轴互相平行且都平行于z 轴，x 轴共线摄像机标定，两摄像机光心的距离为 B(即基线距)。图中O 1、O2为左右两摄像机的焦点，I1 、I2为左右摄像机的像平面，P1 、P2 分 别是空间点P在左右像平面上的成像点，f是摄像机的焦距。若视差d 定义为?P1- P2?,则点P到立体视觉系统的距离为: 图1 平行双目视觉模型 (三)摄像机标定摄像机标定是为了建立三维世界坐标与二维图像坐标之间的 一种对应关系。系统采用两个摄像机进行图像采集，设定好两个摄像机之间的距离(即基线距)，用摄像机同时采集放在摄像机前的标定物。摄像机标定采用的是张正友的标定方法，棋盘格大小为30mm30mm，角点数为117。标定板的规格如图2所示。图2 平面标定板规格张正友的标定方法需要摄像机从不同角度拍摄标定板 的多幅图像。由于两个摄像机是向前平行放置的，且基线距固定，所以只需摆放标定板的位置变化即可。摄像机为针孔成像模型，则空间点与图像点之间的映射关系为: 为方便计算，使标定板所在平面的Z坐标均为0，即Z=0的平面，则上式可变为: 其中，A为摄像机的内参矩阵，为摄像机外参矩阵，s为尺度因子。令,,则上 式可写为: 其中，为透视投影矩阵，它是标定板上的点和其像点之间的映射。在已知空 间点和其对应像点后，可根据最小二乘方程，采用Levenberg-Marquardt算法求解
双目视觉中的光学原理
机器双目视觉中的光学原理 人类的视觉不仅可以分辨出颜色、外形等特征，也可以分辨深度特征，原因在于人有双目，通过双目所看到不同图像的差别，人就可以分辨出物体的深度信息（位于身体的前后）。 单纯一张图片并没有深度信息，读者可以试着将左右食指放置于面前不同距离处（此距离不宜过大否则人可以通过常识判断出小的在远方），然后用一只眼睛观察两个指头的前后关系，一般会很难判断出前后关系，可是睁开双目再次观察，前后关系就一目了然。 本例说明人眼判断深度信息是依靠两只眼睛所获取的图像区别，只有这种差别产生，才能准确分辨前后信息。实际上3d 电影就是通过光学偏振原理为左右眼提供不同的图像信息来产生三维效果的。 双目光学原理有很广泛的应用，在很多自动控制领域可以帮助机器定位，在如机器零件的自动检测、智能机器人控制、生产线的自动监控等;在国防和航天等领域，双目视觉也具有较重要的意义，如运动目标的自动跟踪与识别、自主车导航及空间机器人的视觉控制等。本文就双目视觉的极轴光学原理进行简单的讨论。 立体视觉系统由左右两部摄像机组成。如图所示，图中分别以下标l和r标注左、右摄像机的相应参数。世界空间中一点A(X，Y，Z)在左右摄像机的成像面Cl和Cr上的像
点分别为al(ul，vl)和ar(ur，vr)。这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为世界空间中的对象点A(X，Y，Z)。这就是立体视觉的基本原理。 在平行光轴的立体视觉系统中，左右两台摄像机的焦距及其它内部参数均相等，光轴与摄像机的成像平面垂直，两台摄像机的x轴重合，y轴相互平行，因此将左摄像机沿着其x轴方向平移一段距离b（称为基线baseline）后与右摄像机重合。 由空间点A及左右两摄像机的光心Ol、Or确定的极平面（Epipolar plane）分别与左右成像平面Cl、Cr的交线pl、pr为共轭极线对，它们分别与各自成像平面的坐标轴ul、ur
双目立体视觉技术的实现及其进展
双目立体视觉技术的实现及其进展 摘要：阐述了双目立体视觉技术在国内外应用的最新动态及其优越性。指出双目体视技术的实现分为图像获取、摄像机标定、特片提取、立体匹配和三维重建几个步骤，详细分析了各个步骤的技术特点、存在的问题和解决方案，并对双目体视技术的发展做了展望。 关键词：双目立体视觉计算机视觉立体匹配摄像机标定特征提取 双目立体视觉是计算机视觉的一个重要分支，即由不同位置的两台或者一台摄像机（CCD）经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅国像中的视差，获得该点的三维坐标值。80年代美国麻省理工学院人工智能实验室的Marr提出了一种视觉计算理论并应用在双睛匹配上，使两张有视差的平面图产生在深度的立体图形，奠定了双目立体视觉发展理论基础。相比其他类的体视方法，如透镜板三维成像、投影式三维显示、全息照相术等，双目本视直接模拟人类双眼处理景物的方式，可靠简便，在许多领域均极具应用价值，如微操作系统的位姿检测与控制、机器人导航与航测、三维测量学及虚拟现实等。 1 双目体视的技术特点 双目标视技术的实现可分为以下步骤：图像获取、摄像机标定、特征提取、图像匹配和三维重建，下面依次介绍各个步骤的实现方法和技术特点。 1.1 图像获取 双目体视的图像获取是由不同位置的两台或者一台摄像机（CCD）经过移动或旋转拍摄同一幅场景，获取立体图像对。其针孔模型如图1。假定摄像机C1与C2的角距和内部参数都相等，两摄像机的光轴互相平行，二维成像平面X1O1Y1和X2O2Y2重合，P1与P2分别是空间点P在C1与C2上的成像点。但一般情况下，针孔模型两个摄像机的内部参数不可能完成相同，摄像机安装时无法看到光轴和成像平面，故实际中难以应用。 上海交大在理论上对会摄式双目体视系统的测量精度与系统结构参数之间的关系作了详尽分析，并通过试验指出，对某一特定点进行三角测量。该点测量误差与两CCD光轴夹角是一复杂的函数关系；若两摄像头光轴夹角一定，则被测坐标与摄像头坐标系之间距离越大，测量得到点距离的误差就越大。在满足测量范围的前提下，应选择两CCD之间夹角在50℃～80℃之间。 1.2 摄像机的标定 对双目体视而言，CCD摄像机、数码相机是利用计算机技术对物理世界进行重建前的基本测量工具，对它们的标定是实现立体视觉基本而又关键的一步。通常先采用单摄像机的标定方法，分别得到两个摄像机的内、外参数；再通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系。目前常用的单摄像机标定方法主要有： （1）摄影测量学的传统设备标定法。利用至少17个参数描述摄像机与三维物体空间的结束关系，计算量非常大。 （2）直接线性变换性。涉及的参数少、便于计算。 （3）透视变换短阵法。从透视变换的角度来建立摄像机的成像模型，无需初始值，可进行实时计算。 （4）相机标定的两步法。首先采用透视短阵变换的方法求解线性系统的摄像机参数，再以求得的参数为初始值，考虑畸变因素，利用最优化方法求得非线性解，标定精度较高。 （5）双平面标定法。 在双摄像机标定中，需要精确的外部参数。由于结构配置很难准确，两个摄像机的距离
双目视觉成像原理讲解学习
双目视觉成像原理
双目视觉成像原理 1.引言 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图。 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。2.双目立体视觉系统 立体视觉系统由左右两部摄像机组成。如图一所示，图中分别以下标L和r标注左、右摄像机的相应参数。世界空间中一点A(X，Y，Z)在左右摄像机的成像面C L和C R上的像点分别为al(ul，vl)和ar(ur，vr)。这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为世界空间中的对象点A(X，Y，Z)。这就是立体视觉的基本原理。
图1：立体视觉系统 3.双目立体视觉相关基本理论说明 3．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图2所示为简单的平视双目 立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b 。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图2所示。事实上摄像机的成像平面在镜头的光心后，图2中将左右成像平面绘制在镜头的光心前f 处，这个虚拟的图像平面坐标系O1uv 的u 轴和v 轴与和摄像机坐标系的x 轴和y 轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P 在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P 图像坐标的Y 坐标相同，即v1=v2。由三角几何关系得到: c c 1z x f u = c c 2z ）b -x （f u = v 1 c c 21z y f v v ==
双目原理
双目立体视觉 双目立体视觉的研究一直是机器视觉中的热点和难点。使用双目立体视觉系统可以确定任意物体的三维轮廓，并且可以得到轮廓上任意点的三维坐标。因此双目立体视觉系统可以应用在多个领域。现说明介绍如何基于HALCON实现双目立体视觉系统，以及立体视觉的基本理论、方法和相关技术，为搭建双目立体视觉系统和提高算法效率。 双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。双目立体视觉系统在机器视觉领域有着广泛的应用前景。 HALCON是在世界范围内广泛使用的机器视觉软件。它拥有满足您各类机器视觉应用需求的完善的开发库。HALCON也包含Blob分析、形态学、模式识别、测量、三维摄像机定标、双目立体视觉等杰出的高级算法。HALCON支持Linux和Windows，并且可以通过C、C++、C#、Visual Basic和Delphi 语言访问。另外HALCON与硬件无关，支持大多数图像采集卡及带有DirectShow和IEEE 1394驱动的采集设备，用户可以利用其开放式结构快速开发图像处理和机器视觉应用软件。 一．双目立体视觉相关基本理论说明 1．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图1所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图1所示。事实上摄像机的成像平面在镜头的光心后，图1中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P图像坐标的Y坐标相同，即v1=v2。由三角几何关系得到: 上式中（xc，yc，zc）为点P在左摄像机坐标系中的坐标，b为基线距，f为两个摄像机的焦距，（u 1，v1）和（u2，v2）分别为点P在左图像和右图像中的坐标。 视差定义为某一点在两幅图像中相应点的位置差: 图1 双目立体成像原理图图3 一般双目立体视觉系统原理图
双目视觉成像原理
双目视觉成像原理 1、引言 双目立体视觉(Binocular Stereo Vision)就是机器视觉得一种重要形式,它就是基于视差原理并利用成像设备从不同得位置获取被测物体得两幅图像,通过计算图像对应点间得位置偏差,来获取物体三维几何信息得方法。融合两只眼睛获得得图像并观察它们之间得差别,使我们可以获得明显得深度感,建立特征间得对应关系,将同一空间物理点在不同图像中得映像点对应起来,这个差别,我们称作视差(Disparity)图。 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点,非常适合于制造现场得在线、非接触产品检测与质量控制。对运动物体(包括动物与人体形体)测量中,由于图像获取就是在瞬间完成得,因此立体视觉方法就是一种更有效得测量方法。双目立体视觉系统就是计算机视觉得关键技术之一,获取空间三维场景得距离信息也就是计算机视觉研究中最基础得内容。 2、双目立体视觉系统 立体视觉系统由左右两部摄像机组成。如图一所示,图中分别以下标L与r标注左、右摄像机得相应参数。世界空间中一点A(X,Y,Z)在左右摄像机得成像面C L与C R上得像点分别为al(ul,vl)与ar(ur,vr)。这两个像点就是世界空间中同一个对象点A得像,称为“共轭点”。知道了这两个共轭像点,分别作它们与各自相机得光心Ol与Or得连线,即投影线alOl与arOr,它们得交点即为世界空间中得对象点A(X,Y,Z)。这就就是立体视觉得基本原理。 图1:立体视觉系统 3、双目立体视觉相关基本理论说明 3.1 双目立体视觉原理 双目立体视觉三维测量就是基于视差原理,图2所示为简单得平视双目立体成像原理图,两摄像机得投影中心得连线得距离,即基线距为b。摄像机坐标系得原点在摄像机镜头得光心处,坐标系如图2所示。事实上摄像机得成像平面在镜头得光心后,图2中将左右成像平面绘制在镜头得光心前f处,这个虚拟得图像平面坐标系O1uv得u轴与v轴与与摄像机坐标系得x轴与y轴方向一致,这样可以简化计算过程。左右图像坐标系得
双目立体视觉技术简介
双目立体视觉技术简介 1. 什么是视觉 视觉是一个古老的研究课题，同时又是人类观察世界、认知世界的重要功能和手段。人类从外界获得的信息约有75%来自视觉系统，用机器模拟人类的视觉功能是人们多年的梦想。视觉神经生理学，视觉心里学，特别是计算机技术、数字图像处理、计算机图形学、人工智能等学科的发展，为利用计算机实现模拟人类的视觉成为可能。在现代工业自动化生产过程中，计算机视觉正成为一种提高生产效率和检验产品质量的关键技术之一，如机器零件的自动检测、智能机器人控制、生产线的自动监控等;在国防和航天等领域，计算机视觉也具有较重要的意义，如运动目标的自动跟踪与识别、自主车导航及空间机器人的视觉控制等。人类视觉过程可以看作是一个从感觉到知觉的复杂过程，从狭义上来说视觉的最终目的是要对场景作出对观察者有意义的解释和描述；从广义上说，是根据周围的环境和观察者的意愿，在解释和描述的基础上做出行为规划或行为决策。计算机视觉研究的目的使计算机具有通过二维图像信息来认知三维环境信息的能力，这种能力不仅使机器能感知三维环境中物体的几何信息(如形状、位置、姿态运动等)，而且能进一步对它们进行描述、存储、识别与理解，计算机视觉己经发展起一套独立的计算理论与算法。 2. 什么是计算机双目立体视觉 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图像，如图一。 图一、视差（Disparity）图像 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。 双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。 双目立体视觉的开创性工作始于上世纪的60年代中期。美国MIT的Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构，并对物体的形状和空间关系
双目视觉技术解析
双目视觉技术解析 双目视觉的基础原理是基于三角测量原理，我们并排放置两个相机，利用投影光学系统可使两个相机视野在所需求的物距发生重叠，通过每个相机拍摄的图片，我们可以捕捉到不同视角的场景，如下图所示： CCAS双目视觉模型 在实现3D测量前，首先我们需要确定左边相机图像的表面点在右边相机图像的哪里显示；其次必须知道左右相机图像的关联像素交叉点。这涉及到2种技术：立体匹配和双目标定。 1、双目标定 双目标定是对双目三维测量系统的参数初始化过程，也就是说用已知世界坐标系测算双目系统的参数，可以用下面的关系进行描述： 双目视觉中测量和标定的关系
2、相机矫正 通过上述关系，很容易发现“图像坐标”是每次计算的基础，为了准确的计算该坐标，我们需要相机是“理想模型”，而实际上任何成像系统都有其畸变。相机的畸变模型如下，我们可以通过单相机标定确定相机的畸变系数。 CCAS系统成像畸变模型 3、立体匹配 由于单相机获取的图像只能计算出二维坐标，因为我们使用了2套相机，且2套相机之间的关系也是已知的，那么如果我们能把三维空间中某点在左右相机成像的二维坐标都计算出来，且能知道这是同一个点，这样就可以计算出三维坐标。这里面确认同名点的技术就是立体匹配。立体匹配有很多种算法，其中局部匹配法是最常用的，但是就目前已有算法来说，没有一种算法可以实现100%匹配。一般来说待匹配点越多，匹配准确率越低。 CCAS双目标定结果 4、三维测量 不管使用哪种匹配方式，最终的目的还是把兴趣点的三维坐标计算出来，达到我们三维信息获取的目的。目前比较常见的应用有三类：三维还原、立体导航、空间跟踪。
双目立体视觉问题
双目立体视觉问题 2008-10-30 20:24 双目立体视觉的研究一直是机器视觉中的热点和难点。使用双目立体视觉系统可以确定任意物体的三维轮廓，并且可以得到轮廓上任意点的三维坐标。因此双目立体视觉系统可以应用在多个领域。现说明介绍如何基于HALCON实现双目立体视觉系统，以及立体视觉的基本理论、方法和相关技术，为搭建双目立体视觉系统和提高算法效率。 双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。双目立体视觉系统在机器视觉领域有着广泛的应用前景。 HALCON是在世界范围内广泛使用的机器视觉软件。它拥有满足您各类机器视觉应用需求的完善的开发库。HALCON也包含Blob分析、形态学、模式识别、测量、三维摄像机定标、双目立体视觉等杰出的高级算法。HALCON支持Linux和Windows，并且可以通过C、C++、C#、Visual Basic和Delphi语言访问。另外HALCON与硬件无关，支持大多数图像采集卡及带有DirectShow和IEEE 1394驱动的采集设备，用户可以利用其开放式结构快速开发图像处理和机器视觉应用软件。 一．双目立体视觉相关基本理论说明 1．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图1所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图1所示。事实上摄像机的成像平面在镜头的光心后，图1中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为 P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P图像坐标的Y坐标相同，即v1=v2。由三角几何关系得到: 上式中（x c，y c，z c）为点P在左摄像机坐标系中的坐标，b为基线距，f为两个摄像机的焦距，（u1,v1）和（u2,v2）分别为点P在左图像和右图像中的坐标。 视差定义为某一点在两幅图像中相应点的位置差:
双目视觉传感器系统
双目视觉传感器系统 视觉检测广泛地应用于工件的完整性、表面平整度的测量:微电子器件(IC芯片、PC板、BGA)等的自动检测;软质、易脆零部件的检测;各种模具三维形状的检测;机器人的视觉导引等。最具有吸引力的是由视觉传感器阵列组成的大型物体(如白车身)空间三维尺寸多传感器视觉检测系统。 双目视觉传感器由两台性能相同的面阵CCD摄像机组成,基于立体视差的原理,可完成视场内的所有特征点的三维测量,尤其是其它类型的视觉传感器所不能完成的测量任务,如圆孔的中心、三棱顶点位置的测量等。因此,双目视觉传感器是多传感器视觉检测系统的主要传感器之一。要实现双目视觉传感器直接测量大型物体关键点的三维测量,就必须知道传感器的内部参数(摄像机的参数)、结构参数(两摄像机间的位置关系)及传感器坐标系与检测系统的整体坐标系的关系(即全局标定)。因此,在实际测量之前,先要对摄像机进行参数标定。一般方法是,传感器被提供给整个系统使用前,就离线完成传感器的内部参数及结构参数的标定,采用一标准二维精密靶标及一维精密导轨,通过移动导轨来确定坐标系的一个坐标,通过摄像机的像面坐标及三个世界坐标的对应关系求得这些参数。 这种方法的缺点是:标定过程中,需要精确调整靶标与导轨的垂直关系,而且需多次准确移动导轨;同时标定过程的环境与实际测量的情形有差异;传感器在安装的过程中,易引起部分参数的变化,需多次的拆卸;摄像机还需进行全局标定。由此可知标定的劳动强度大,精度难以保证。本文提出了一种现场双目传感器的标定方法,只需先确定摄像机的部分不易变化的参数,其它参数在摄像机安装到整个系统后进行标定。该方法大大地减少了上述因素的影响,能得到满意的标定精度。 双目视觉测量探头由2个CCD摄像机和1个半导体激光器组成，如下图所示。
双目视觉的发展
双目立体视觉是计算机视觉的一个重要分支，即由不同位置的两台或者一台摄像机摄影测量学的传统设备标定法。利用至少17个参数描述 双目立体视觉是计算机视觉的一个重要分支，即由不同位置的两台或者一台摄像机摄影测量学的传统设备标定法。利用至少17个参数描述摄像机与三维物体空间的结束关系，计算量非常大。 （2）直接线性变换性。涉及的参数少、便于计算。 （3）透视变换短阵法。从透视变换的角度来建立摄像机的成像模型，无需初始值，可进行实时计算。 （4）相机标定的两步法。首先采用透视短阵变换的方法求解线性系统的摄像机参数，再以求得的参数为初始值，考虑畸变因素，利用最优化方法求得非线性解，标定精度较高。 （5）双平面标定法。 在双摄像机标定中，需要精确的外部参数。由于结构配置很难准确，两个摄像机的距离和视角受到限制，一般都需要至少6个以上（建议取10个以上）的已知世界坐标点，才能得到比较满足的参数矩阵，所以实际测量过程不但复杂，而且效果并不一定理想，大大地限制了其应用范围。此外双摄像机标定还需考虑镜头的非线性校正、测量范围和精度的问题，目前户外的应用还有少。 上海大学通信与信息工程学院提出了基于神经网络的双目立体视觉摄像机标定方法。首先对摄像机进行线性标定，然后通过网络练习建立起三维空间点位置补偿的多层前馈神经网络模型。此方法对双目立体视觉摄像机的标定具有较好的通用性，但是精确测量控制点的世界坐标和图像坐标是一项严格的工作。因此神经网络中练习样本集的获得非常困难。 1.3 特征点提取 立体像对中需要撮的特征点应满足以下要求：与传感器类型及抽取特征所用技术等相适应；具有足够的鲁棒性和一致性。需要说明的是：在进行特征点像的坐标提取前，需对获取的图像进行预处理。因为在图像获取过程中，存在一系列的噪声源，通过此处理可显著改进图像质量，使图像中特征点更加突出。 1．4 立体匹配 立体匹配是双目体视中最关系、困难的一步。与普通的图像配准不同，立体像对之间的差异是由摄像时观察点的不同引起的，而不是由其它如景物本身的变化、运动所引起的。根据匹配基元的不同，立体匹配可分为区域匹配、特征匹配和相位匹配三大类。 区域匹配算法的实质是利用局部窗口之间灰度信息的相关程度，它在变化平缓且细节丰富的地方可以达到较高的精度。但该算法的匹配窗大小难以选择，通常借助于窗口外形技术来改
双目视觉地图像立体匹配系统说明书文档
双目视觉的图像立体匹配系统文档 1 引言 计算机视觉技术的发展将光与影的艺术和计算机的逻辑性紧密结合起来，而双目立体视觉技术更将这种结合从平面二次元上升到立体的角度，为我们的生产生活提供了新的技术和工具，例如已经被普遍运用的3D电影技术，研发中的虚拟现实、谷歌视觉眼镜、汽车自动驾驶技术，即将上市的淘宝虚拟实景购物等，不断改变着我们的生活，另外双目立体视觉在军事、医学、工业等领域都有其重要的作用，是机器感知物体几何层级的基础，因此对双目视觉的理论研究成为推动立体视觉乃至计算机视觉技术在各个领域创造更高价值的重要因素。 在双目视觉的研究和运用中，最重要的一个阶段无疑为将平面图像转化为可计算机可识别的立体模型，这里将用到立体匹配技术，目前双目视觉研究领域用到的立体匹配算法及其衍生算法有很多种，算法的效率和匹配精度将直接影响到算法运用的响应时间和准确度[1]，当今各种视觉智能设备的发展需要将立体匹配过程直接嵌入到单片机中，这种场景下，算法的效率和匹配精度将直接决定不同运算性能的嵌入式设备的选择和产品推广后的用户体验度，也将直接决定设备成本，因此研究出更加速度快、精度高的立体匹配算法在各领域都具有划时代的重要意义。 2 系统方案设计 2.1 双目视觉的图像立体匹配系统 说起立体视觉系统，要从人的双眼说起，人眼是一个典型的双目视觉系统，每只眼睛是一个摄像机，两只平行的眼睛是两台平行的摄像机，因为两只眼睛的位置不同，看到的图像是有差异的，这个差异就是立体视觉的基础，视觉信号传入大脑，大脑利用其强大的匹配能力，就可以基本确定图像中的物体的立体信息，或者叫做图像的深度信息。随着人们知识和生产生活的发展，需要通过仿真立体视觉的原理，让计算机获取到图像从2D向3D发展，即获取图像的深度信息，以实现一些和空间视觉有关的需求，这就出现了机器立体视觉技术。
双目视觉简介
双目立体视觉简介 1.什么是视觉 视觉是一个古老的研究课题，同时又是人类观察世界、认知世界的重要功能和手段。人类从外界获得的信息约有75%来自视觉系统，用机器模拟人类的视觉功能是人们多年的梦想。视觉神经生理学，视觉心理学，特别是计算机技术、数字图像处理、计算机图形学、人工智能等学科的发展，为利用计算机实现模拟人类的视觉成为可能。在现代工业自动化生产过程中，计算机视觉正成为一种提高生产效率和检验产品质量的关键技术之一，如机器零件的自动检测、智能机器人控制、生产线的自动监控等；在国防和航天等领域，计算机视觉也具有较重要的意义，如运动目标的自动跟踪与识别、自主车导航及空间机器人的视觉控制等。 人类视觉过程可以看作是一个从感觉到知觉的复杂过程，从狭义上来说视觉的最终目的是要对场景作出对观察者有意义的解释和描述；从广义上说，是根据周围的环境和观察者的意愿，在解释和描述的基础上做出行为规划或行为决策。计算机视觉研究的目的使计算机具有通过二维图像信息来认知三维环境信息的能力，这种能力不仅使机器能感知三维环境中物体的几何信息（如形状、位置、姿态运动等），而且能进一步对它们进行描述、存储、识别与理解，计算机视觉己经发展起一套独立的计算理论与算法。 2.什么是计算机双目立体视觉 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图像，如图1。
基于HALCON的双目立体视觉系统实现
基于HALCON的双目立体视觉系统实现 段德山（大恒图像公司） 摘要双目立体视觉的研究一直是机器视觉中的热点和难点。使用双目立体视觉系统可以确定任意物体的三维轮廓，并且可以得到轮廓上任意点的三维坐标。因此双目立体视觉系统可以应用在多个领域。本文将主要介绍如何基于HALCON实现双目立体视觉系统，以及立体视觉的基本理论、方法和相关技术，为搭建双目立体视觉系统和提高算法效率提供了参考。 关键词双目视觉三维重建立体匹配摄像机标定视差 双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。双目立体视觉系统在机器视觉领域有着广泛的应用前景。 HALCON是在世界范围内广泛使用的机器视觉软件。它拥有满足您各类机器视觉应用需求的完善的开发库。HALCON也包含Blob分析、形态学、模式识别、测量、三维摄像机定标、双目立体视觉等杰出的高级算法。HALCON支持Linux和Windows，并且可以通过C、C++、C#、Visual Basic和Delphi语言访问。另外HALCON与硬件无关，支持大多数图像采集卡及带有DirectShow和IEEE 1394驱动的采集设备，用户可以利用其开放式结构快速开发图像处理和机器视觉应用软件。 一．双目立体视觉相关基本理论介绍
1．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图1所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图1所示。事实上摄像机的成像平面在镜头的光心后，图1中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P图像坐标的Y坐标相同，即v1=v2。由三角几何关系得到： 上式中（xc，yc，zc）为点P在左摄像机坐标系中的坐标，b为基线距，f为两个摄像机的焦距，（u1，v1）和（u2，v2）分别为点P在左图像和右图像中的坐标。 视差定义为某一点在两幅图像中相应点的位置差：