Ch19 第十九章 移动机器人视觉导航系统设计

按照针孔模型，摄像机通过光心 按照针孔模型，摄像机通过光心Oc(Optical Center)将空间 将空间 物体上一点P映射到摄像机图像平面上一点 映射到摄像机图像平面上一点p， 物体上一点 映射到摄像机图像平面上一点 ，摄像机光轴 经过光心并与摄像机图像平面相垂直。 经过光心并与摄像机图像平面相垂直。光轴线与摄像机图 像平面相交，交点为主点，即像平面坐标系原点o， 像平面相交，交点为主点，即像平面坐标系原点 ，世界 坐标系下点P坐标为 w (Xw,Yw,Zw)，在摄像机坐标系下坐 坐标系下点 坐标为P ， 坐标为 标为P 标为 c (Xc,Yc,Zc)，经过投影，在图像平面上的投影点为 ，经过投影， p(x, y)，摄像机焦距为 ，按照小孔模型，其投影关系为： ，摄像机焦距为f，按照小孔模型，其投影关系为：
13
摄像机标定过程
最基本的摄像机标定方法是基于立体模板的标定， 最基本的摄像机标定方法是基于立体模板的标定，在利用 本方法进行标定的过程中， 本方法进行标定的过程中，需要在摄像机前放一个的特制 的标定参照物(reference object)，一般是立方体，参照物 的标定参照物 ，一般是立方体， 上有许多相对于世界坐标系的位置精确测定的特征点。 上有许多相对于世界坐标系的位置精确测定的特征点。用 摄像机获取该物体的图像， 摄像机获取该物体的图像，得到一系列特征点在图像坐标 系中的投影位置。 系中的投影位置。 由空间6个以上已知点与它们对应的图像点坐标， 由空间 个以上已知点与它们对应的图像点坐标，我们可 个以上已知点与它们对应的图像点坐标 求出M 矩阵。在一般的标定工作中， 求出 1、M2矩阵。在一般的标定工作中，我们都使标定 块上有数十个已知点， 块上有数十个已知点，使方程的个数大大超过未知数的个 从而用最小二乘法求解以降低误差造成的影响。 数，从而用最小二乘法求解以降低误差造成的影响。
每一个像素在x轴与 轴方向上的物理尺寸为 每一个像素在 轴与y轴方向上的物理尺寸为 ，dy，由于 轴与 轴方向上的物理尺寸为dx， dx, dy, u0 及v0 只与摄像机内部结构有关，即M2完全由摄 只与摄像机内部结构有关， 像机决定，所以称M 之为内部参数矩阵。 像机决定，所以称 2之为内部参数矩阵。摄像机标定的 目的就是要确定M 矩阵， 目的就是要确定 1、M2矩阵，从而得到空间点到图像点 的映射关系。 的映射关系。
2
19.2 立体视觉概述
了解人类视觉的构成、信息处理过程，对计算机视觉 了解人类视觉的构成、信息处理过程， 的研究是非常具有启发性和吸引力的。 的研究是非常具有启发性和吸引力的。人类对高级生 物视觉的研究成果， 物视觉的研究成果，给我们研究和设计计算机视觉系 统提供了很好的模型或生物支持。 统提供了很好的模型或生物支持。 生物视觉系统的视觉过程由多个步骤组成， 生物视觉系统的视觉过程由多个步骤组成，其流程图 如图所示。 如图所示。
机械电子工程原理
第十九章 移动机器人视觉导航系统的设计
机械工业出版社
19.1 计算机视觉简介
视觉是人类观察世界、认识世界的重要功能手段， 视觉是人类观察世界、认识世界的重要功能手段，为 人类提供了多达70%以上的外部信息，视觉也被认为 以上的外部信息， 人类提供了多达 以上的外部信息 是机器人最主要的感知能力。 是机器人最主要的感知能力。 视觉传感器为机器人提供了十分丰富的外界信息， 视觉传感器为机器人提供了十分丰富的外界信息，并 且在不需要传感器的运动及物体无任何接触的情况下， 且在不需要传感器的运动及物体无任何接触的情况下， 就可以达到对环境和目标的识别， 就可以达到对环境和目标的识别，这是其他传感器难 以做到的，因此， 以做到的，因此，机器人视觉技术是机器人智能化水 平的一个重要体现。 平的一个重要体现。 人们研究计算机视觉旨在使计算机具有通过二维图像 认知三维环境信息的能力,这就是立体视觉技术 这就是立体视觉技术。 认知三维环境信息的能力 这就是立体视觉技术。这 种能力将不仅使机器能感知三维环境中物体的几何信 包括它的形状、位置、姿态和运动等， 息，包括它的形状、位置、姿态和运动等，并且能对 它们进行描述、存储、识别与理解。 它们进行描述、存储、识别与理解。
内部参数描述摄像机的内部光学和几何特性， 内部参数描述摄像机的内部光学和几何特性，如图像 中心、焦距、镜头畸变以及其它系统误差参数等； 中心、焦距、镜头畸变以及其它系统误差参数等； 外部参数指的是某一世界坐标系和摄像机坐标系之间 的相对旋转和平移。 的相对旋转和平移。
这些参数必须由实验与计算来确定， 这些参数必须由实验与计算来确定，实验与计算的过 摄像机标定。 程称为摄像机标定 程称为摄像机标定。摄像机参数已知是所有计算机视 觉方法的前提，同时这一过程精确与否， 觉方法的前提，同时这一过程精确与否，将直接影响 立体视觉系统的测量精度。 立体视觉系统的测量精度。
8
19.3 摄像机标定
计算机立体视觉应能从摄像机获取的图像信息出发， 计算机立体视觉应能从摄像机获取的图像信息出发， 计算三维环境物体的位置、形状等几何信息， 计算三维环境物体的位置、形状等几何信息，并由此 识别环境中的物体。 识别环境中的物体。图像上面的每一点在图像中的位 置与空间物体表面相应点的几何位置有关。 置与空间物体表面相应点的几何位置有关。这些位置 的相互关系，由摄像机成像几何模型所决定， 的相互关系，由摄像机成像几何模型所决定，该几何 模型的参数称为摄像机参数 摄像机参数。 模型的参数称为摄像机参数。
式中， 分别为旋转坐标变换； 式中，Tα、Tβ、Tγ分别为旋转坐标变换；Td为平移坐标 变换。 变换。
12
Pc = Tα Tβ Tγ Td Pw
摄像机模型
以世界坐标系表示的P点坐标与摄像机成像坐标系下 的坐 以世界坐标系表示的 点坐标与摄像机成像坐标系下p的坐 点坐标与摄像机成像坐标系下 标(u,v)之间的转换关系 之间的转换关系
9
摄像机模型
在标定过程中， 在标定过程中，有多种模型可供选择来描述摄像 针孔模型是其中最常见的一种， 机。针孔模型是其中最常见的一种，它简单实用 而又不失准确性， 而又不失准确性，在物距相对于摄像机焦距很大 ＝ 它能够较准确地描述摄像机的几何关系。 时，它能够较准确地描述摄像机的几何关系。
10
摄像机模型
14
三维场景信息获取
如果已知道摄像机的内外参数，即投影矩阵 如果已知道摄像机的内外参数，即投影矩阵M1、M2， 那么对任何空间点P，如已知它的坐标Pw=[Xw Yw Zw 那么对任何空间点 ，如已知它的坐标 1]T，就可求出它的图像点 的位置 就可求出它的图像点p的位置 的位置(u,v)。反过来，如 。反过来， 果己知空间某点P的图像点 的位置(u,v)。根据双目视 的图像点p的位置 果己知空间某点 的图像点 的位置 。 差原理，在已知摄像机内外参数条件下， 差原理，在已知摄像机内外参数条件下，理论上就可 以恢复空间的三维场景信息。 以恢复空间的三维场景信息。 因为图像数据反映的是某一时刻空间场景中物体反射 光的强度信息，由于光照不均、遮挡、 光的强度信息，由于光照不均、遮挡、镜头失真等因 素的影响， 素的影响，使得完全准确的恢复场景信息几乎是不可 能的。 能的。 通常借助图像处理手段，结合先验知识， 通常借助图像处理手段，结合先验知识，针对某一目 的要求设计专用的图像处理方法， 的要求设计专用的图像处理方法，以满足计算机视觉 应用的需要。 应用的需要。 15
7
双目立体视觉导航移动式机器人
本系统设计的视觉导航移动式机器人如左图所示，采 本系统设计的视觉导航移动式机器人如左图所示， 用双目立体视觉，通过在实验车前安装双摄像机， 用双目立体视觉，通过在实验车前安装双摄像机，如 右图所示，以模拟人类双目视觉系统， 右图所示，以模拟人类双目视觉系统，从而实现移动 机器人的自主导航、避障功能。 机器人的自主导航、避障功能。
1 0 u0 dx Xc Xc Xw 0 0 0 u f Y Y Yc 1 Zc v = 0 v0 0 f 0 0 = M 2 c = M 2 M1 w Z Zc Zw dy c 1 0 1 0 0 0 0 1 1 1 1 式中， 为以像素为单位的坐标 为以像素为单位的坐标。 式中，u,v为以像素为单位的坐标。
3
生物视觉系统
从狭义上说，视觉的最终目的是要对场景做出对观察 从狭义上说， 者有意义的解释和描述；从广义上讲， 者有意义的解释和描述；从广义上讲，还要基于这些 解释和描述， 解释和描述，并根据周围环境和观察者的意图制定出 行为规划。 行为规划。 人类的视觉不仅要识别物体的形状和颜色， 人类的视觉不仅要识别物体的形状和颜色，而且要随 时地作用于物体。 时地作用于物体。立体视觉就是指这种判断物体距离 或深度的感觉。 或深度的感觉。正常的双眼视觉都可以提供高度的立 体感。外界目标在视网膜上的像是二维的， 体感。外界目标在视网膜上的像是二维的，而且同一 物体在左、右眼的视网膜上的成像有着微小的差异。 物体在左、右眼的视网膜上的成像有着微小的差异。 这种不同为立体视觉提供了最基本的信息——视差 这种不同为立体视觉提供了最基本的信息 视差 ）。人们正是利用视差原理来实现机器人 （disparity）。人们正是利用视差原理来实现机器人 ）。 视觉三维感知能力。 视觉三维感知能力。
ì d X p = ( xl + xr ) D Y = d (y + y ) í p l r D Z = 2df p D
6
机器人立体视觉的原理
场景中一点，分别在左右图像中产生像点， 场景中一点，分别在左右图像中产生像点，这一 对像点称为共轭点。所以， 对像点称为共轭点。所以，只要能在左右图像中 找到相应于场景中某一点的共轭点， 找到相应于场景中某一点的共轭点，应用上页中 的公式就可以计算出该空间点的三维坐标值。 的公式就可以计算出该空间点的三维坐标值。 立体视觉技术一直都是视觉技术中研究的前沿与 焦点问题。 焦点问题。根据视觉传感器的个数立体视觉技术 可以分为：双目立体视觉和多目立体视觉。 可以分为：双目立体视觉和多目立体视觉。立体 视觉获取的实质是对视觉图像信息的理解，在这 视觉获取的实质是对视觉图像信息的理解， 个过程中可以应用许多性能优良的智能算法， 个过程中可以应用许多性能优良的智能算法，如 模糊逻辑、人工神经网络和遗传算法等。 模糊逻辑、人工神经网络和遗传算法等。
5
机器人立体视觉的原理
立体视觉中左、右摄像机最简单的放置位置如图所示。 立体视觉中左、右摄像机最简单的放置位置如图所示。图 为左摄像机图像坐标， 中o-XLZL为左摄像机图像坐标，o-XRZR为右摄像机图像 为左摄像机图像坐标 为右摄像机图像 坐标， 为摄像机焦距 两摄像机之间的间距为2d， 为摄像机焦距， 坐标，f为摄像机焦距，两摄像机之间的间距为 ，O-XZ 为世界坐标系。在物体表面存在着空间一点P， 为世界坐标系。在物体表面存在着空间一点 ，在世界坐 标系下的坐标为（Xp,Yp,Zp），该点映射到左右两个摄像 标系下的坐标为（ ），该点映射到左右两个摄像 机图像坐标系中的坐标分别为：（ ：（x ），（x 机图像坐标系中的坐标分别为：（ l,yl），（ r,yr）。 通过几何关系可以得到： 通过几何关系可以得到：
4
机器人立体视觉的原理
一般的摄像机的投影映射关系如图所示， 一般的摄像机的投影映射关系如图所示，通过摄 像机像平面x’o’y’上对空间点 上对空间点(X,Y,Z)所成的像点 像机像平面 上对空间点 所成的像点 (x,y)仅能够获得二维信息，无法获得空间点与摄 仅能够获得二维信息， 仅能够获得二维信息 像机的距离信息。 像机的距离信息。
fX c x= Zc fYc y= Zc
11
Biblioteka Baidu 摄像机模型
针孔模型的主要特点是空间点P和像素点 之间 针孔模型的主要特点是空间点 和像素点p之间， 和像素点 之间， 在对应摄像机坐标系和像平面坐标系中坐标表示 线性映射关系， 为线性映射关系，这个特点与图像坐标系和三维 空间坐标系的选择无关。 空间坐标系的选择无关。 而从世界坐标系(X 而从世界坐标系 w,Yw,Zw)到摄像机坐标系 到摄像机坐标系 (Xc,Yc,Zc)的变换，是由旋转和位移两种基本变换 的变换， 的变换 组合而成的， 组合而成的，即