机器人视觉伺服系统及其图像处理

图像输入
预处理
特征提取 图像分割 图1 图像处理的一般流程
图像识别
图像输出
2.1 图像的预处理
在机器人视觉伺服中采集的图像由于受图像采集环境、 摄像机性能的以及图 像在传输过程中信号通道的影响等，经常会存在有噪声、亮度和对比度不够等缺 点。另外，距离远近，焦距大小等又使得整幅图像中间的大小和位置不确定。此 外，有时候我们需要增强图像的一部分特性而抑制其它的不需要的特性。因此， 必须对图像进预处理来除去噪声、 调整图像的对比度和突出图像中的重要细节抑 制不必要的细节改善图像的质量。 2.1.1 图像滤波法 图像的滤波处理方法视其噪声本身的特性而定， 有些图像噪声， 如椒盐噪声、 脉冲噪声等是由摄像机的性能、 传输通道等引起的， 这些噪声大部分是随机性的， 和邻近没被噪声污染的部分相比， 受噪声污染部分的灰度值明显地不同于其它各 部分。对于这些噪声，我们可用邻域平均的方法来消除噪声。f(i，j)表示(i， j)点的实际灰度值，以它为中心取一个N x N的窗口，窗口内像素组成的点集以A 来表示，经邻域平均滤波后，像素(i，j)的对应输出是:
器视觉基本步骤之一。 边缘检测。 图像处理和机器视觉中一个重要的问题就是检测图像中各组成部 分的边缘。 边缘检测的基本思想和步骤是先进行图像滤波处理来改善与噪声有关 的边缘检测器的性能，但滤波在改善图像的质量时候也可能不能完全去除噪声， 或者会丢失一些边缘。 然后用图像增强技术将局部幅度强度值变换较大的点突出 显示出来， 再用设置阈值的方法提取指定的边缘点集。 但是由于噪声和图像模糊， 检测到的边界的结果经常会出现边界间断或假边界的情况。 所以图像的边缘检测 主要是用边缘算子提取经处理过的边缘点集， 在边缘点集集合中除去一些由噪声 或其它原因引起的假的边缘点， 增加一些能对显示目标物轮廓必要的边缘点，将 得到的边缘点集连接成能描述目标物轮廓的线。 在一幅图像中， 边缘两个主要特性是方向和幅度。顺着边缘方向的灰度变化 比较平缓， 在垂直边缘方向的灰度经常会发生陡升陡降，这种突变可能表现为屋 脊状或斜坡形。 对于屋脊状边缘。我们可以利用边缘的方向和幅度这两个特性来 使用一阶微分边缘检测算法来实现图像的边缘检测。
gi, j 1 )
均值滤波的主要问题有：（1）可能模糊图像中的尖锐不连续部分，（2）必然使 图像的边界变得模糊。 如果既要消除噪声又要保持图像的尖锐的部分和图像的边界不模糊， 可以使 用非线性滤波算法。中值滤波是最简单的非线性滤波算法。中值滤波的原理是， 用一个N x N的窗口， 在图像上滑动，把窗口像素的灰度值按升或降的次序排列， 取排列在正中间的灰度值作为窗口中心所在像素的灰度值。或取一个阈值，当一 个像素的灰度值超过这个阈值时，就判断此点就是噪声。 2.1.2 灰度变化法 线性变换法。当图像由于成像时曝光不足或过度，会产生图像模糊不清和对 不度不足的弊病，用一个线性单值函数，对图像中的一个像素做线性扩展，可以 改善图像的视觉效果。 令原始图像f(i， j)的灰度范围为[a,b]，线性变换后的图像f’(i,j)的灰度 范围为[a’,b’]，则f(i，j)和f’(i，j)的关系可以表示为:
式中k为图像对应的总灰度级数，变换后的函数表示为：
s j T ( rj )
i 0 j
ni , j 0,1,..., k 1 n
2.2 图像的分离
在机器人视觉伺服中， 机器人往往只需要某种或某些特定的物体，也就是说 只关心整个图像中一部分具有代表物体的特征的信息，比如相同的灰度值、相同 的颜色等， 在视觉伺服中需要把这些特征与其它图像区分开来，这个区别与提取 的过程称为分离或分割。 2.2.1 阈值处理法 为了从图像中取出所需要的部分，可以选择适当的一个阈值进行图像分离。 给定一个阈值t， 以阈值t为界， 将图像f(i， j)的灰度值分为0和1， 并记为ft(i,j):
现对机器人控制为目的而进行图像的自动获取与分析, 因此它是利用机器视觉 的原理, 从直接得到的图像反馈信息中, 快速进行图像处理, 在尽量短的时间 内给出反馈信息, 参与控制决策的产生, 构成机器人位置阈环控制系统。 20世纪60年代,由于机器人和计算机技术的发展,人们开始研究具有视觉功 能的机器人。但在这些研究中,机器人的视觉与机器人的动作, 严格上讲是开环 的。 机器人的视觉系统通过图像处理, 得到目标位姿, 然后根据目标位姿, 计算 出机器运动的位姿, 在整个过程中, 视觉系统一次性地“提供” 信息, 然后就不 参与过程了。在1973年,有人将视觉系统应用于机器人控制系统, 在这一时期把 这一过程称作视觉反馈(visual feedback)。直到1 9 7 9 年, Hill和Park 提出 了“视觉伺服”(visual servo)概念。很明显, 视觉反馈的含义只是从视觉信息 中提取反馈信号, 而视觉伺服则是包括了从视觉信号处理, 到机器人控制的全 过程, 所以视觉伺服比视觉反馈能更全面地反映机器人视觉和控制的有关研究 内容。 上世纪80年以来, 随着计算机技术和摄像设备的发展, 机器人视觉伺服系 统的技术问题吸引了众多研究人员的注意。 在过去的几年里, 机器人视觉伺服无 论是在理论上还是在应用方面都取得了很大进展。 在许多学术会议上, 视觉伺服 技术经常列为会议的一个专题。 视觉伺服已逐渐发展为跨机器人、自动控制和图 像处理等。
f ' (i, j ) a ' b' a ' ( f (i, j ) a ) ba
还有一种情况，图像中大部分图像的灰度值在[a,b]范围之内，还有一部分 像素的灰度值分布在[a,b]的区间之外，这种情况可以用下式做变换:
a '( f (i, j ) a) b ' a ' f '(i, j ) a ' ( f (i, j ) a) ba b '( f (i, j ) a)
阈值方法分为全局阈值和局部阈值两种， 如果在图像分割过程中对图像上每
个像素所使用的阈值t是同一个阈值，则为全局阈值方法，如果每个像素所使用 的阈值t不同，则为局部阈值分离方法。 2.2.2 边缘检测法 阈值处理法对图像进行分离， 是根据给定的原则在画面中找出灰度一致的部 分，但是对于相对复杂的图像，阈值处理就达不到理想的效果。对于一幅图像来 说， 边缘是这幅图像最基本的特征，边缘检测是图像处理和机器视觉中的基本问 题， 是图像分离与和图像识别的重要内容，这是因为图像的边缘包含了用于识别 的有用信息， 图像的其它特征都是由边缘和区域这些基本特征推导出来的。所以 边缘检测是图像分析和模式识别的主要特征提取手段。 边缘检测的目的是去发现 图像中关于形状和反射或透射比的信息，是图像处理、图像分析、模式识别、机
非线性变换。原始图像f(i，j)的灰度范围为[a,b]，可以通过自然对数变换 到[a’,b’]上，从而得到f’(i，j):
f ' (i, j ) b'a ' (ln f (i, f )) a ' ln b ln a
此变换的作用是增大输入图像中的的低灰度的对比度，减小高灰度值。 2.1.3 直方图变化法 直方图是用来表达一幅图形灰度级分布情况的统计表， 直方图就是图像的每 一级灰度所占的像素数目， 并不指定某个像素在图像的具体位置，直方图的横坐 标r表示的是灰度值，纵坐标根据图像的类型而定。对于连续的图像信号，它的 灰度值出现的概率密度Pr(r)，对于数字图像信号，它是为某灰度值ri的像素个 数ni，连续图像有如下关系:
1( f (i, j ) t ) ft (i, j ) 0( f (i, j ) t )
当a=l(黑)，b=O(白)时，我们统称为图像的二值化。 在进行图像二值化处理时，可以给它一个灰度的集合Z，再定义二值图像函 数:
1( f (i, j ) Z ) f z (i, j ) 0( f (i, j ) Z )
Pr (r ) lim
r 0
A(r r ) A(r ) rA

式中A为图像的面积。
r
0
Pr (r )dr 1
直方图均衡技术是通过变换将原来的直方图图像变换为均匀分布的形式， 然 后用此均衡直方图校正图像达到增强图像整体对比度的效果，对于连续图像，均 衡化变换函数T(r)与原图像概率密度函数Pr(r)之间的关系可表示为:
2、机器人伺服系统中的图像处理
在机器人视觉伺服系统中， 摄像机所获得的图像对于机器人视觉伺服系统而 言，还仅仅是一个矩阵数组，视觉系统的目标是要从图像中得到有用的信息，例 如目标的大小、位置、方向和速度等，这就要求对图像进行进一步的处理，包括 图像的划分和特征的提取。 在图像采集的过程中，由于外界干扰和摄像机本身物 理条件的影响，难免会引入噪声，为了更有效地获取有用信息，就有必要对图像 进行滤波。对于动态连续采集的图像，为了减小系统响应时间和图像处理速度， 就需要对图像进行预测。 在进行图像处理时，很少有只用某一种方法就能解决问 题的情况，经常需要几种方法配合使用才行。 摄像机为系统提供的图像中具有一些代表意义特征信息， 如边缘、 角点、 圆， 色彩以及图像形状特征， 通过图像处理技术这些特征信息提取出来把输入的图像 转化成具有所希望特性的另一幅图像。机器人伺服系统的图像处理流程如图1所 示。 处理的目的是根据预先做好的模板与图像进行匹配，让计算机能自动识别图 像，检测出系统所要操作的目标物。
机器人视觉伺服系统及其图像处理
学号：XXXXXX 姓名：XXX
摘要： 综述了机器人视觉伺服系统的概念及其历史， 详细论述了机器人视觉伺服系统的图像 处理方法。 关键字：视觉伺服系统，图像处理
1、机器人视觉伺服系统概述
目前, 在全世界的制造业中, 工业机器人已经在生产中起到了越来越重要 的作用。 为了使机器人能够胜任更复杂的工作, 机器人不但要有更好的控制系统, 还需要更多地感知环境的变化。 其中机器人视觉以其信息量大、信息完整成为最 重要的机器人感知功能。 利用视觉传感器得到的图象作为反馈信息，可构造机 器人的位置阈环控制, 即视觉伺服( visual servo)。它不同于通常所说的机器 视觉( machine vision)。机器视觉一般定义为: 自动地获取分析图象，以得到 描述一个景物或控制某种动作的数据。 而视觉伺服则是以实现对机器人的控制为 目的而进行图象的自动获取与分析，因此是利用机器视觉的原理，从直接得到的 图象反馈信息中，快速进行图象处理，在尽量短的时间内给出反馈信息，构成机 器人的位置阈环控制。 视觉是一个复杂的感官，视觉信息包含有大量的数据,要从中抽取有用的信 息，需要复杂的算法，耗费大量的运算时间；视觉通常是采用TV摄象机或CCD摄 象机来实现的,在成象过程中会受到多种因素的影响（如摄象机的精度、光照强 度、硬件传输过程中的噪声等），使得视觉信息中不可避免地带有噪声，增加了 图像处理的难度； 目前通用的摄象机采样速率不高， 而且传输有大量数据的视觉 信息需要占用较多的时间；成象过程存在非线性等等。 机器人视觉伺服系统是机器视觉和机器人控制的有机结合, 是一个非线性、 强藕合的复杂系统, 其内容涉及图象处理、机器人运动学和动力学、控制理论等 研究领域。 随着摄像设备性能价格比和计算机信息处理速度的提高, 以及有关理 论的日益完善, 视觉伺服已具备实际应用的技术条件, 相关的技术问题也成为 当前研究的热点。 吸引了许多学者的研究兴趣。 到目前为止已有了许多成功的应 用例子。如装配、焊接、搬运、邮件分检, 轨线跟踪等。 视觉伺服是利用视觉传感器得到的图像作为反馈信息, 构造机器人的位置 阈环反馈。 它和一般意义上的机器视觉有所不同, 机器视觉一般定义为: 自动地 获取分析图像以得到描述一个景物或控制某种动作的数据。 而视觉伺服则是以实