机器人视觉传感技术及应用doc

机器人视觉传感技术及应用

摘要：机器人视觉技术是指机器人工作时通过视觉传感器对环境物体获取视觉信息，让机器人识别物体来进行各种工作。本文介绍了机器人技术中所常用的视觉传感器的种类、结构。原理和功能。介绍了弧焊机器人视觉传感技术较为前沿的一些应用和研究，包括焊缝跟踪和获取熔池信息。简要说明了视觉技术在农业采摘机器人方面的应用。

关键词：机器人、视觉、弧焊、采摘机器人

1．绪论

机器人视觉是使机器人具有视觉感知功能的系统。机器人视觉可以通过视觉传感器获取环境的一维、二维和三维图像，并通过视觉处理器进行分析和解释，进而转换为符号，让机器人能够辨识物体，并确定其位置及各种状态。机器人视觉视觉侧重于研究以应用为背景的专用视觉系统，只提供对执行某一特定任务相关的景物描述。机器人视觉硬件主要包括图像获取和视觉处理两部分，而图像获取由照明系统、视觉传感器、模拟－数字转换器和帧存储器等组成。根据功能不同，机器人视觉可分为视觉检验和视觉引导两种，广泛应用于电子、汽车、机械等工业部门和医学、军事领域。

2. 机器人常用的视觉传感器

2.1光电二极管与光电转换器件

图2.1是pn型光电二级管的结构。如果让光子射入半导体的pn结边界耗尽层，就会激励起新的空穴。利用电场将空穴和电子分离到两侧，就可以的到与光子量成比例的反向电流。Pn型元件的优点是暗电流小，所以被广泛用于照度计和分广度计等测量装置中。

图2.1 pn型光电二极管结构

在高响应的发光二极管中pin结型与雪崩型。前者在pn结边界插入一个本征半导体i 层取代其耗尽层。给它施加反向偏压，可以减少结电容，获得高速响应；而后者是在pn结上加100伏左右的反向偏置电压产生强电场，激励载流子加速，与原子碰撞产生电子雪崩现象。这些高速型二极管的响应速度很快，能用于高速光通信等。

2.2 PSD

PSD（Position Sensitive Detector，位置敏感探测器）是测定入射光位置的传感器，由发光二级管、表面电阻膜、电极组成。入射光产生的光电流通过电阻膜到达元件两端的电极，流入各个电极的电流与电阻值存在对应关系，而电阻值又与光的入射位置及到各个电极距离成比例，因此根据电流值就能检测到光入射的位置。PSD元件中有一维和二维两种，它们都具有高速性，但要注意入射到开口部分的散射光的影响。

2.3CCD图像传感器

电荷耦合器件（CCD：Charge Coupled Device）图像传感器是由多个光电二极管传送储存电荷的装置。它有多个MOS（Metal Oxide Semiconductor）结构的电极，电荷传送的方式是通过向其中一个电极上施加与众不同的电压，产生所谓的势阱，并顺序变更势阱来实现的。根据传送电荷需要的脉冲信号的个数，施加电压的方法有两相方式和三相方式。

CCD图像传感器有一维形式的，是将发光二极管和电荷传送部分一维排列制成的。此外还有二维形式的，它可以代替传统的硒化镉光导摄像管和氧化铅光电摄像管二维传感器。二维传感器属于水平和垂直传送电荷传感器，传送方式有行间传送、帧—行间传送、帧传送及全帧传送四种方式。

图2.2所示为行间传送方式，采取一维摄像区域（接收部分）与传送区域平行布置结构

的方法。接收部分多使用二极管。每一帧曝光所储蓄的电荷分别被垂直或水平的传送，然后以图像信号的形式被取出。在CCD内部电荷传送的效率非常高，因此其具有高的灵敏度。由于整个传送区域是被遮光的，所以在传送中不会曝光。

图2.2 CCD摄像器件的结构

CCD图像传感器把垂直寄存器用作单画面图像的缓存，所以可以将曝光时间和信号传送时间分离开。也就是说，其具有所有像素能在同一时间曝光的特点。

2.4 CMOS图像传感器

CMOS图像传感器是由接收部分（二极管）和放大部分组成的一个个单元，然后按照二维排列。由于放大器单元之间特性的分散性大，以至于其噪声比较大。不过，近年来噪声消除电路的性能已经得到改善，故使COMS图像传感器得到迅速普及和应用。

CMOS传感器的优点是耗电低，并利用一般半导体制造技术就可以完成CMOS处理器的设计和加工，这都是有利于图像处理电路和图像传感器的单片化和低成本化。

2.5其他的摄像元件

光电子增倍管就是根据二次放电效应增大入射光的元件，因此他可以用来检测微弱光线，如用于夜视系统中等。

在红外线图像方面有波长为2~15μm的中红外和远红外区域的传感器，在红外线检测器中得到较多使用的是HgCdTe和AlGaAs结晶的量子型传感器。热效应型传感器最近也被实用化了，谈的原理是把装置接收的入射红外线变换为热能，再利用温度检测器将温度升高转变为电信号输出。热效应型传感器无须冷却器，这是量子型图像传感器所不及的优点。

2.6三维视觉传感器

三维视觉传感器分为被动传感器（用摄像机等对目标物体进行摄影，获得图像信号）和主动传感器（借助于传感器向目标投射光图像，再接收返回信号）两大类，如图2.3所示。

图2.3 三维视觉传感器种类

被动传感器 主动传感器 单眼摄像机 从焦点获得形状 从X 射线获得形状 移动视觉 多目摄像机 双眼视觉 三眼视觉、多眼视觉 多基线立体视觉 基于核几何的手法 主动主体 光切断法 多点投光 结构化图像投光 照度差立体

莫尔条纹法 飞行时间法 相位检测法 光雷达法

三维视觉

传感器

3. 弧焊机器人视觉技术

焊接作为一种机械加工的重要特殊工艺手段，在制造业中具有举足轻重的地位，但是，传统的手工焊接力一法己经不能满足现代高新技术产品制造的要求。囚此，保证焊接产品质量的稳定性、提高生产效率、减轻工人的劳动强度和改善劳动环境己经成为现代焊接技术极待解决的问题。随着先进制造技术的发展，实现焊接产品制造的自动化、柔性化与智能化己经成为必然趋势巨。

焊接机器人具有通用性强、工作可靠的优点，但是无法自主获取工件定位信息、焊缝空间位置信息、焊缝熔透信官、，当焊接对象改变时需要重新示教，造成工作效率低下，囚此智能化是焊接机器人的发展趋势。焊接机器人智能化技术是指在焊接机器人上装配各种传感器，使焊接机器人对外界环境具有一定的感知能力，从而使焊接机器人可以自主地适应环境，并根据环境的变化，对自身下一步操作自主调整。

使用焊接传感器的日的是为了实现焊接过程的自动控制，进而实现焊接的智能化。焊接传感器根据原理可以分为声学、力学、电弧和光学传感器等。声学传感器主要用于GMAW 过程熔滴过渡的检测、等离子穿孔焊等。力学传感器能够反映熔池振荡频率同熔池体积之间的关系，但日前只能用于步进焊接，无法实现连续行走。电弧传感器由于直接检测电弧自身的特性，不需要外加传感器及附件，应用简单，主要用于焊缝跟踪和熔敷控制。据统计，焊工进行手弧焊操作时获取的信息有80%来自视觉。熟练的焊接工人通过观测熔池、工件的接头、电弧的形状和熔滴过渡形式等来预测背而的形状和尺寸参数，通过调节焊接参数实现熔透的控制，保证焊接质量的稳定。下文介绍了视觉传感技术及其在机器人焊接中的作用。

3.1 弧焊视觉传感技术的优点

与传统的传感方法相比，光学传感器具有不与焊接回路接触、不与焊接工件接触、信号的检测操作不影响正常的焊接过程、传感信息丰富、硬件设备简单、易于维护的优点。电子技术、光学技术、机器视觉和图像处理技术为视觉传感技术提供了软硬件支持，如光学器件和摄像机成本下降、性能提高、可靠性改善，图像处理硬件性能改善和种类的增多为视觉传感器提供了硬件支持，机器视觉、图像处理和软件技术的发展为视觉传感器提供了软件保障，因此光学传感器在焊接过程中具有非常广泛的应用前景。光学传感器根据光学器件所工作的波段可以分为X射线传感器、视觉传感器和红外传感器三种。

视觉传感器是在光谱的可见光波段内利用CCD器件对焊接区成像，图像中的景物与焊

接区各部分一一对应，可以得到焊接过程动态熔池的一维和二维信息、，检测到的熔池信息直接反映了焊接过程熔化金属的动态行为，无需红外成像那样只有经过温度场的标定以后才能确定焊接区各个部分，非常直观。

视觉传感技术根据所获得的信息可以分为一维视觉传感和二维视觉传感;根据是否需要辅助光源分为主动式视觉传感和被动式视觉传感。主动式视觉传感方法采用激光等辅助光源对焊接区进行照明以减少电弧光对图像质量的影响，提高熔池图像的质量。由于激光具有单波长、方向性好、相干性好等特点，所以通常采用激光作为辅助光源。日前应用较多的是通过一定方法产生一条、多条或者网格分布的结构光投射到焊接工件上，根据结构光条纹的变形获取有关的几何形状信息。主动式视觉传感由于要采用高能量的脉冲光源和特殊电子快门的摄像机，所以设备较多、系统复杂、价格昂贵，从而限制了这种方法在实际中的应用。被动式视觉传感方法是通过弧光或者自然光等照明获取焊接区图像信息的，被动式视觉传感方式不需要辅助光源只采用普通的CCD摄像系统传感熔池图像，结构简单、价格便宜，更适合在焊接生产实际中使用，因此越来越受到人们的重视。

3.2 焊缝跟踪

日前，应用于焊接机器人上的传感方式多种多样，其中视觉传感己成为机器人焊接传感的研究热点。机器人焊接视觉传感技术包括机器人初始焊位导引、焊缝跟踪、工件接头识别、熔池几何形状实时传感、熔滴过渡形式检测、焊接电弧行为检测等。

焊缝跟踪在焊接领域研究比较多,但是由于焊接机器人需要精确控制焊枪与工件之间的相对轨迹位置关系、运动速度以及焊枪姿态等，因此焊缝跟踪的研究在机器人焊接中更为重要。根据视觉系统的工作方式不同，焊接机器人焊缝跟踪的视觉传感器分为结构光式、激光扫描式和直接拍摄电弧式。其中结构光式和激光扫描式都是基于三角测量原理的主动视觉方法，如图3.1、3.2所示分别采用CCD摄像机和激光组成主动式视觉传感器进行焊缝跟踪，有些文献提出了直接拍摄熔池区图像的被动视觉传感方法实现焊缝跟踪，通过CCD摄像机采集焊缝熔池区域的图像信息，然后根据特定的一系列图像处理算法识别焊缝的中心位置，同时，该系统设计了参数自调整模糊控制器对焊缝的跟踪偏差进行调节，通过主控计算机控制焊枪在X、Y方向运动，从而实现了对焊缝跟踪的精确控制。

图3.1视觉传感系统组成图3.2 视觉传感器组成

如图3.3所示的事以机器人的GTAW焊接过程作为研究对象，设计的一套以CCD摄像机为传感工具，电弧光和熔池金属辐射或可见光作为光源可同时用于熔池检测与控制和焊枪初始位置导引的焊接机器人视觉传感系统。机器人视觉传感器固定在具有九自由度的弧焊机器人手臂末端处，与焊枪相固定,如果视觉传感器固定在焊枪上，则可能由于摄像机的体积和重量影响焊枪的可达性与运动的灵活性，另外，当焊枪处于某一姿态时，视觉传感器可能检测不到熔池部分的图像。如果在机器人第六关节上增加了第七关节以控制摄像机绕焊枪转动，可以实现机器人初始焊位的导引、机器人焊缝跟踪和熔透控制，如图3.4所示。

图3.3机器人视觉传感系统及实物照片图3.4 双目视觉传感器

3.3焊接熔池视觉传感

熔池形状和尺寸对于焊缝成形具有非常重要的作用，熔池形状和尺寸的传感是焊缝成形控制的基础，焊接过程中的声、光、电、磁、热等信急可以用来传感熔池的形状信息。

3.3.1主动式一维视觉传感技术

对于连续电流GTAW，熔池连续处在强烈电弧光的笼罩下，采用常规的CCD摄像方法很难排除弧光干扰得到清晰的熔池原始图像。有人提出了一种由高能量密度脉冲激光器和与激光脉冲同步的电子快门频闪高速摄像机组成的“频闪视觉”系统检测高亮度区景物的方法。辅助光源采用高密度脉冲激光或者Xe灯闪烁光源在脉冲期间强度高于弧光强度，视觉传感器采用频闪高速CCD摄像机捕捉瞬时清晰的熔池图像。频闪视觉方法在GMAW、GTAW、等离子弧焊（PAW）、电子束焊（EBW）、激光焊（LW）过程中均获得了清晰度和对比度都较好的熔池图像，如图3.5所示。

图3.5频闪视觉熔池图像传感

3.3.2 被动式二维视觉传感技术

图3.6是GTAW同轴检测方法的示意图。有人开发了一套放置在焊炬内部与电极同轴观测焊接熔池的集成视觉传感系统，在TIG焊熔池观察和MIG焊焊缝跟踪等方面进行了初步的研究。针对低碳钢TIG焊辐射源中各组分发光机理及规律进行的研究,发展了一种在电弧焊条件下获得焊接区图像的光谱传感方法，该方法能够使电弧光谱中各组分的光强在可见光范围内得到调整和控制，从而使熔池图像质量明显提高, 如图3.7所示。在连续光谱选取取像窗口,利用熔池液态金属表面对电弧光的镜面反射及未熔化的和已凝固的工件表面对电弧光的漫反射获取熔池图像，提高熔池图像的对比度。获取熔池正面图像时，开发了由窄带滤光片和中性滤光片组成的复合滤光系统抑制并充分利用弧光。同时开发了一套熔池同时同幅图像传感系统，它通过两条独立的光路将同时刻的熔池正反面的图像聚焦于摄像机的CCD靶面，如图3.8所示。

图3.6 GTAW同轴熔池检测方法

图3.7光谱传感方法

图3.8 熔池正反面图像同时同幅传感系统

3.3.3主动式三维视觉传感技术

相对于二维信息而言，焊接区的三维信息在表现焊接熔池形状、焊缝成形方面更具有优势。为了获取熔池表面的三维信息,有人设计了一套由强脉冲激光栅格状多结构光条纹和高速电子快门摄像机组成的熔池视觉检测系统，摄像机的电子快门与激光脉冲同步，检测正面熔池的下塌量,如图3.9所示。在摄像机成像光路系统中加了与激光波长相匹配的窄带滤光片，有效地抑制了弧光的干扰，进一步提高了图像的信噪比，获得了非常清晰的TIG焊熔池表面反射图像。采用一定的图像处理算法可以提取结构光条纹的栅格框架和轮廓，进而可以计算出熔池正面的高度，建立了正面焊缝平均下塌量与反面熔宽之间关系的数学模型。

图3.9结构光视觉传感

焊接智能化、机器人化是焊接技术必然的发展趋势，但是焊接过程控制的关键是信息传感。焊接过程传感信息包括光学、声学、力学、电磁学等，视觉传感技术以其特点成为将来最有发展前景的传感技术之一。弧焊机器人中的视觉传感技术，将随着相关技术的发展，进一步推动焊接智能化技术发展。

4.机器视觉在农业机器人中的应用

农业机器人是 21世纪研究进展最快的机器人。我国作为农业大国,水果和蔬菜在人类的生活中占有很重要的地位,种植面积和产量逐年提高。目前中国果树总面积为 993.3万hm2,占世界果树总面积的 20.39%,居世界第一位。而农产品的采摘是一项劳动强度大、消耗时间长,具有一定危险的作业,所以,对农业采摘机器人的研究就显得非常迫切。由于农业机器人作业对象是有机生物体,且不同地域有不同的自然气候、地形、地貌以及不同的种植制度,所以其应用的难度非常之大。尤其针对如此错综复杂的外部环境和形状各异的作业对象,即使是在同一种农业作业,其作业对象也是千差万别,这样一来,采用带视觉技术的农业采摘机器人将不失为一个非常理想的选择。

根据机器人视觉技术的不同层次,其在农业机器人中的应用也有所不同。一维成像视觉技术只是通过视觉传感器对作业对象的某一个特征值进行检测,如光的强度、作业对象的颜色等。一维成像的视觉技术由于简单、易于实现,因而在刚开始时得到了较多的应用。但是由于一维成像技术反馈回来的信息量少,不太全面,因此限制了它的应用范围。所以,应用越来越多的是二维成像的视觉技术。二维成像视觉技术是由不同位置的两台或者一台摄像机(CCD)经过移动或旋转拍摄同一幅场景,通过计算空间点在两幅图像中的视差,获得该点的三维坐标值。在人类获取信息的感观中,视觉所得到的信息量是最大的。依靠两只眼睛,我们可以感觉到景物的深度,而不是两张图片的简单重叠。这样的二目视觉技术如果能够应用到计

算机视觉中,将给农产品的采摘带来非常大的便利。20世纪 80年代,美国麻省理工学院人工智能实验室的 Marr提出了一种视觉计算理论并应用在双睛匹配上,使两张有视差的平面图产生在深度的立体图形,奠定了双目立体视觉发展理论基础。相比其他类的体视方法,如透镜板三维成像、投影式三维显示、全息照相术等,双目本视直接模拟人类双眼处理景物的方式,可靠简便,在许多领域均极具应用价值,这种技术已经得到初步的应用。在二维成像的视觉技术中,常用的视觉传感器有光电二极管组、光导摄像机和固体半导体摄像机。二维成像的视觉技术在农业采摘机器人中主要用于对作业对象的形状、位置等的识别。在果实采摘机器人中,通过二维成像的视觉技术就可以对看到的图像进行分析处理,由图像轮廓的形状判断出果实所在的位置,同时对其成熟度 (如颜色)进行检测,由此决定是否采摘以及如何对果实进行采摘。Grass等人研究的机器人具有独立的可伸缩性,安装在一个公共平台上,由液压系统支持。每一个机械臂末端安装了一个带广交镜的小摄像机,由于从不同的视点进行获取图像,因此,用立体匹配算法计算水果的具体位置,将 RGB图像阀值化为二值图像,经过平滑处理和边界检测后,估算中心位置,结果表明有 86%的检出率和 5%的误识率。郑小东等以番茄的形心为匹配基元进行双目视觉的研究,通过模板匹配实现番茄图像轮廓信息的补全和修复,然后根据轮廓特征求的形心,当两个摄像机都能拍摄到完整轮廓时,可以确定番茄的空间位置。但该算法对图像的噪声很敏感,影响了精度。在对果树修枝的机器人中,采用视觉传感器对果树的枝干进行二维成像,通过图像识别确认果树各个枝干的生长情况,将其在计算机中与果树修枝的标准要求对比,由此来决定如何修整果树,并通过视觉传感器反馈机器人手臂的动作,从而引导机器人用手部的剪刀将无用的枝条剪掉。

随着科技的发展,人们的要求也越来越高。为了更加全面地掌握作业对象的信息,三维成像的视觉技术也开始进入了人类的研究范围。三维成像视觉技术主要是以二维成像视觉技术为基础,通过用不同角度的视觉传感器对作业对象进行二维成像,数据送入计算机后再进行分析处理,最终合成作业对象在空间的三维图像,其原理与我们人的眼睛类似。机器人根据此图像即可决定对作业对象的不同操作。在将采摘、检测、分级合为一体的农业机器人中,通过三维成像的视觉技术,机器人首先就可以判断并确定果实所在的位置、果实的空间形状,并检测出果实的大小、成熟度等,然后根据分级的标准将果实放入不同的箱内。更加智能的三维成像视觉技术将自动引导机器人在果园内行走,搜索、发现并识别目标,然后对成熟的果实进行采摘、自动分级,最后再进行自动包装。如果机器人的控制软件开发得足够丰富的话,则带有三维成像视觉技术的机器人将是一个全能机器人,它不仅能完成果实的检测、采摘、分级和包装,而且还能对果树进行修整、施肥等,完成对果树的日常维护。随着三维成像视

觉技术的日益成熟,农业机器人将会走向一个更加辉煌的时代。

参考文献：

[1]（日）日本机器人学会编，宗光华，程君实等译. 机器人技术手册[M]. 科学出版社2008-1-1

[2] 李来平. 弧焊机器人视觉技术[J].现代焊接, 2007,8

[3]吕宏明,姬长英. 视觉技术在农业采摘机器人中的应用及发展[J].江西农业学报. 2008，20（2）：79~80.

[4] 鲍官军,荀一,戚利勇,杨庆华,高峰.机器视觉在黄瓜采摘机器人中的应用研究[J].浙江工业大学学

报.2010-2,38(1)