机器人视觉传感技术及应用doc汇总

机器人视觉传感技术及应用摘要：机器人视觉技术是指机器人工作时通过视觉传感器对环境物体获取视觉信息，让机器人识别物体来进行各种工作。

本文介绍了机器人技术中所常用的视觉传感器的种类、结构。

原理和功能。

介绍了弧焊机器人视觉传感技术较为前沿的一些应用和研究，包括焊缝跟踪和获取熔池信息。

简要说明了视觉技术在农业采摘机器人方面的应用。

关键词：机器人、视觉、弧焊、采摘机器人1．绪论机器人视觉是使机器人具有视觉感知功能的系统。

机器人视觉可以通过视觉传感器获取环境的一维、二维和三维图像，并通过视觉处理器进行分析和解释，进而转换为符号，让机器人能够辨识物体，并确定其位置及各种状态。

机器人视觉视觉侧重于研究以应用为背景的专用视觉系统，只提供对执行某一特定任务相关的景物描述。

机器人视觉硬件主要包括图像获取和视觉处理两部分，而图像获取由照明系统、视觉传感器、模拟－数字转换器和帧存储器等组成。

根据功能不同，机器人视觉可分为视觉检验和视觉引导两种，广泛应用于电子、汽车、机械等工业部门和医学、军事领域。

2. 机器人常用的视觉传感器2.1光电二极管与光电转换器件图2.1是pn型光电二级管的结构。

如果让光子射入半导体的pn结边界耗尽层，就会激励起新的空穴。

利用电场将空穴和电子分离到两侧，就可以的到与光子量成比例的反向电流。

Pn型元件的优点是暗电流小，所以被广泛用于照度计和分广度计等测量装置中。

图2.1 pn型光电二极管结构在高响应的发光二极管中pin结型与雪崩型。

前者在pn结边界插入一个本征半导体i 层取代其耗尽层。

给它施加反向偏压，可以减少结电容，获得高速响应；而后者是在pn结上加100伏左右的反向偏置电压产生强电场，激励载流子加速，与原子碰撞产生电子雪崩现象。

这些高速型二极管的响应速度很快，能用于高速光通信等。

2.2 PSDPSD（Position Sensitive Detector，位置敏感探测器）是测定入射光位置的传感器，由发光二级管、表面电阻膜、电极组成。

入射光产生的光电流通过电阻膜到达元件两端的电极，流入各个电极的电流与电阻值存在对应关系，而电阻值又与光的入射位置及到各个电极距离成比例，因此根据电流值就能检测到光入射的位置。

PSD元件中有一维和二维两种，它们都具有高速性，但要注意入射到开口部分的散射光的影响。

2.3CCD图像传感器电荷耦合器件（CCD：Charge Coupled Device）图像传感器是由多个光电二极管传送储存电荷的装置。

它有多个MOS（Metal Oxide Semiconductor）结构的电极，电荷传送的方式是通过向其中一个电极上施加与众不同的电压，产生所谓的势阱，并顺序变更势阱来实现的。

根据传送电荷需要的脉冲信号的个数，施加电压的方法有两相方式和三相方式。

CCD图像传感器有一维形式的，是将发光二极管和电荷传送部分一维排列制成的。

此外还有二维形式的，它可以代替传统的硒化镉光导摄像管和氧化铅光电摄像管二维传感器。

二维传感器属于水平和垂直传送电荷传感器，传送方式有行间传送、帧—行间传送、帧传送及全帧传送四种方式。

图2.2所示为行间传送方式，采取一维摄像区域（接收部分）与传送区域平行布置结构的方法。

接收部分多使用二极管。

每一帧曝光所储蓄的电荷分别被垂直或水平的传送，然后以图像信号的形式被取出。

在CCD内部电荷传送的效率非常高，因此其具有高的灵敏度。

由于整个传送区域是被遮光的，所以在传送中不会曝光。

图2.2 CCD摄像器件的结构CCD图像传感器把垂直寄存器用作单画面图像的缓存，所以可以将曝光时间和信号传送时间分离开。

也就是说，其具有所有像素能在同一时间曝光的特点。

2.4 CMOS图像传感器CMOS图像传感器是由接收部分（二极管）和放大部分组成的一个个单元，然后按照二维排列。

由于放大器单元之间特性的分散性大，以至于其噪声比较大。

不过，近年来噪声消除电路的性能已经得到改善，故使COMS图像传感器得到迅速普及和应用。

CMOS传感器的优点是耗电低，并利用一般半导体制造技术就可以完成CMOS处理器的设计和加工，这都是有利于图像处理电路和图像传感器的单片化和低成本化。

2.5其他的摄像元件光电子增倍管就是根据二次放电效应增大入射光的元件，因此他可以用来检测微弱光线，如用于夜视系统中等。

在红外线图像方面有波长为2~15μm的中红外和远红外区域的传感器，在红外线检测器中得到较多使用的是HgCdTe和AlGaAs结晶的量子型传感器。

热效应型传感器最近也被实用化了，谈的原理是把装置接收的入射红外线变换为热能，再利用温度检测器将温度升高转变为电信号输出。

热效应型传感器无须冷却器，这是量子型图像传感器所不及的优点。

2.6三维视觉传感器三维视觉传感器分为被动传感器（用摄像机等对目标物体进行摄影，获得图像信号）和主动传感器（借助于传感器向目标投射光图像，再接收返回信号）两大类，如图2.3所示。

图2.3 三维视觉传感器种类3. 弧焊机器人视觉技术 被动传感主动传感单眼摄像从焦点获得形状 从X 射线获得形状 移动视觉 多目摄像双眼视觉 三眼视觉、多眼视觉 多基线立体视觉 基于核几何的手法 主动主体光切断法 多点投光 结构化图像投照度差立体莫尔条纹法飞行时间法 相位检测法 光雷达法三维视觉焊接作为一种机械加工的重要特殊工艺手段，在制造业中具有举足轻重的地位，但是，传统的手工焊接力一法己经不能满足现代高新技术产品制造的要求。

囚此，保证焊接产品质量的稳定性、提高生产效率、减轻工人的劳动强度和改善劳动环境己经成为现代焊接技术极待解决的问题。

随着先进制造技术的发展，实现焊接产品制造的自动化、柔性化与智能化己经成为必然趋势巨。

焊接机器人具有通用性强、工作可靠的优点，但是无法自主获取工件定位信息、焊缝空间位置信息、焊缝熔透信官、，当焊接对象改变时需要重新示教，造成工作效率低下，囚此智能化是焊接机器人的发展趋势。

焊接机器人智能化技术是指在焊接机器人上装配各种传感器，使焊接机器人对外界环境具有一定的感知能力，从而使焊接机器人可以自主地适应环境，并根据环境的变化，对自身下一步操作自主调整。

使用焊接传感器的日的是为了实现焊接过程的自动控制，进而实现焊接的智能化。

焊接传感器根据原理可以分为声学、力学、电弧和光学传感器等。

声学传感器主要用于GMAW 过程熔滴过渡的检测、等离子穿孔焊等。

力学传感器能够反映熔池振荡频率同熔池体积之间的关系，但日前只能用于步进焊接，无法实现连续行走。

电弧传感器由于直接检测电弧自身的特性，不需要外加传感器及附件，应用简单，主要用于焊缝跟踪和熔敷控制。

据统计，焊工进行手弧焊操作时获取的信息有80%来自视觉。

熟练的焊接工人通过观测熔池、工件的接头、电弧的形状和熔滴过渡形式等来预测背而的形状和尺寸参数，通过调节焊接参数实现熔透的控制，保证焊接质量的稳定。

下文介绍了视觉传感技术及其在机器人焊接中的作用。

3.1 弧焊视觉传感技术的优点与传统的传感方法相比，光学传感器具有不与焊接回路接触、不与焊接工件接触、信号的检测操作不影响正常的焊接过程、传感信息丰富、硬件设备简单、易于维护的优点。

电子技术、光学技术、机器视觉和图像处理技术为视觉传感技术提供了软硬件支持，如光学器件和摄像机成本下降、性能提高、可靠性改善，图像处理硬件性能改善和种类的增多为视觉传感器提供了硬件支持，机器视觉、图像处理和软件技术的发展为视觉传感器提供了软件保障，因此光学传感器在焊接过程中具有非常广泛的应用前景。

光学传感器根据光学器件所工作的波段可以分为X射线传感器、视觉传感器和红外传感器三种。

视觉传感器是在光谱的可见光波段内利用CCD器件对焊接区成像，图像中的景物与焊接区各部分一一对应，可以得到焊接过程动态熔池的一维和二维信息、，检测到的熔池信息直接反映了焊接过程熔化金属的动态行为，无需红外成像那样只有经过温度场的标定以后才能确定焊接区各个部分，非常直观。

视觉传感技术根据所获得的信息可以分为一维视觉传感和二维视觉传感;根据是否需要辅助光源分为主动式视觉传感和被动式视觉传感。

主动式视觉传感方法采用激光等辅助光源对焊接区进行照明以减少电弧光对图像质量的影响，提高熔池图像的质量。

由于激光具有单波长、方向性好、相干性好等特点，所以通常采用激光作为辅助光源。

日前应用较多的是通过一定方法产生一条、多条或者网格分布的结构光投射到焊接工件上，根据结构光条纹的变形获取有关的几何形状信息。

主动式视觉传感由于要采用高能量的脉冲光源和特殊电子快门的摄像机，所以设备较多、系统复杂、价格昂贵，从而限制了这种方法在实际中的应用。

被动式视觉传感方法是通过弧光或者自然光等照明获取焊接区图像信息的，被动式视觉传感方式不需要辅助光源只采用普通的CCD摄像系统传感熔池图像，结构简单、价格便宜，更适合在焊接生产实际中使用，因此越来越受到人们的重视。

3.2 焊缝跟踪日前，应用于焊接机器人上的传感方式多种多样，其中视觉传感己成为机器人焊接传感的研究热点。

机器人焊接视觉传感技术包括机器人初始焊位导引、焊缝跟踪、工件接头识别、熔池几何形状实时传感、熔滴过渡形式检测、焊接电弧行为检测等。

焊缝跟踪在焊接领域研究比较多,但是由于焊接机器人需要精确控制焊枪与工件之间的相对轨迹位置关系、运动速度以及焊枪姿态等，因此焊缝跟踪的研究在机器人焊接中更为重要。

根据视觉系统的工作方式不同，焊接机器人焊缝跟踪的视觉传感器分为结构光式、激光扫描式和直接拍摄电弧式。

其中结构光式和激光扫描式都是基于三角测量原理的主动视觉方法，如图3.1、3.2所示分别采用CCD摄像机和激光组成主动式视觉传感器进行焊缝跟踪，有些文献提出了直接拍摄熔池区图像的被动视觉传感方法实现焊缝跟踪，通过CCD摄像机采集焊缝熔池区域的图像信息，然后根据特定的一系列图像处理算法识别焊缝的中心位置，同时，该系统设计了参数自调整模糊控制器对焊缝的跟踪偏差进行调节，通过主控计算机控制焊枪在X、Y方向运动，从而实现了对焊缝跟踪的精确控制。

图3.1视觉传感系统组成图3.2 视觉传感器组成如图3.3所示的事以机器人的GTAW焊接过程作为研究对象，设计的一套以CCD摄像机为传感工具，电弧光和熔池金属辐射或可见光作为光源可同时用于熔池检测与控制和焊枪初始位置导引的焊接机器人视觉传感系统。

机器人视觉传感器固定在具有九自由度的弧焊机器人手臂末端处，与焊枪相固定,如果视觉传感器固定在焊枪上，则可能由于摄像机的体积和重量影响焊枪的可达性与运动的灵活性，另外，当焊枪处于某一姿态时，视觉传感器可能检测不到熔池部分的图像。

如果在机器人第六关节上增加了第七关节以控制摄像机绕焊枪转动，可以实现机器人初始焊位的导引、机器人焊缝跟踪和熔透控制，如图3.4所示。

图3.3机器人视觉传感系统及实物照片图3.4 双目视觉传感器3.3焊接熔池视觉传感熔池形状和尺寸对于焊缝成形具有非常重要的作用，熔池形状和尺寸的传感是焊缝成形控制的基础，焊接过程中的声、光、电、磁、热等信急可以用来传感熔池的形状信息。