基于机器视觉的工件识别和定位文献综述

基于机器视觉的工件识别和定位文献综述 1. 前言

1.1 工业机器人的现状与发展趋势 机器人作为一种最典型的应用范围广、技术附加值高的数字控制装备，在现代先进生产制造业中发挥的作用越来越重要，机器人技术的发展将会对未来生产和社会发展起到强有力的推动作用。《2l 世纪日本创建机器人社会技术发展战略报告》指出，“机器人技术与信息技术一样，在强化产业竞争力方面是极为重要的战略高技术领域。培育未来机器人产业是支撑 2l 世纪日本产业竞争力的产业战略之一，具有非常重要的意义。” 研发工业机器人的初衷是为了使工人能够从单调重复作业、危险恶劣环境作业中解脱出来，但近些年来，工厂和企业引进工业机器人的主要目的则更多地是为了提高生产效率和保证产品质量。因为机器人的使用寿命很长，大都在 10 年以上，并且可以全天后不间断的保持连续、高效地工作状态，因此被广泛应用于各行各业，主要进行焊接、装配、搬运、加工、喷涂、码垛等复杂作业。伴随着工业机器人研究技术的成熟和现代制造业对自动生产的需要，工业机器人越来越被广泛的应用到现代化的生产中。 现在机器人的价格相比过去已经下降很多，并且以后还会继续下降，但目前全世界范围的劳动力成本都有所上涨，个别国家和地区劳动力成本又很高，这就给工业机器人的需求提供了广阔的市场空间，工业机器人销量的保持着较快速度的增长。工业机器人在生产中主要有机器人工作单元和机器人工作生产线这两种应用方式，并且在国外，机器人工作生产线已经成为工业机器人主要的应用方式。以机器人为核心的自动化生产线适应了现代制造业多品种、少批量的柔性生产发展方向，具有广阔的市场发展前景和强劲生命力，已开发出多种面向汽车、电气机械等行业的自动化成套装备和生产线产品。在发达国家，机器人自动化生产线已经应用到了各行各业，并且已经形成一个庞大的产业链。像日本的 FANUC、MOTOMAN，瑞典的 ABB、德国的 KUKA、意大利的COMAU 等都是国际上知名的被广泛用于自动化生产线的工业机器人。这些产品代表着当今世界工业机器人的最高水平。 我国的工业机器人前期发展比较缓慢。当将被研发列入国家有关计划后，发展速度就明显加快。特别是在每次国家的五年规划和“863”计划的重点支持下，我国机器人技术的研究取得了重大发展。在机器人基础技术和关键技术方面都取得了巨大进展，科技成果已经在实际工作中得到转化。以沈阳新松机器人为代表的国内机器人自主品牌已迅速崛起并逐步缩小与国际品牌的技术差距。 机器人涉及到多学科的交叉融合，涉及到机械、电子、计算机、通讯、控制等多个方面。在现代制造业中，伴随着工业机器人应用范围的扩大和机器人技术的发展，机器人的自动化、智能化和网络化的程度也越来越高，所能实现的功能也越来越多，性能越来越好。机器人技术的内涵已变为“灵活应用机器人技术的、具有实在动作功能的智能化系统。”目前，工业机器人技术正在向智能机器和智能系统的方向发展，其发展趋势主要为：结构的模块化和可重构化；控制技术的开放化、PC 化和网络化；伺服驱动技术的数字化和分散化；多传感器融合技术的实用化；工作环境设计的优化和作业的柔性化以及系统的网络化和智能化等方面。

1.2 机器视觉在工业机器人中的应用

工业机器人是 FMS（柔性加工） 加工单元的主要组成部分，它的灵活性和柔性使其成为自动化物流系统中必不可少的设备，主要用于物料、工件的装卸、分捡和贮运。目前在全世界有数以百万的各种类型的工业机器人应用在机械制造、零件加工和装配及运输等领域，不过这些应用都是基于先精确的示教后运行，而且工作环境都是预先安排好的，所以机器人能成功地抓取物体。但是我们知道很多情况下特别是流水线的场合工件的位姿常常是不固定的，实际目标物体的位姿与理想目标物体位姿总是有偏差的，这种偏差哪怕很小就会导致机器人操作任务的失败。这种由于环境的变化而导致机器人不能很好地完成任务的情况极大地限制了机器人的实际应用范围。随着现代生产制造技术的进步，进一步提高生产线的柔性的要求也日益迫切，对工业机器人系统应用领域、灵活性和自主性要求也越来越高，而机器人具备一定自主性的前提是对自身环境有一定的了解，这迫使人们增加传感器来提高机器人对环境的感知能力，在这方面，视觉、接近觉、触觉和力觉具有重大的作用。其中机器人视觉被认为是机器人最重要的感觉能力，从智能机器人的研究实例中，也能清除地看到这一点。视觉是人类观察世界和认知世界的重要手段。据统计表明，人类从外部世界获得的信息约有 80％的信息是通过视觉或视觉传感器而获取的，这既说明了视觉信息量大，也表明了人类对视觉信息有较高的利用率，同时也体现了人类视觉功能的重要性。机器人视觉是模拟人类视觉在机器人上的体现。采用视觉传感器比采用其他传感器来获取工作环境及工件信息还有以下几方面的优势：首先，机器视觉系统可以快速获取大量信息，而且易于自动处理，也易于同设计信息以及加工控制信息集成，在提高生产的柔性和自动化程度方面有着重要的作用；其次，即使在丢失了绝大部分的信息后，其所提供的关于周围环境的信息仍然比激光雷达与超声波更多更准确；最后，视觉的采样周期比超声波和激光雷达短，这也意味着视觉系统的实时性要好，所以更适合工件的在线检测、识别、定位等。由于具有以上这些优点，基于视觉的智能机器人具有广阔的发展空间。因而使用视觉来提高机器人的智能水平，具有重要的现实意义和研究价值。

1.3 国外基于视觉的工业机器人发展历史

机器人视觉技术是 20 世纪 80 年代发展起来的新兴技术，它的产生和发展是与机器视 觉和机器人技术的发展密不可分的。近年来，机器人视觉技术已成为高技术领域一个重要 的研究课题，它为可行走机器人、装配机器人、抓取机器人以及其他种类机器人解决视觉 问题提供了技术基础。它将使传统的工业生产面貌发生巨大变化，对人类社会的生活和生 产产生深远的影响。目前国内外都在竞相开展有关机器人视觉的基础理论、基本技术以及 应用方面的研究工作。机器视觉是一个相当新且发展十分迅速的研究领域，并成为计算机 科学的重要研究领域之一。机器视觉是在 50 年代从统计模式识别开始的，当时的工作主 要集中在二维图像的分析和识别上，如光学字符识别、工件表面、纤维图片和航空图片的 分析和解释。60 年代，Roberts 通过计算机程序从数字图像中提取出诸如立方体、楔形体、棱柱体等多面体的三维结构，并对物体形状及物体的空间关系进行描述。Roberts的研究工作开创了以理解三维场景为目的的三维机器视觉的研究。Roberts 的创造性研究给人们以极大的启发，到了 70 年代，已经出现了一些视觉应用系统。 1954年，美国的George C.Devol设计并制作了世界上第一台机器人实验装置。60年代机器人产品正式问世，机器人技术开始形成。1961年MIT的Lincoln实验室开始把一个配有接触传感器的遥控操纵器的从动部分与一台计算机连接起来，这样形成的机器人可以凭触觉感知物体的状态。随后，用电视摄像头作为输入，把计算机图像处理和物体识别技术也引入到机器人系统。至此，视觉技术正式引入机器人系统。 70年代中期，麻省理工学院（MIT）人工智能（AI）实验室正式开设“机器视觉”课，同时，MIT的AI实验室吸引了国际上许多知名学者参与机器视觉的理论、算法、系统设计的研究。David Marr教授应邀于1973年到该实验室领导一个以博士生为主体的研究小组。1977年提出了不同于“积木世界”分析方法的计算视觉理论，该理论在80年代成为机器视觉研究领域中的一个十分重要的理论框架，可以说对机器视觉的全球性研究热潮是从20世纪80年代开始的，到了80年代中期，机器视觉获得了蓬勃发展，新概念、新方法、新理论不断涌现，比如，基于感知特征群的物体识别理论框架、主动视觉理论框架、视觉集成理论框架等。 由于国外对视觉技术的研究以及将其和机器人相结合都起步比较早，因此发展的较好，并且已经出现了一些商品化的计算机视觉系统。美国在这方面开展的较早，在20世纪70年代，美国GM公司试制了能识别传送带上机械零件的视觉检查系统。到了80年代，由于微处理器的普及，各行业对视觉系统都表现出了极大的兴趣。80年代初在国际市场上作为商品出售的一个通用机器人系统PUMA/VC-100，具有识别物体，确定物体位置坐标的能力，其所使用的视觉算法允许在材料加工或装配系统中对工件进行检测。视觉系统是通过示教训练得到的。以美国国家科学基金委员会为中心的实用视觉系统的研究飞速发展。在日本的国家产业政策中，也把大力发展实用视觉系统放在了首要地位，进入90年代以后，在电子、汽车、制药、食品等高效、劳动密集的生产线上，工业视觉系统已是不可缺少的一部分，起到了人眼所不能起的作用，有力地保证了产品质量。 斯坦福研究所早期研制的机器人（Shkey）是一种典型的“眼－车”系统，它的主要功能是在视野范围内识别对象，依靠积累的经验求解行动规划，以及运用逻辑推理的问答能力。它可以穿行房间，搜索、识别指定的对象，并进行“智能”的操作。通用汽车公司开发出可以在噪声环境下工作的机器人视觉系统。Adept 公司是全球知名的工业机器人制造公司，它在研制第一代机器人的时候就考虑了加入视觉系统，因此在二十几年的发展过程中，获得了丰富的经验和比较成熟的技术，使得其成为美国最大的工业机器人制造公司。经过多年的发展，美国的智能机器人研究已经走在了世界的前列。日本在借鉴其他国家研究智能机器人方面的经验之后，现在在这方面的研究已经走在了世界的前列。日立中央研究所研制的具有自主控制功能的智能机器人，可以用来完成按图装配产品的作业。德国Siemens 公司在工业图像处理方面拥有超过 20 年的经验积累，SIMATIC VIDEOMAT 是第一个高性能的单色和彩色图像处理系统，并成为SIMATIC自动化系统中极重要的产品。而 1999 年推出的 SIMATIC VS710 是业内第一个智能化的、一体化的、带 PROFIBUS 接口的、分布式的灰度级工业视觉系统，它将图像处理器、CCD、1/O 集成在一个小型机箱内，提供 PROFIBUS 的联网方式（通讯速率达 12Mbps）或集成的 UO 和 RS232 接口。OMS 视觉系统，是由原联邦德国制造生产的商业通用系统，它能够完成物体的识别及特征的检测等任务，操作模式可以是交互式的、主动的以及被动的三种，典型的应用是机械零件的分类、装配以及质量控制等。此外，加拿大、比利时等国，在图像采集、图像处理等方面都具有丰富的经验。

1.4 国外机器人制造商生产的视觉工业机器人产品

伴随着科技的进步和生产技术的发展，基于机器视觉技术的工业机器人的研究越来越得到广泛的关注，并且已经出现一大批科技成果，并在实际生产中得到了很好的应用。 国外在对基于机器视觉的工业机器人的研究上已经做了很多工作，并且已经有很多突破性成果。日本学者 S.Murakami 等研究的弧焊机器人焊缝跟踪控制系统，采用了视觉传感器并用神经网络进行图像处理以获得焊缝的形状数据，能有效地进行焊缝跟踪。 澳大利亚 Western 大学研制的 Australia’s Telerobot，它是一个带有摄像机的具有六个自由度的工业机器人，用户可以控制拍摄静态图像并对图像进行处理，生成空间位置，通过不断拍摄和更新图像得到空间位置后，通过对位置信息的处理实现了基于空间坐标系的积木块的摆设。欧宝、保时捷等知名品牌汽车的生产线，使用了 12 台摄像机进行模式识别和 3D 定位，可以对车身进行高精度的密封生产。瑞士 SIG 公司研发的一种结合视觉系统，适用在高速输送机上取件的并联机器人 XR22，可以通过 2D 定位，迅速将输送机上随机的货物抓取，并在包装盒中按顺序序摆放整齐。图 1.1 为 2007 年日本机器人顶级荣誉获得者——Fanuc 公司的超快双臂工业机器人系统。该系统装配有两个M-430iA 机器人手臂和可视