机器人学导论

机器人学导论课程论文题目：智能移动物流机器人的机器视觉应用

学院机械与汽车工程学院

专业机械电子工程2班

学生姓名黄世宝

学生学号 201230040082

指导教师邹焱飚

课程编号 130187

课程学分 1.5

前言

机器视觉是一门涉及人工智能、神经生物学、心理物理学、计算机科学、图像处理、模式识别等多个领域的交叉学科它不仅是人眼的延伸，更重要的是具有人脑的一部分功能。近年来，随着计算机技术尤其是多媒体技术和数字图像处理及分析理论的成熟，以及大规模集成电路的迅速发展，机器视觉技术得到了广泛的应用研究，取得了巨大的经济与社会效益。因此，本论文将结合本人目前所参与的项目“基于ROS的智能物流机器人”进行解析机器视觉的应用。该项目中也将借助微软公司的一款产品Kinect作为机器人的三维视觉，并结合Opencv进行搭建移动机器人的视觉处理系统，它包含了机器人导航、路径规划、物体识别、人机交互等。

关键词：机器视觉、机器人视觉应用、Kinect、机器人导航、Opencv

目录

一、基于ROS智能物流机器人简介 (4)

二、机器视觉部分 (4)

1 Kinect深度摄像机 (4)

2 Kinect的组成及其各部分的工作原理 (5)

三、智能物流机器人里的应用与工作流程 (6)

1 SLAM (6)

2 智能人机交互 (7)

四、结论 (8)

参考文献 (9)

一、基于ROS智能物流机器人简介

本项目智能物流机器人所有软件层次的应用开发均在基于Ubuntu 12.04 的ROS（Groovy版本）上实现，硬件搭建使用5+1轴机械臂、Kinect、Turtlebot 移动平台，并配置激光雷达、超声波、碰撞传感器、罗盘、陀螺仪、GPS等大量的传感器以及RDIF阅读器。

图1 智能物流机器人三维模型

二、机器视觉部分

1 Kinect深度摄像机

Kinect是美国微软公司于2010年11月4日推出的Xbox 360游戏机体感周边外设的正式名称，起初名为Natal，意味初生。它实际上是一种3D体感摄影机，利用即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能让玩家摆脱传统游戏手柄的束缚，通过自己的肢体控制游戏，并且实现与互联网玩家互动，分享图片、影音信息。Kinect是微软最新的畅销产品，它是吉尼斯世界记录中销售速度最快的消费电子产品。

2 Kinect的组成及其各部分的工作原理

红外线发射器和红外线/VGA摄像头组（分布图如图2所示）：红外线发射器和红外线/VGA摄像头组。红外线发射器发出一道“激光”覆盖整个Kinect的可视范围，摄像头组接收反射光线来识别玩家。红外摄像头识别图像的是一个“深度场”（Depth Field），其中每一像素的颜色代表了那一点物体到摄像头的距离。比如离摄像头近的身体呈亮红色、绿色等，而离摄像头远的物体则呈暗灰色。

它利用了一种光编码（light coding）技术。不同于传统的ToF或者结构光测量技术，light coding使用的是连续的照明（而非脉冲），也不需要特制的感光芯片，而只需要普通的CMOS感光芯片，这让方案的成本大大降低。Light coding，顾名思义就是用光源照明给需要测量的空间编上码，说到底还是结构光技术。但与传统的结构光方法不同的是，他的光源打出去的并不是一副周期性变化的二维的图像编码，而是一个具有三维纵深的“体编码”。这种光源叫做激光散斑（laser speckle），是当激光照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点。这些散斑具有高度的随机性，而且会随着距离的不同变换图案。也就是说空间中任意两处的散斑图案都是不同的。只要在空间中打上这样的结构光，整个空间就都被做了标记，把一个物体放进这个空间，只要看看物体上面的散斑图案，就可以知道这个物体在什么位置了。当然，在这之前要把整个空间的散斑图案都记录下来，所以要先做一次光源的标定。标定的方法是这样的：每隔一段距离，取一个参考平面，把参考平面上的散斑图案记录下来。假设用户活动空间是距离电视机1米到4米的范围，每隔10cm取一个参考平面，那么标定下来我们就已经保存了30幅散斑图像。需要进行测量的时候，拍摄一副待测场景的散斑图像，将这幅图像和我们保存下来的30幅参考图像依次做互相关运算，这样我们会得到30幅相关度图像，而空间中有物体存在的位置，在相关度图像上就会显示出峰值。把这些峰值一层层叠在一起，再经过一些插值，就会得到整个场景的三维形状了。如果你玩过pin point impression 3D针模玩具可能更容易理解这一技术——将你的手（或者脸，如果你愿意的话）按压在这种玩具上，就可以产生你身体某一部位的简单3D模型（如图3所示）。

图2 Kinect外部结构图图3 pin point impression 3D针模玩具

麦克风：Kinect配备的4个麦克风中的3个，它的麦克风是朝下设置，右侧3个，左侧一个。至于为什么是朝下，是因为微软认为最佳的声音收集方向就是朝下。而为了正确的识别语音指令，Kinect必需对房间中的音频进行校准，如果你改变了房间内的家居摆放，就要进行重新校准。

三、智能物流机器人里的应用与工作流程

1 SLAM

SLAM是Simultaneous Localization And Mapping的缩写，意为同时定位与地图创建，也称为CML（Concurrent Map and Localization）问题，是移动机器人领域的一个热点问题。移动机器人的定位问题和移动机器人创建地图问题以前都是分别研究的，都有相对成熟的算法。在既没有精确的地图也无法准确定位的情况下,两个问题都无法得到很好的解决。近年来,一些学者提出了同时来解决这两个问题的可能性,并做了许多初步的工作。最近几年随着各相关领域的发展,特别是机器视觉的引入,SLAM问题得到了更多的关注,取得了很多突破。

这里引入一个实例来说明移动机器人中Kinect是如何构建三维地图及定位的：当机器人经过一场景时，比如说房间里面的拐角，Kinect 会侦测这个拐角里面的墙壁、道路、障碍，软件将Kinect 所看到的东西统统绘制成三维图像，同时通过传感器，软件还会计算机器人目前的位置，然后计算出路径，并储存起来。当机器人再次经过这个场景时，Kinect 再次绘制了三维图像，软件就把这次的得到的三维图像和之前得到的三维图像对比，看是否相同，如果相同就按照之前的路径去走，如果不同就重新计算新的路径，也就是说如果下次机器人经过这个拐角，它就能够轻松绕过不知从那里冒出来的箱子。（如图4和图5所示）

图4 SLAM 图5 SLAM

2 智能人机交互

人脸识别：利用Face Tracking SDK来追踪面部的详细信息，它可以识别并追踪人脸的100个特征，可用来做机器人主人的识别；（如图6）

人体姿态识别：用骨骼静态姿态识别，通过固定函数判断和模板匹配方法对每一帧的骨骼点静态姿势进行判断，比如立正、手臂侧平举等；（如图7）

手势识别：手势识别是连续的动作，因此要对连续帧的骨骼数据处理，结合算法判断和模板匹配写出一些手势的识别；

语音识别：通过麦克风阵列对声源进行标定、识别；

图6 Kinect人脸识别图7 Kinect骨骼识别

四、结论

机器视觉作为一个相当新且发展迅速的领域正广泛的应用于各个方面，本项目物流机器人也是基于Kinect深度摄像机来研究机器人的视觉系统，综合利用了OpenCV与OpenNI的库函数，完成了在普通场景下深度图像的获取及显示的目的。Kinect获得的图像深度信息比较饱满，较适合之后的一系列图像信息的读取及处理，例如在移动机器人三维环境重建中，深度信息可以很好的为三维重建的工作利用，在移动机器人自动避障时，深度图像的信息也可以让机器人轻易简单的识别出道路及障碍物的区别，更好的躲避障碍物。所以，深度图像的获取为下面基于图像控制机器人、判断环境信息等的系列工作奠定了良好的基础。

参考文献

[1] 周民刚.基于计算机视觉的人体跌倒检测算法研究[D].山东大学，2013

[2] 王隽永.结构业环境下的移动机器人的视觉SLAM研究[D].浙江大学，2007

[3] 刘策.基于Kinect深度摄像机的机器人视觉系统研究[D].河北工业大学，2012

[4] 何涛.浅谈机器视觉的原理及应用[J].技术与市场，2011，18（5）：007

[5] 杨海涛.机器视觉检测算法研究及实现[D].吉林大学，2004