基于Kinect的机器人人机交互系统及方法与制作流程
基于Kinect的人体姿态识别与跟踪系统设计
基于Kinect的人体姿态识别与跟踪系统设计人体姿态识别与跟踪系统在计算机视觉领域具有广泛的应用前景。
基于Kinect的人体姿态识别与跟踪系统设计是一项复杂而有挑战性的任务。
本文将讨论该系统的设计原理、关键技术和实现方法。
首先，基于Kinect的人体姿态识别与跟踪系统的设计是基于深度图像和彩色图像的融合。
Kinect传感器能够同时获取人体的深度信息和彩色图像，这为人体姿态的识别和跟踪提供了更加可靠的数据来源。
其次，关键技术之一是深度图像的处理和分析。
深度图像是基于红外线技术获取的，能够准确地测量物体和人体的距离信息。
通过对深度图像进行处理和分析，可以得到人体的关节位置和姿态信息。
常用的技术包括深度图像的滤波、分割、几何特征提取和关节位置计算等。
另一个关键技术是彩色图像的处理和分析。
彩色图像可以提供更多的纹理和细节信息，对于人体姿态的识别和跟踪也起到重要的作用。
通过对彩色图像进行处理和分析，可以得到人体的皮肤检测、形状分析、纹理特征提取等信息，以辅助人体姿态的识别和跟踪。
在人体姿态的识别和跟踪中，关节的检测和定位是一个关键的步骤。
Kinect的传感器可以获取人体的关节位置信息，但由于深度图像的噪声和模糊，导致关节位置的准确度有限。
因此，需要采用一些算法和方法来提高关节位置的精度。
例如，通过滤波算法可以降低噪声，而通过模型拟合算法可以提高关节的准确度。
此外，为了实现实时的人体姿态识别和跟踪，需要考虑系统的性能和效率。
Kinect的传感器可以在较快的频率下获取图像和深度信息，但在实际应用中，需要通过优化算法和并行计算等技术来提高系统的运行速度和效率。
例如，可以通过多线程编程和GPU加速等技术来实现并行计算，从而提高系统的实时性。
最后，基于Kinect的人体姿态识别与跟踪系统的设计还需要考虑用户交互的问题。
传统的人机交互方式主要通过键盘、鼠标等输入设备实现，而基于Kinect的人体姿态识别与跟踪系统可以通过识别和跟踪用户的动作和姿态来实现更自然、直观的交互方式。
基于Kinect体感控制的机器人全动作跟随系统设计
• 131•我国机器人产业正处于蓬勃发展的状态，中国已成为机器人应用的最大市场。
以机械臂为代表的工业机器人已大量应用于生产一线。
随着机器人应用不断深入，具有良好交互性的仿人机器人需求前景广阔。
本项目采用Kinect体感器作为图像采集单元，利用体感技术实现人外形轮廓建模及肢体空间坐标定位，实现人体的全动作采集建模。
采用17自由度仿人机器人Roboy为执行平台，接受控制指令实现人体动作跟随。
本方案可以使机器人能够精准的进行人体动作的同步跟随，克服了遥控器、按钮、操作手柄等繁杂的控制系统，实现更好的人机交互性能。
1 引言本项目主要研究利用体感技术实现人的肢体动作精准控制一个17自由度的机器人，以ROBY人形机器人为载体，用Kinect体感器捕捉人的肢体动作，运行上位机，将人的动作解析，通过无线串口发送给机器人，单片机接收到信号并直接控制机器人，使机器人对人体工作进行精准的同步跟随。
通过体感控制机器人，解决了传统机器人机械性的按程序执行动作和克服了遥控器、按钮、操作手柄等繁杂的控制系统，可以大大的提高机器人动作的精准度和执行任务时的灵活度。
2 Kinect数据采集及机器人控制简述2.1 Kinect体感器工作原理Kinect其实是一种3D体感传感器，它兼有动态捕捉，影像识别，人脸识别，语音识别，人机互动等功能。
用户可以做出体感动作通过Kinect对游戏中的角色进行实时的控制，实现较高层次的人机互动，同时还可以通过互联网分享信息和图片给其他玩家等。
其中，摄像头起到了很大的作用，它负责捕捉人肢体的动作，并转换成相应的标数据，然后把这些数据发送到电脑。
工程师就可以通过这些数据去设计程序，识别、分析这些动作，从而达到想要的目的。
Kinect摄像头一秒可以捕捉30次人体的动作。
PS1080芯片是Kinect的核心部件，它由PrimeSense公司所提供，通过它就可以实现对红外光源投射激光散斑进行控制和通过对图像编码并采集编码后的红外光谱计算得到场景深度信息，同时也可以对深度数据进行解析得到用户关节点信息。
基于Kinect技术的机器人控制器
前期工作
• 了解Kinect技术的原理。
• 具备一定的C语言编程能力，学习单片机的功能。
• 讨论本项目的创新点及其实现价值与意义，同时 查阅了关于机器人感知周边环境技术的论文 《室 内移动机器人导航技术研究》《基于立体视觉的 移动机器人楼梯识别》《基于立体视觉的移动机 器人目标定位》等等。
项目经费：
传统机械按键结构层图：
按键
PCBA
开关键
传统机械按键设计要点：
1.合理的选择按键的类型，尽量选择 平头类的按键，以防按键下陷。
2.开关按键和塑胶按键设计间隙建议 留0.05~0.1mm，以防按键死键。 3.要考虑成型工艺，合理计算累积公 差，以防按键手感不良。
项目核心技术：
CMOS红外传感器：它 是Kinect骨架追踪处理 流程的核心，主要作用 于视觉采集模块。 AVR单片机：控制电路 以单片机为核心，能够 对采集到的数字信号进 行处理和判断，并且控 制机器人的行走状态。
材料费 2800元
资料费 300元
5
பைடு நூலகம்
基于Kinect技术的 机器人控制器的设计与研究
本课题采用Kinect技术中的CMOS红外传 感器来感应并采集周边环境的信息；避免 了光照条件的影响，使机器人能自主地解 决行走、搬运、灾难救援等问题。
1
系统结构：
本项目是由视觉采集模块 和分析控制模块组成的
2
1.什么是传统机械按键设计？
传统的机械按键设计是需要手动按压按键触动PCBA上的开关按键来实现功 能的一种设计方式。
基于Kinect骨骼信息的机械臂体感交互系统的设计与实现
基于Kinect骨骼信息的机械臂体感交互系统的设计与实现林海波;梅为林;张毅;罗元【摘要】In the paper we present a robot arm somatosensory interaction manner based on the human skeletal information. First, we use Kinect sensor to capture image depth of field data, and deal with the data by skeletal tracking technology to match various parts of the human body followed by further establishing the 3D coordinates of every joint of human body. Then, we utilise the 3D coordinates to calculate the rotation angle of human waist, shoulder, elbow and wrist joints. These four joints of human body are in one-to-one correspondence with the four joints of 4-DOF robot arm. Finally, we transform the calculation results to control commands and sent them to controller of the robot arm by serial ports to realise somatosensory interaction. Experimental results show that the method can effectively control the robot arm to rotate and grab objects.%提出一种基于人体骨骼信息的机械臂体感交互方式.首先利用Kinect传感器获取图像景深数据,并通过骨骼追踪技术处理景深数据,以匹配人体的各个部分,进而建立人体各个关节的3D坐标.然后利用3D坐标值计算出入体腰、肩、肘和腕4个关节的转动角度,人体的这4个关节与四自由度机械臂的4个关节一一对应.最后将计算结果转换成控制指令通过串口发送给机械臂的控制器,实现体感交互.实验表明,该方法能够有效地控制机械臂的转动以及抓取物件.【期刊名称】《计算机应用与软件》【年(卷),期】2013(030)002【总页数】5页(P157-160,176)【关键词】Kinect;骨骼信息;机械臂【作者】林海波;梅为林;张毅;罗元【作者单位】重庆邮电大学国家信息无障碍工程研发中心智能系统及机器人研究所重庆400065【正文语种】中文【中图分类】TP3190 引言为了给老年人和残障人士提供性能优越的操作工具，帮助他们提高行动自由度，许多国家对移动机器人进行了研究[1]。
基于Kinect的人机交互系统设计毕业设计论文
毕业设计论文基于Kinect的人机交互系统设计摘要随着技术的不断进步，人机交互的方式也越来越先进，通过肢体动作来操作计算机和游戏机已经成为现实。
自从微软推出Kinect体感外设以来，自然的人机交互成为当前的研究热点，通过Kinect外设，可以解除人们受键盘、鼠标等传统交互方式的束缚，具有重要的意义。
本论文介绍的就是基于Kinect的人机交互的程序设计。
本设计通过Kinect的骨骼跟踪接口，自定义动作，如手臂平伸，手臂前伸，手臂上举等，触发事件后映射为键盘事件，达到操作应用程序的目的。
使用者可以选择被控制的对象程序。
为了防止他人干扰操作，本程序默认只追踪离Kinect传感器最近的人。
本设计的程序可以让使用者通过手臂动作操作俄罗斯方块、播放PPT、控制音乐播放器、控制视频播放器。
未来还可以扩展其他基于键盘控制的程序的操作。
关键词：Kinect 人机交互骨骼跟踪The Design of Man-machine Interaction SystemBased on KinectABSTRACTAs technology continues to progress, human-machine interaction is more and more advanced, and body movements to operate computers and game consoles has become a reality.This paper will introduce a program of Kinect-based human-machine interaction design.Since Microsoft launched Kinect somatosensory peripheral,natural human-computer interaction has become a research hotspot.People can lift their shackles of traditional interact such as keyboard, mouse, and others through the Kinect peripheral, and this will be a important significance.This design achieve the purpose of operating applications through Kinect's skeleton tracking interface,such as stretch your arms,reach your arms,and uplift your arms.custom actions and an triggered event which is mapped to keyboard event.The user can select the object of control program.In order to prevent the interference of other people, this design procedures only tracks the people who is nearest to the Kinect sensor.The program of this design allows the user to operate Tetris, Powerpoint,music and video player.It can be extended to other keyboard-based control programs operating in the future.Key Words: Kinect Human-machine interaction Skeleton tracking目录第一章引言 (1)1.1 选题理由 (1)1.2 自然人机交互技术的发展 (1)1.3 国内外发展情况 (1)1.4 你就是控制器 (2)1.5 Kinect的应用 (2)1.6 需求分析 (3)第二章认识Kinect (4)2.1 两款Kinect对比 (4)2.2 Kinect的硬件组成 (5)2.2.1 Kinect的“心脏”——PS1080 SoC (6)2.2.2 Kinect的“三只眼”——投影仪和两个摄像头 (8)2.2.3 Kinect的“四只耳朵”——麦克风阵列 (9)2.3 Kinect相关的技术规格 (10)2.4 Kinect工作原理 (11)2.4.1 Kinect for Xbox360的产品设计 (11)2.4.2基于“管道”的系统架构 (12)第三章总体设计 (14)3.1 软件概述 (14)3.2 软件用户群 (14)3.3 软件功能 (14)3.4 运行环境 (14)3.5 开发环境 (15)3.6 软件框架图 (15)3.7 软件各模块设计 (15)3.7.1 初始化窗口 (15)3.7.2 注册Kinect变化事件 (15)3.7.3 骨骼事件处理 (16)第四章详细设计与算法分析 (17)4.1 初始化相关模块 (17)4.1.1 定义变量 (17)4.1.2 Window_Loaded窗口载入事件 (17)4.2 注册Kinect变化事件 (17)4.2.1 事件方法主体 (17)4.2.2 事件方法中引用的方法 (17)4.3 骨骼事件处理 (18)4.3.1 隐藏骨骼跟踪提示标签 (18)4.3.2 判断窗口是否关闭中 (18)4.3.3 获取最近的骨骼跟踪跟踪实例 (18)4.3.4 判断获取的距离Kinect最近的骨骼跟踪实例 (18)4.3.5 提示用户可以进行应用程序控制 (18)4.3.6 判断Kinect的控制对象 (19)4.3.7 定义判断骨骼跟踪事件的阈值 (19)4.3.8 控制俄罗斯方块的方法 (19)4.3.9 控制PPT播放的方法 (22)4.3.10 控制音乐播放器的方法 (24)4.3.11 控制视频播放器的方法 (27)4.3.12 模拟键盘输入工具类 (29)4.3.13 窗口关闭方法 (30)第五章软件测试 (31)5.1 Kinect控制俄罗斯方块的测试 (31)5.1.1 骨骼跟踪图 (31)5.1.2 运行结果 (31)5.2 Kinect控制PPT播放的测试 (33)5.2.1 骨骼跟踪图 (33)5.2.2 运行结果 (33)5.3 Kinect控制音乐播放器的测试 (34)5.3.1 骨骼跟踪图 (34)5.3.2 运行结果 (34)5.4 Kinect控制视频播放器的测试 (35)5.4.1 骨骼跟踪图 (35)5.4.2 运行结果 (35)第六章总结与展望 (37)6.1 总结 (37)6.2 展望 (37)参考文献 (40)附录 (41)致谢 (48)第一章引言1.1 选题理由人机交互技术是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。
人机交互机器人技术的设计与开发教程
人机交互机器人技术的设计与开发教程在当代科技迅速发展的时代，人机交互机器人技术正逐渐渗透到我们的日常生活中，为我们的工作和生活带来了诸多便利。
设计和开发人机交互机器人的过程涉及到多方面的技术与知识，本文将介绍人机交互机器人技术的设计与开发教程，帮助读者了解其中的原理和方法。
一、人机交互机器人技术概述人机交互机器人技术是指机器人与人类之间进行信息交流、理解和处理的技术。
它涉及到多个领域的知识与技术，包括机器视觉、自然语言处理、语音识别与合成、运动控制等等。
人机交互机器人的设计与开发需要综合运用这些技术，以实现智能化的机器人系统。
二、人机交互机器人技术的设计与开发流程1. 确定需求和目标：在设计和开发人机交互机器人之前，首先需要明确需求和目标，即机器人需要完成的任务和提供的服务。
例如，可以设计一个语音助手机器人，用于语音控制家电设备。
根据不同的需求和目标，选择适合的技术和方法。
2. 硬件选型和搭建：根据设计需求和目标，选择合适的硬件平台和模块来构建机器人系统。
一般来说，机器人的基本组成部分包括主机、传感器、执行器等。
根据实际情况，可以选择使用单板计算机、摄像头、麦克风等硬件设备。
3. 编程和算法设计：机器人的人机交互功能需要编程和算法的支持。
根据具体的硬件平台和需求，选择适合的编程语言和开发环境进行编程开发。
常用的编程语言包括Python、C++等。
根据任务需求，设计相应的算法，如语音识别算法、图像处理算法等。
4. 传感器数据采集与处理：人机交互机器人需要通过传感器获取环境信息，对数据进行采集和处理。
根据机器人的任务，可以选择适合的传感器，如摄像头、麦克风等。
通过编程实现传感器数据的采集与处理，获取所需的信息。
5. 人机交互界面设计：机器人与人类之间的信息交流需要一个合适的界面。
根据具体需求，设计用户友好的交互界面，如语音识别界面、图形界面等。
通过合适的界面，让用户能够方便地与机器人进行交互。
6. 系统测试与优化：机器人的设计与开发完成后，进行系统测试与优化是必不可少的一步。
(完整版)人机交互显示KINECT
Kinect的构造
Kinect的关键部位及组成
1.麦克风阵列：声音从4个麦克风采集，同时通过，过滤背景噪 声，可以定位声源 2.红外投影机：主动投射近红外光谱，照射到粗糙物体，或是 穿透毛玻璃后，光谱发生扭曲，会形成随机的反射斑点（称为 散斑），进而能被红外摄像头读取。 3.红外摄像头：分析红外光谱，创建可视范围的人体，物体的 深度图像 4.仰角控制马达：可编程控制仰角的马达，用于获得最佳视角 5.彩色摄像头：用于拍摄视角范围内的彩色视频图像
上面密密麻麻的为类似 大头针一样的东西，不
过两端都是圆头的
图：pin point impression
Light Cording技术
利用光源照明给需要的空间编上码
其光源称为“激光散斑”——激光照射到粗糙物体或毛 玻璃后随机形成的衍射斑点，具有高度的随机性，而且 会随距离的不同而变换图案。只要在空间中打上这样结 构的光，整个空间就全部被标记
深度图像的获取
Kinect系统有点不同。 而不 是投射可见光条纹，Kinect 的IR投影仪发出红外光束的 图案（通过PrimeSense称为 IR编码图像），其在物体上 反射，并由标准CMOS图像 传感器捕获。
Figure Kinnect IR coding image (detail)
深度图像的获取
Figure.Drawing robot in action
参考资料
Kinect的开发与实战.余涛 Human–Computer Interaction. Alan Dix Beginning-Kinect-Programming-with-the-Microsoft-Kinect-sdk 近红外光谱分析技术在奶制品检测中的应用.彭攀 Kinect Depth Sensor Evaluation for Computer Vision Applications Kinect for Windows SDK Programming Guide
基于kinect的自然人机交互系统的设计与实现
基于kinect的自然人机交互系统的设计与实
现
简介：
本文介绍了一种基于Kinect的自然人机交互系统的设计和实现。
该系统使用Kinect作为输入设备，通过识别人类的姿势和动作，实现了自然的人机交互。
该系统可以应用于游戏、教育、医疗等领域，可以提高用户的交互体验。
设计：
该系统的设计主要包括三个部分：图像处理、人体姿态识别和人机交互控制。
1. 图像处理
该部分的主要任务是对图像进行预处理，以提高人体姿态识别的准确性。
常用的图像处理技术包括去噪、平滑、增强等。
2. 人体姿态识别
该部分的主要任务是通过Kinect获取人体所处的空间位置和姿态信息，并将其转换为计算机可以识别的数据。
常用的人体姿态识别算法包括SVM、Adaboost、神经网络等。
3. 人机交互控制
该部分的主要任务是将识别到的姿态和动作转换为计算机命令，以实现自然的人机交互。
常用的人机交互控制技术包括手势识别、语音识别、头部追踪等。
实现：
该系统的实现主要包括以下步骤：
1. 使用Kinect获取人体姿态信息，并进行图像预处理。
2. 使用OpenNI、NITE等软件库，对人体姿态进行识别和分析。
3. 将识别得到的姿态转换为命令，并发送给计算机。
4. 根据命令，控制计算机实现相应的功能。
结论：
基于Kinect的自然人机交互系统可以实现自然的人机交互，提
高用户的交互体验，具有广泛的应用前景。
同时，该系统还存在一些
问题，如姿态识别的准确性、响应时间等，需要进一步的研究和改进。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
图片简介:本技术涉及一种基于Kinect的机器人人机交互系统及方法，系统包括Kinect信息采集模块、人机交互模块、姿态控制模块、语音控制模块、Kinect三维传感器、机器人控制箱和机器人；首先通过Kinect信息采集模块，将图像数据流和音频数据流传递给人机交互模块，通过人机交互模块的语音/文字提示引导用户选择不同的控制模式，进而调用不同的控制模块，实现对机器人的操控。
本技术综合体感、声音、手势多种交互方式，可实现对机器人的运动控制，代替人工在非结构化场景中进行作业，提高机器人的作业能力和智能水平。
技术要求1.一种基于Kinect的机器人人机交互系统，其特征在于，包括Kinect信息采集模块、人机交互模块、姿态控制模块、语音控制模块、Kinect三维传感器、机器人控制箱和机器人；Kinect信息采集模块利用Kinect三维传感器，获取图像数据流及语音数据流；通过人机交互模块选择不同的控制模式，调用姿态控制模块或语音控制模块；姿态控制模块基于图像数据，根据人体姿态控制机器人机械臂运动；语音控制模块基于语音数据，实现语音指令的识别，控制机器人进行相应动作。
2.根据权利要求1所述的基于Kinect的机器人人机交互系统，其特征在于，人机交互模块提示用户选择控制模式，包括语音提示和文字提示。
3.一种基于权利要求1所述基于Kinect的机器人人机交互系统的人机交互方法，其特征在于，包括以下步骤：利用Kinect三维传感器，获取图像数据流及语音数据流；基于图像数据，根据人体姿态控制机器人机械臂运动；基于语音数据处理结果，实现语音指令的识别，控制机器人进行相应动作；通过人机交互模块的语音/文字提示选择不同的控制模式，调用不同的控制模块，实现人机交互。
4.根据权利要求3所述的基于Kinect的机器人人机交互方法，其特征在于，利用Kinect三维传感器，获取多种图像数据信息流及语音信息流，具体为：步骤1-1、利用Kinect三维传感器的深度摄像头直接获取深度图像，利用Kinect三维传感器的麦克风阵列对语音进行捕获；步骤1-2、将图像数据流和音频数据流放入缓冲区。
5.根据权利要求3所述的基于Kinect的机器人人机交互方法，其特征在于，基于图像数据，根据人体姿态控制机器人机械臂运动，具体为：步骤2-1、对图像数据流进行处理，通过Kinect深度图像处理方法获取人体索引信息，提取操作者手势状态信息和关节点信息；步骤2-2、建立人体姿态——机器人映射关系模型；步骤2-3、建立关节角度值的滤波算法，使用滤波算法得到的角度代替关节角度；步骤2-4、将步骤2-3得到的目标关节角度通过TCP/IP协议发送给机器人控制箱，同时机器人控制箱返回机器人的机器人关节状态信息、电气参数信息，所述机器人关节状态信息包括机器人各关节的实时角度、角速度，电气参数信息包括机器人各关节的实时电流、温度；步骤2-5、机器人控制箱解算收到的控制指令，实现机器人的跟随运动。
6.根据权利要求3所述的基于Kinect的机器人人机交互方法，其特征在于，步骤2-2中建立人体姿态——机器人映射关系模型，具体为：基于UR机器人建立映射关系模型，其中UR机器人的关节包括机座、肩膀、手肘、手腕1、手腕2和手腕3；选取步骤2-1提取的关节点信息中的左肩、右肩、右肘、右腕、右指尖以及左右手的手势；通过所选的5个关节点求解得到人体的腰关节转动角度、右肩关节转动角度、右肘关节转动角度、右腕关节转动角度1、右腕关节转动角度2；表1为映射关系；表1：具体映射关系设选取关节由左肩关节J1(x1,y1,z1)、右肩关节J2(x2,y2,z2)、右肘关节J3(x3,y3,z3)、右腕关节J4(x4,y4,z4)、右指尖关节J5(x5,y5,z5)表示；(1)腰关节转动角度(θ1)，具体如下：腰关节转动角度(θ1)通过左肩关节J1(x1,y1,z1)和右肩关节J2(x2,y2,z2)的坐标关系求得；将两关节点所成的直线J1J2投影至xOz平面得到直线l1,得到l1与x轴的夹角θ1,θ1即为腰关节转动角度：其中x2≠x1 (1)(2)右肩关节转动角度(θ2)，具体如下：右肩关节转动角度(θ2)通过右肩关节J2(x2,y2,z2)和右肘关节J3(x3,y3,z3)的坐标关系求得；将直线J2J3投影至xOy平面得到直线l2,直线l2的斜率为k2,l2与x轴的夹角θ2即为肩关节转动角度：其中x3≠x2 (2)(3)右肘关节转动角度(θ3)，具体如下：求解右肘关节转动角度(θ3)，首先将直线J3J4投影至xOy平面得到直线l3,直线l3的斜率为k3,直线l3与直线l2的夹角θ3即为肘关节转动角度：(4)右腕关节转动角度1、2(θ4,θ5)，具体如下：求解右腕关节转动角度1、2(θ4,θ5)，直线J3J4与直线J4J5的夹角α在xOy平面的投影即为θ4,夹角α在xOz平面的投影即为θ5；θ4的求解在xOy平面中，直线J3J4在xOy平面中的投影为l3,直线l3的斜率为k3,直线J4J5在xOy平面中的投影为l4,直线l4的斜率为k4,直线l4与直线l3的夹角θ4即为腕关节转动角度1；θ5的求解在xOz平面中，直线J3J4在xOz平面中的投影为l'3,直线l'3的斜率为k'3,直线J4J5在xOz平面中的投影为l'4,直线l'4的斜率为k'4,直线l'4与直线l'3的夹角θ5即为腕关节转动角度2：(5)手势信息基于右手手势信息控制末端执行器，右手张开控制末端手抓张开，右手闭合控制末端手抓闭合；左手手势信息系统运行/停止，左手张开控制系统运行，左手闭合控制系统暂停运行。
7.根据权利要求6所述的基于Kinect的机器人人机交互方法，其特征在于，步骤2-3，建立关节角度值的滤波算法，使用滤波算法得到角度代替步骤2-2中得到的关节角度；具体包括以下步骤：给步骤2-2中得到的关节角度建立一个固定长度的关节角度队列；在队列中把当前时刻的关节角度值与前一时刻的值相减；如果差值小于设定的阈值，则该时刻的关节角度值进入队列尾，同时队列头的数据移出队列；否则，该时刻的关节角度值用上一时刻的值代替，而后进入队列尾，队列头的数据同时移出队列；队列中的关节角度按进入队列时刻的先后分配权重，先进入队列的角度值权重小，后进入队列的角度权重大，根据权重求出该关节的角度平均值Y：其中，Xn是当前时刻的角度值，P1是Xn的权重，Xn-1是前一时刻的角度值，P2是Xn-1的权重，Xn-2是前两个时刻的角度值，P3是Xn-2的权重，Xn-3是前三个时刻的角度值，P4是Xn-3的权重。
8.根据权利要求7所述的基于Kinect的机器人人机交互方法，其特征在于，基于语音数据处理结果，实现语音指令的识别，控制机器人进行相应动作，具体为：步骤3-1、使用Kinect for Windows SDK中的Kinect Audio Source对象从Kinect的麦克风阵列中提取通过降噪、自动增益控制、回声抑制方式处理的音频数据流，然后设定一个存有控制命令对象，该对象由控制命令的语句构成，通过在对象中查找的结果识别出用户的命令；步骤3-2、对步骤3-1中的控制命令语句设置对应的机械臂控制指令和对应的人机交互操作指令；步骤3-3、若步骤3-1中解算出的命令与控制命令匹配成功则将对应的操作指令发送给控制程序并实现相应功能；若未匹配成功则结束本次模块的运行。
9.根据权利要求3所述的基于Kinect的机器人人机交互方法，其特征在于，通过人机交互模块的语音/文字提示选择不同的控制模式，调用不同的控制模块，实现人机交互，具体为：步骤4-1、设计整体的人机交互系统界面，包括姿态/语音模式选择、语音/文字提示、机器人实时关节姿态显示、Kinect人体实时关节姿态显示、机器人实时电气参数监控界面；步骤4-2、通过调用语音控制模块，识别用户的模式控制需求并进入相应模式进行机器人控制，同时分别在三个窗口可视化机器人关节状态信息、电气参数信息以及人体关节点信息。
技术说明书基于Kinect的机器人人机交互系统及方法技术领域本技术属于机器人技术领域，具体涉及一种基于Kinect的机器人人机交互系统及方法。
背景技术随着人与计算机的交互越来越频繁，语音识别、手势交互、虚拟现实、体感控制等多种新型人机交互技术取得突破，人机交互方式越来越自然、直观和简单。
Kinect是一种体感设备，基于深度场景分割和骨骼拟合技术，实现对人体的检测追踪。
其非接触式的体感操作方式，在虚拟现实、医学、机器人等众多领域掀起了人机交互研究的热潮，例如：3D虚拟试衣镜、浏览医疗图像的Osirix PACS系统等。
随着机器人技术的快速发展，机器人在人们日常生活中发挥着越来越重要的作用，广泛地应用于国防、工业、医疗等领域，对于提高劳动效率，减轻工人劳动强度具有重要意义。
但在面对救灾、危险品处理、深海勘探，空间实验等一些复杂且危险的作业环境，传统的机器人控制方式大多通过设定程序自主运作或者依赖于操纵杆，操作繁琐，灵活性差。
技术内容本技术的目的在于提供一种基于Kinect的机器人人机交互系统及方法，综合体感、声音、手势多种交互方式，可实现对机器人的运动控制，代替人工在非结构化场景中进行作业，提高机器人的作业能力和智能水平。
实现本技术目的的技术方案为：一种基于Kinect的机器人人机交互系统，包括Kinect信息采集模块、人机交互模块、姿态控制模块、语音控制模块、Kinect三维传感器、机器人控制箱和机器人；Kinect信息采集模块利用Kinect三维传感器，获取图像数据流及语音数据流；通过人机交互模块选择不同的控制模式，调用姿态控制模块或语音控制模块；姿态控制模块基于图像数据，根据人体姿态控制机器人机械臂运动；语音控制模块基于语音数据，实现语音指令的识别，控制机器人进行相应动作。
一种基于Kinect的机器人人机交互方法，包括以下步骤：利用Kinect三维传感器，获取图像数据流及语音数据流；基于图像数据，根据人体姿态控制机器人机械臂运动；基于语音数据处理结果，实现语音指令的识别，控制机器人进行相应动作；通过人机交互模块的语音/文字提示选择不同的控制模式，调用不同的控制模块，实现人机交互。
本技术与现有技术相比，其显著优点为：(1)本技术结合姿态、手势和语音等方式设计的人机交互模块、姿态控制模块和语音模块，可提供更加自然、灵活多样的人机交互方式；(2)本人机交互系统与机器人通信实时性好，机器人运动精度高，采用人机交互的方式可以很好地解决工程实际应用中面临的路径规划避障、防碰撞、目标识别与定位等技术难题，同时能较好地解决技术人员培训时间长、操作方式繁琐且错误率高等实际问题，提高作业效率和开发效率；(3)本技术能够应用于一些需要人机共融、机器人难以自主作业的复杂场景中，如救灾、危险品处理、空间实验、海底勘探等，具有广阔的应用前景。