Kinect体感交互技术的游戏设计与实现

合集下载

基于体感交互的教育游戏的设计与开发

基于体感交互的教育游戏的设计与开发

基于体感交互的教育游戏的设计与开发一、引言随着科技的发展,体感交互技术已经逐渐走入人们的生活,并且越来越多地被应用于教育领域。

以往的教育游戏主要是基于键盘和鼠标的交互方式,而体感交互则将用户的身体动作与游戏进行绑定,使学习和娱乐更好地结合起来。

本文将探讨基于体感交互的教育游戏的设计与开发。

二、体感交互技术概述体感交互技术是利用摄像头或传感器等设备,实时感知用户的身体动作,并将其转化为电脑系统可以识别的输入信号。

这种交互方式消除了键盘和鼠标的限制,让用户可以通过身体的自由运动来控制游戏。

常见的体感交互设备有微软的Kinect、索尼的PlayStation Move等。

三、基于体感交互的教育游戏设计原则1.游戏内容与教育目标的结合体感交互的教育游戏应该将游戏内容与教育目标紧密结合,使学习过程更加有趣和有效。

通过设计与课程内容相关的游戏任务和挑战,激发学生的兴趣和主动性。

2.游戏难度的平衡教育游戏的设计应该在保证足够的挑战性的基础上,注重游戏难度的平衡。

游戏过于简单,容易让学生产生厌倦感;而游戏过于复杂,可能导致学生无法理解并掌握所需的知识点。

适当地设置游戏关卡和可调节的难度级别,根据学生的实际情况调整游戏难度,使之匹配学生知识和技能的水平。

3.多样化的游戏模式为了吸引学生长期参与游戏,体感交互的教育游戏应该设计丰富多样的游戏模式。

可以设计单人模式、对战模式、合作模式等多种模式,让学生可以根据自身的需求和兴趣进行选择。

4.反馈与奖励机制体感交互的教育游戏应该及时给予学生反馈,让他们能够了解自己的学习情况。

同时,游戏中的奖励机制也是激励学生主动学习的重要手段。

可以设计成就系统、排行榜等,鼓励学生通过不断的努力和提升来获取更多的奖励和成就感。

四、基于体感交互的教育游戏开发流程1.需求分析首先,开发团队需要与教育专家合作,明确游戏的教育目标和学习内容。

针对不同的学科和学习阶段,确定游戏的主题和要达到的效果。

基于Kinect的《互动应用开发》课程开发探究(全文)

基于Kinect的《互动应用开发》课程开发探究(全文)

基于Kinect的《互动应用开发》课程开发探究Kinect作为一种自然人机交互的体感外设,它很可能和鼠标、键盘、摄像头一起,成为新的普遍意义上的人机交互工具。

首先简介了人机交互与计算机应用的进展规律;然后从社会和技术的角度分析了基于Kinect的互动应用的优点,最后就基于Kinect 的《互动应用开发》课程的教学内容及理论和实验教学方法进行了探究。

互动应用自然人机交互课程开发游戏设计一、前言随着计算机性能的不断提高和传感器技术的飞速进展,人机交互技术正逐步进入实际应用。

随着传感器XX络的逐步普及,人与计算机之间交互方式越来越自然,用户与计算机生成的虚拟世界之间的互动体验越来越接近人类之间的互动体验。

特别是微软公司的Kinect的面世,极有可能加快这一趋势。

本文将对基于Kinect的“互动应用开发”引入课堂教学进行探讨。

二、开设“互动应用开发”课程的必要性人机交互技术的进展和计算机应用的普及是相辅相成的。

在鼠标和图形界面广泛使用前,计算机主要在实验室使用;20世纪八九十年代,鼠标、图形界面的使用极大地提高了交互效率,推动了个人电脑的普及,把计算机带入个人计算机时代。

近年来,计算机处理速度、存储容量的大幅提高,传感器技术的进步和普及,XX络带宽的成倍增加,新一代自然人机交互的推广,将进一步拓展计算机的使用领域,为基于自然人机交互方式的“互动应用”提供了广泛的市场需求和应用前景,所以为了让学生掌握与时代进展相适应的开发技术,有必要开设基于自然人机交互的互动应用开发类的课程。

20XX年11月,微软推出了与Xbox相结合的体感外设Kinect。

这款集彩色摄像头、深度传感器和麦克风阵列的产品推出之后,便创下了一项新的吉尼斯世界纪录,成为销售最快的店则设备。

从20XX年11月4日到20XX年1月3日,60天内共售出800万台。

价值150美元的高科技组件的推出,马上吸引了全球众多的“Kinect黑客”的注意,在Kinect推出不久,OpenKinect开源社区和PrimeSense公司便公布了Kinect的电脑软件驱动。

基于Kinect骨骼信息的机械臂体感交互系统的设计与实现

基于Kinect骨骼信息的机械臂体感交互系统的设计与实现

基于Kinect骨骼信息的机械臂体感交互系统的设计与实现林海波;梅为林;张毅;罗元【摘要】In the paper we present a robot arm somatosensory interaction manner based on the human skeletal information. First, we use Kinect sensor to capture image depth of field data, and deal with the data by skeletal tracking technology to match various parts of the human body followed by further establishing the 3D coordinates of every joint of human body. Then, we utilise the 3D coordinates to calculate the rotation angle of human waist, shoulder, elbow and wrist joints. These four joints of human body are in one-to-one correspondence with the four joints of 4-DOF robot arm. Finally, we transform the calculation results to control commands and sent them to controller of the robot arm by serial ports to realise somatosensory interaction. Experimental results show that the method can effectively control the robot arm to rotate and grab objects.%提出一种基于人体骨骼信息的机械臂体感交互方式.首先利用Kinect传感器获取图像景深数据,并通过骨骼追踪技术处理景深数据,以匹配人体的各个部分,进而建立人体各个关节的3D坐标.然后利用3D坐标值计算出入体腰、肩、肘和腕4个关节的转动角度,人体的这4个关节与四自由度机械臂的4个关节一一对应.最后将计算结果转换成控制指令通过串口发送给机械臂的控制器,实现体感交互.实验表明,该方法能够有效地控制机械臂的转动以及抓取物件.【期刊名称】《计算机应用与软件》【年(卷),期】2013(030)002【总页数】5页(P157-160,176)【关键词】Kinect;骨骼信息;机械臂【作者】林海波;梅为林;张毅;罗元【作者单位】重庆邮电大学国家信息无障碍工程研发中心智能系统及机器人研究所重庆400065【正文语种】中文【中图分类】TP3190 引言为了给老年人和残障人士提供性能优越的操作工具,帮助他们提高行动自由度,许多国家对移动机器人进行了研究[1]。

基于Kinect的人机交互系统设计毕业设计论文

基于Kinect的人机交互系统设计毕业设计论文

毕业设计论文基于Kinect的人机交互系统设计摘要随着技术的不断进步,人机交互的方式也越来越先进,通过肢体动作来操作计算机和游戏机已经成为现实。

自从微软推出Kinect体感外设以来,自然的人机交互成为当前的研究热点,通过Kinect外设,可以解除人们受键盘、鼠标等传统交互方式的束缚,具有重要的意义。

本论文介绍的就是基于Kinect的人机交互的程序设计。

本设计通过Kinect的骨骼跟踪接口,自定义动作,如手臂平伸,手臂前伸,手臂上举等,触发事件后映射为键盘事件,达到操作应用程序的目的。

使用者可以选择被控制的对象程序。

为了防止他人干扰操作,本程序默认只追踪离Kinect传感器最近的人。

本设计的程序可以让使用者通过手臂动作操作俄罗斯方块、播放PPT、控制音乐播放器、控制视频播放器。

未来还可以扩展其他基于键盘控制的程序的操作。

关键词:Kinect 人机交互骨骼跟踪The Design of Man-machine Interaction SystemBased on KinectABSTRACTAs technology continues to progress, human-machine interaction is more and more advanced, and body movements to operate computers and game consoles has become a reality.This paper will introduce a program of Kinect-based human-machine interaction design.Since Microsoft launched Kinect somatosensory peripheral,natural human-computer interaction has become a research hotspot.People can lift their shackles of traditional interact such as keyboard, mouse, and others through the Kinect peripheral, and this will be a important significance.This design achieve the purpose of operating applications through Kinect's skeleton tracking interface,such as stretch your arms,reach your arms,and uplift your arms.custom actions and an triggered event which is mapped to keyboard event.The user can select the object of control program.In order to prevent the interference of other people, this design procedures only tracks the people who is nearest to the Kinect sensor.The program of this design allows the user to operate Tetris, Powerpoint,music and video player.It can be extended to other keyboard-based control programs operating in the future.Key Words: Kinect Human-machine interaction Skeleton tracking目录第一章引言 (1)1.1 选题理由 (1)1.2 自然人机交互技术的发展 (1)1.3 国内外发展情况 (1)1.4 你就是控制器 (2)1.5 Kinect的应用 (2)1.6 需求分析 (3)第二章认识Kinect (4)2.1 两款Kinect对比 (4)2.2 Kinect的硬件组成 (5)2.2.1 Kinect的“心脏”——PS1080 SoC (6)2.2.2 Kinect的“三只眼”——投影仪和两个摄像头 (8)2.2.3 Kinect的“四只耳朵”——麦克风阵列 (9)2.3 Kinect相关的技术规格 (10)2.4 Kinect工作原理 (11)2.4.1 Kinect for Xbox360的产品设计 (11)2.4.2基于“管道”的系统架构 (12)第三章总体设计 (14)3.1 软件概述 (14)3.2 软件用户群 (14)3.3 软件功能 (14)3.4 运行环境 (14)3.5 开发环境 (15)3.6 软件框架图 (15)3.7 软件各模块设计 (15)3.7.1 初始化窗口 (15)3.7.2 注册Kinect变化事件 (15)3.7.3 骨骼事件处理 (16)第四章详细设计与算法分析 (17)4.1 初始化相关模块 (17)4.1.1 定义变量 (17)4.1.2 Window_Loaded窗口载入事件 (17)4.2 注册Kinect变化事件 (17)4.2.1 事件方法主体 (17)4.2.2 事件方法中引用的方法 (17)4.3 骨骼事件处理 (18)4.3.1 隐藏骨骼跟踪提示标签 (18)4.3.2 判断窗口是否关闭中 (18)4.3.3 获取最近的骨骼跟踪跟踪实例 (18)4.3.4 判断获取的距离Kinect最近的骨骼跟踪实例 (18)4.3.5 提示用户可以进行应用程序控制 (18)4.3.6 判断Kinect的控制对象 (19)4.3.7 定义判断骨骼跟踪事件的阈值 (19)4.3.8 控制俄罗斯方块的方法 (19)4.3.9 控制PPT播放的方法 (22)4.3.10 控制音乐播放器的方法 (24)4.3.11 控制视频播放器的方法 (27)4.3.12 模拟键盘输入工具类 (29)4.3.13 窗口关闭方法 (30)第五章软件测试 (31)5.1 Kinect控制俄罗斯方块的测试 (31)5.1.1 骨骼跟踪图 (31)5.1.2 运行结果 (31)5.2 Kinect控制PPT播放的测试 (33)5.2.1 骨骼跟踪图 (33)5.2.2 运行结果 (33)5.3 Kinect控制音乐播放器的测试 (34)5.3.1 骨骼跟踪图 (34)5.3.2 运行结果 (34)5.4 Kinect控制视频播放器的测试 (35)5.4.1 骨骼跟踪图 (35)5.4.2 运行结果 (35)第六章总结与展望 (37)6.1 总结 (37)6.2 展望 (37)参考文献 (40)附录 (41)致谢 (48)第一章引言1.1 选题理由人机交互技术是指通过计算机输入、输出设备,以有效的方式实现人与计算机对话的技术。

kinect在unity的使用方法

kinect在unity的使用方法

kinect在unity的使用方法摘要:1.介绍Kinect和Unity2.安装Kinect for Unity3.使用Kinect录制场景4.分析录制数据5.将数据应用到Unity项目中6.实战应用案例7.总结与建议正文:随着科技的不断发展,人机交互的方式也在不断创新。

Kinect,作为微软推出的一款体感设备,凭借其独特的传感技术,赢得了广大开发者的青睐。

将Kinect与Unity游戏引擎相结合,可以创造出许多富有创意的游戏和应用。

本文将详细介绍如何在Unity中使用Kinect,以及实战应用案例。

首先,我们需要安装Kinect for Unity。

根据操作系统不同,安装过程也有所区别。

Windows用户可以访问Kinect官方网站下载对应的SDK,并按照提示进行安装。

Mac和Linux用户则需要使用源代码安装。

在安装过程中,请确保安装Visual Studio,以便调试和编译Unity项目。

安装完成后,我们可以在Unity中创建一个新项目。

在新项目中,首先导入Kinect SDK。

接着,在场景中创建一个Kinect对象。

此时,Kinect已经开始录制场景。

你可以通过调整录制参数,如帧率、分辨率等,来优化录制效果。

录制完成后,Kinect会生成一个包含深度信息和中轴旋转信息的文件。

分析录制数据是关键步骤。

深度信息可以用来检测场景中的物体,中轴旋转信息可以用来确定物体的位置和方向。

将这些数据导入Unity项目后,你可以使用Unity内置的编程语言(如C#)来实现各种功能。

例如,你可以编写一个脚本,根据深度信息识别玩家手势,并根据中轴旋转信息控制游戏角色的行动。

下面介绍一个实战应用案例:创建一个基于Kinect的虚拟现实游戏。

在游戏中,玩家需要通过手势来控制游戏角色,完成各种任务。

首先,使用Kinect 录制玩家的手势。

然后,将录制数据导入Unity项目,并编写相应的事件处理脚本。

最后,将脚本与游戏角色绑定,实现手势控制。

Kinect体感互动游戏

Kinect体感互动游戏

Kinect体感互动游戏
展开全文
体感游戏是一种通过人的肢体动作变化来操作和感受的新型电子游戏。

不仅可以在室内运动健身,减少了天气、场地要求的限制,同时也是一种现场互动式营销,可以增加商场的人流和互动气氛,逐渐成为了很多商家的营销推广的选择。

一、Kinect体感互动游戏的原理:
Kinect可以理解为一个输入设备(像鼠标键盘一样),是将输入信号与3D图形控制结合起来,一般在2-3平方米这个范围内,挥动手臂可以做切水果、点罚球、垫排球等场景互动。

Kinect体感互动游戏
二、体感3d赛车的操作流程
体感3d赛车又称汽车体感跑酷游戏,该游戏利用Kinect体感技术让玩家与大屏进行互动。

玩家扫描二维码后举手进入游戏,左右移动身体控制汽车前进方向,躲避障碍物和得分。

展开剩余60%
体感3d赛车
三、体感3d赛车的客户案例
1、用户站在指定的区域内,根据屏幕上的体感互动提示,通过开车的手势进入游戏,手动虚拟紧握方向盘,往右汽车也往右,进行跑道开车,身体扭动控制车身,做出对应肢体动作开始赛车游戏。

体感3d赛车
在这个过程里,体验者可以真切感受到带赛车的速度与激情,感受真实的飘移、撞击、空中坠落时瞬间的重力加速度、路面起伏感!
2、体感3d赛车双人竞赛模式
两个观众上台,站在指定的区域内,通过屏幕上的体感互动提示,做出对应肢体动作开始赛车游戏。

体感3d赛车双人竞赛
四、体感3d赛车所需装备为:kinect2.0设备,电脑主机,显示屏幕。

五、体感3d赛车适用的场所为:活动现,学校,展厅,商场,4S 门店等。

平台声明。

基于体感交互的教育游戏的设计与开发

基于体感交互的教育游戏的设计与开发

基于体感交互的教育游戏的设计与开发随着科技的不断发展,基于体感交互的教育游戏正逐渐走进人们的生活,为学生带来更加丰富趣味的学习体验。

然而,教育游戏必须满足人性化设计,才能够真正地提高学生的学习兴趣和学习效果。

在本篇文章中,我们将详细讨论基于体感交互的教育游戏的设计与开发。

一、体感交互技术的介绍体感交互技术是指利用身体动作感应器件,把玩家的身体动作与游戏中人物的动作实时同步,让玩家在游戏中感到更加真实、自由、有趣。

目前,市面上比较流行的体感交互设备有Kinect、Wii,以及虚拟现实头显。

二、体感交互游戏在教育中的应用体感交互技术在教育游戏中的应用极其广泛,可以应用到学习语言、数学、自然科学等各个学科。

体感交互游戏可以让学生在游戏的互动中学习知识,培养学生的逻辑思维、反应能力,增强学生的身体协调能力。

在数学学科中,学生可以利用体感交互技术,在游戏互动中学习简单的数学运算、线性代数、微积分等数学知识。

例如,学生可以利用跑酷类游戏的技术,通过跳过障碍物、收集数字等形式运用数学知识。

在语言学科中,学生可以利用体感交互技术,学习外语发音、单词的拼写,同时感受和记忆外语国家的文化风情。

例如,学生可以利用音乐游戏教学,唱出外语歌曲来提高发音和语感,同时了解该国家的音乐文化。

在自然科学学科中,学生可以利用体感交互技术,学习天文学、物理学、化学等科目中的知识,可以让学生以探究的方式推导出物理定理,更有助于学生加深对自然科学原理的理解和认识。

三、基于体感交互的教育游戏设计的重要因素1. 游戏的主题教育游戏的主题必须与学科知识内容相关联,并且符合学生的年龄和兴趣。

例如,针对小学生设计的数学游戏可以采用Q版卡通形式,吸引小学生的注意力,让孩子在游戏中学习数学。

2. 教育性与游戏性的平衡教育游戏中,必须在教育性和游戏性之间取得平衡。

游戏设计中要求含蓄,不要突出游戏中的“学习”方面,而是在游戏过程中融入知识,让学生在不知不觉中学习知识。

基于U3D和kinect2.0北极熊互动游戏的设计与实现

基于U3D和kinect2.0北极熊互动游戏的设计与实现

基于U3D和kinect2.0北极熊互动游戏的设计与实现*王 涛(西安航空学院 教务处,陕西 西安 710077)摘 要:在传统的游戏世界中,几乎都通过鼠标、键盘或手柄的相关操作来娱乐[1]。

如此会长时间静止的“坐着”,和游戏的互动仅限于手和脑,而体感设备如Kinect、Leap Motion和PlayStation Move等的出现打破传统娱乐的观念,特别是kinect 设备的出现,完美的解决了这些弊端,使人们完全融入游戏,在游戏中锻炼了身体[2]。

一般游戏引擎开发游戏的弊端有:开发周期长、3D效果不逼真、程序复杂、粒子效果和特效不佳等,而u n i t y3d引擎的出现彻底摒弃了这些缺点。

本文来将kinect2.0和unity3d 4.6.3结合起来开发北极熊体感游戏,从理论、技术和效果层面讲是完美的结合,文中创新的将图像分割G A C模型和基于小波分解的图像融合方法相结合,使K I N E C T拍取的人物照片和场景相融合,为游戏增加许多趣味性,并且使用四元数实现目标的旋转和移动。

关键词:kinect;unity3d;北极熊体感游戏;GAC模型;图像融合中图分类号:TP31 文献标识码:A 文章编号:1003-7241(2018)08-0101-06Design and Implementation of Polar Bears Interactive GameBased on U3D and Kinect2.0WANG Tao( Dean’s Office, Xi'an Aeronautical University, Xi’an 710077 China )Abstract: In the traditional game world, almost using the mouse, keyboard, or handle to playing game[1]. So long time to "sit", and Interact with the game is limited to the hand and brain, and somatosensory devices such as Kinect, Leap Motion and PlayStation Move appeared to break the traditional concept of entertainment, especially the emergence of kinect, it perfect solves these shortcomings, makes people fully integrated into the game, exercise the body in the game[2]. The disadvantages of general game engine development are: the long development period, 3d effect is not realistic, The program design complex and poor effect of particle etc. the emergence of unity3d engine completely abandoned these weaknesses. This article using the kinect2.0 and unity3d 4.6.3 to development polar bear body feeling game, from the aspect of theory, technique and effect is perfect combination. The innovation of the GAC model and combining the method of image fusion based on wavelet decomposition, the fusion of the characters of photos and the scene increases interest in the game, and using quaternion to rotation and moving.Key words: kinect; Unity3d; polar bear interactive game; GAC model; image fusion1 引言Unity3D是由Unity Technologies开发的一个让玩家轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具,是一个全面整合的专业游戏引擎,支持Windows、Mac和Android等多平台。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

人体交互是一门研究人与计算机通过输入输出设备进行交流互动的技术。

随着信息科学技术的发展,人机交互越来越成熟与人性化。

目前,人机交互不再像以往的方式依赖输入输出设备,转而以人脸识别、手势识别以及声音等作为人与计算机交流的中间介质,实现沟通与互动。

这不但改善了人们对硬件的依赖,增加了用户的参与感,提高了人机交互的自然性和高效性,而且更深层次促进科学技术的研究与发展。

其中,Kinect 作为新时代人机交互技术的产物,在人机交互领域带来了革命性的改变。

例如,以往的游戏及应用程序借助Kinect 能够摆脱鼠标和键盘,人们只需借助双手或肢体动作即可实现人与机器的互动。

本文利用Kinect 体感交互技术、骨骼追踪技术与软件设计相结合,借助微软提供的软件库,即Kinect forWindows SDK ,开发体感交互应用程序,设计相应的游戏软件并实现。

设计借助Kinect 体感交互技术的游戏,不仅可以改善人们对硬件的依赖,而且可以让计算机类专业的学生借助Kinect 体验其所写程序的效果,这不但激发了学生的学习兴趣,提升教学的娱乐性,更重要的是,可以让学生们接受到新的科技理念,激发他们的创新意识。

1Kinect 体感技术1.1KinectKinect 设备的结构中拥有三个摄像头[1],依次是红外投影机、彩色摄像头、红外CMOS 摄像头。

彩色摄像头主要用于捕捉用户的骨骼数据,追踪用户的骨骼位置信息;两个红外摄像机构成深度检测系统,提供实时的彩色图像和深度数据。

此外,Kinect 还有四个Kinect 体感交互技术的游戏设计与实现【摘要】体感交互技术是一项直接使用肢体动作与数字设备互动的智能技术。

文章以Kinect 数字设备为基础,采用C#语言定义常用人机互动的手势动作,采用3D Max 和Unity3D 搭建场景模型,设计并实现了一款迷宫游戏软件。

游戏测试分析表明,该游戏增强了用户的参与感,提高游戏中交互的自然性与高效性。

【关键词】Kinect ;体感交互技术;游戏【doi:10.3969/j.issn.2095-7661.2019.03.011】【中图分类号】TP391.9【文献标识码】A【文章编号】2095-7661(2019)03-0039-04Game design and implementationof Kinect somatosensory interaction technology(黎明职业大学,福建泉州362000)吴萍萍Abstract :Somatosensory interaction technology is an intelligent technology that directly uses the interaction between body movements and digital devices.Based on the Kinect digital device,this paper defines the gesture action of human-computer interaction in C#language,builds scene model with 3D Max and Unity3D,and designs and implements a labyrinth game software.The analysis of game test shows that the game enhances the user's sense of participation,and improves the naturalness and efficiency of interaction in the game.Keywords :Kinect;somatosensory interaction technology;gameWU Ping-ping(Liming Vocational University,Quanzhou,Fujian,China 362000)[收稿日期][作者简介][基金项目]2019-05-12吴萍萍(1990-),女,福建泉州人,黎明职业大学信息与电子工程学院实验员,硕士,研究方向:信息处理,图像处理。

2017年福建省教育厅中青年教师教育科研项目“基于Kinect 手势识别的体感类教育游戏软件”(项目编号:JAT171086)。

39湖南邮电职业技术学院学报第18卷内置的麦克风阵列,可以捕捉多声道立体声,用于辨别用户的具体位置。

除此之外,Kinect还包括一个传动马达,用于控制仰角,方便追踪超出影像范围的用户;一个内置风扇,用于给设备散热;PS1080SOC芯片作为其心脏,主要用于图像编码等[2]。

Kinect作为一个输入设备,利用其传感器的功能,采集原始数据信息,包括深度数据流、彩色视频流以及音频数据流等,实现对骨骼追踪、人脸识别以及语音识别。

骨骼追踪是Kinect体感交互的基础,系统在允许的时间范围内,抽象出的关节点越多,骨骼也就越真实。

人脸识别是身份识别的一个重要部分,通过对输入的人脸信息,如:脸的位置、鼻子的大小、眼睛的大小等面部主要器官的信息,从而识别身份。

语音识别通过麦克风阵列捕捉数据流音频,利用Kinect 内置的噪声消除和回波抑制算法,计算声源距离并确定声源的具体位置。

1.2Kinect应用Kinect自从推出以来,受到了各行各业领域的热捧,如商业、医疗、教育等。

在商业领域,运用Kinect体感交互技术发明的“试衣镜”首当其冲[3]。

购物者站在“试衣镜”前,用手势选好看中的衣服,“试衣镜”会将购物者与衣服的三维图叠加,呈现出穿上衣服后的效果。

这样的购物体验前所未有,让消费者感受到科技进步带来的方便性与实用性,商家作为服务者也能通过这样的高科技达到一种营销的目的,促进营业额的攀升,可谓是一举两得。

在医疗领域,利用Kinect设计的图像处理程序[4],可用于手术过程中方便医生查看患者的影像资料。

以往的手术过程中,医生需要查看患者的影像资料,如B超、CT等医学影像资料,无疑会借助手来实现,这在为患者提供更优质服务的同时往往可能会忽略无菌化处理。

而现在采用Kinect技术设计的图像处理程序,医生不需要用手直接接触患者的影像资料,只需通过手的摆动就可以实现浏览资料。

这一过程不但解放了医生的双手,而且符合手术过程中的无菌化操作,避免交叉感染。

此外,新技术的变革,也促进了医疗技术的发展,改善医生与患者的关系,提升医院的服务质量。

在教育领域,Kinect也可以作为教辅工具,与幻灯片或电子版结合[5]。

这样一种结合,使教师可以直接面对学生,通过简单的手势动作去操作幻灯片,实现教学工作。

这较大地提高了教学效率,也增加了课堂教学的趣味性。

此外,以Kinect为基础开发的教育类游戏,也是当前社会的热门研究对象。

以儿童为例,教育游戏可以提高儿童学习的兴趣,促进儿童各方面综合能力的发展等[6-7]。

也可借助Kinect体感交互技术应用于教学中,如文献[8]中提及的在计算机教学中采用虚拟现实技术,其中虚拟现实中人机交互是借助Kinect实现的。

2体感交互的游戏随着信息化技术和互联网的迅猛发展,游戏作为一个重要产业,一方面提高了国民生产总值,给社会提供了娱乐的平台,解放了人们的精神压力;另一方面也给教育行业带来了较大的冲击,部分青少年为了游戏,出现旷课、逃学现象。

基于这种情况,益智游戏、教育游戏等有益于青少年成长的健康游戏成为父母的期盼,他们希望孩子可以在寓教于乐的过程中健康成长。

本文结合当前情况,利用3D Unity设计了一款名为“3D迷宫”的3D游戏,希望借助此游戏的设计与开发,结合Kinect体感交互技术实现游戏的运作,激发计算机专业的学生学习编程知识的兴趣,并学到技术和本领。

2.1体感交互实现Kinect体感交互的实现过程,主要在于如何利用捕获的手势信息以及声音信息来触发相应的操作,实现人机交互。

采用.Net技术,对获取的交互动作,与已定义的交互动作进行对比,识别该动作的语义从而实现对接。

第一,手势与声音的获取。

这一部分,主要是利用Kinect本身自带的体感技术来识别并获得手势节点及声音的信息流,并做预处理。

第二,手势及声音的训练。

将完成预处理后的手势与声音的信息流放入训练库里,系统运行之后进行实时识别。

第三,手势的识别。

根据已训练好的手势与声音发送控制命令,以达到人机互动的目的。

目前程序实现的关键在于图像与声音获取、手势识别。

整体流程,如图1所示。

图1流程图2.1.1图像与声音获取目前,手势与声音的获取主要依赖Kinect。

其自带的传感器可以实时获取RGB和深度图像数据,提供实时的全身和骨骼跟踪,识别一系列的交互动作。

通过Kinect获得的3D图像,可以对场景进行识别、任务骨骼节点跟踪、手势识别,从而完成三维手势的输入。

40第3期音频获取,主要是依赖麦克风阵列中提取原始的或经过处理的音频流。

Kinect 的麦克风阵列能够对声音进行定位、对音频进行去噪、消除存在的回声等,减轻额外的音频处理。

在此处,对所获取的音频与语音识别相结合,能够增强互动中的趣味性,让学生利用音频发出命令即可对应用程序进行相关操作,降低了操作的复杂性。

2.1.2手势识别手势识别方面主要是以静态为主,动态为辅。

首先识别静态手势,基于此定义了一系列手势动作。

对于动态手势的识别,在较好实现静态手势的基础上,采用动态时间规整算法,不仅提高手势的准确性,也增加了手势的组合数量,从而丰富了手势指令。

其中手势动作的定义尽可能地以用户现实生活习惯为主,在用户意图和所需操作之间、操作与结果之间建立自然匹配关系,从而达到减轻认知负荷的目的。

主要手势动作定义如表1所示。

表1手势动作定义表2.2迷宫游戏设计与实现本文设计的“3D 迷宫”游戏更加注重人机交互的重要性,因此,在设计的过程中,该游戏根据难易程度,设置了简单、中等和高级三个选项,供不同玩家根据自身情况进行娱乐。

此外,玩家在游戏的过程中,通过手势动作一方面完成了游戏的体验,另一方面在娱乐的过程中身体也得到了运动,使之达到一种身心愉悦的状态。

2.2.1功能设计图2迷宫第一关草图功能是游戏重要的部分,它设计的好坏直接关系到游戏者的体验和感受。

这里以简单选项为例,介绍简单选项中,前三关的游戏功能设计。

第一关采用了简单的直线和直角构成,这种设计是为了让大部分人都可以顺利通过,设计草图如图2所示。

第二关为了增加难度,则采用了弧形加直线的方式,直接将游戏的操作程度上升了一个台阶,让游戏玩家去挑战自己的操作能力,设计草图如图3所示。

图3迷宫第二关草图第三关,通过设置一些障碍点来增加难度,这需要玩家克服障碍后,才能顺利完成闯关,设计草图如图4所示。

相关文档
最新文档