浅谈基于Kinect的应用程序开发

浅谈基于Kinect的应用程序开发

邵隽1，马娜2

（1.苏州工业园区职业技术学院，江苏苏州 215000；2.吉林农业大学信息技术学院，长春 130118） 摘要：随着计算机系统输入设备的发展，各种专业传感器被嵌入到人们日常生活的设备中。微软开发的Kinect 所提供的骨骼跟踪、脸部识别、声音识别等功能十分吸引人。本文介绍了Kinect所提供的功能及开发Kinect应用程序所需的条件，分析了Kinect For Windows SDK的系统架构，并集中讨论了如何开发骨骼跟踪数据和深度数据，最后提出了本人关于开发基于Kinect的应用程序的想法。

关键词：体感接口；骨骼跟踪；Kinect

中图分类号：TP273 文献标识码：A 文章编号：1007-9599 (2012) 08-0179-02

一、Kinect简介

最近几年计算机系统的输入设备发展迅速，各种专业传感器越来越多的被嵌入到人们日常生活的设备中。例如，在智能手机中嵌入了重力传感器。Kinect是微软在2010年6月针对XBOX360平台发布的体感摄像头。作为一款游戏机平台的输入设备，Kinect具有以下几个方面的特点：

（一）行为传感器：Kinect使用一个行为传感器跟踪玩家整个身体。Kinect不仅仅捕捉玩家的手和手腕，同时包括手臂、小腿、膝盖、手腕、臀部等身体各个部位。

（二）骨骼跟踪：当Kinect探测到玩家时，它会基于深度数据创建玩家的电子骨骼。当玩家左右移动甚至跳跃，传感器都会捕捉到，同时程序会做出相应的反应。

（三）脸部识别：Kinect通过搜集并记录玩家的身体（比如：脸部）数据来标识玩家。当玩家再次使用Kinect时，它会识别出玩家并直接跳入上次玩家停止的地方。

（四）声音设别：Kinect使用传感器中内置的麦克来识别并从其他噪声中分离出玩家声音。由此，玩家可以通过声音来控制应用程序，比如：音频、视频的播放。

Kinect所具有的特性让人感到兴奋，但如今大部分Kinect应用都是针对娱乐方面，其中最为广泛的就是游戏，毕竟Kinect最初是为微软XBOX360平台而研发的外部设备。而我的思考是Kinect的这些特性能否用于在PC平台上，同时针对商务应用开发应用程序。幸运的是，微软在2011年6月发布了Kinect For Windows SDK beta版本，这个SDK帮助开发人员使用Kinect传感器技术在Windows 7操作系统下创建PC平台应用程序。不过，beta版本不允许用于商业行为，只能用于学术研究和交流，据微软透露，下个正式版本会发布商业授权。

Kinect For Windows SDK beta包括了Windows 7操作系统的Kinect的驱动程序、Kinect设备接口和API、源代码示例及相关文档。开发人员通过Kinect For Windows SDK beta 能够为应用程序增加以下特性：

?追踪Kinect传感器视野范围内容1至2个人的骨骼图像；

?通过Kinect XYZ深度摄像头获取标准颜色图像流及深度数据，深度数据能够判断传感器前人之间、人与Kinect 之间的距离；

?结合Windows 7语音识别API定位音源、识别声音。

开发基于Kinect的应用程序，开发人员需要熟悉使用Visual Studio 2010开发、熟悉C#或C++语言，如果需要处理音频还需要熟悉Windows 7 SDK中相关API。本文主要讨论使用Kinect跟踪骨骼及深度数据。

二、Kinect For Windows

架构设计

图1

图1描述了Kinect硬件、软件及应用程序之间的交互。通过图1我们可以了解Kinect传感器把图像数据、深度数据及音频数据通过USB传递给NUI库，应用程序通过NUI API 获取这些数据。NUI是Natural Interaction Interface（体感接口）的简称，Natural Interaction是一个基于人体感官

的人机概念，主要关注视觉和听觉。Kinect For Windows为

开发人员隐藏了复杂的硬件细节，甚至可以在一台PC上连接

多个Kinect设备，而开发人员只需要通过NUI API来访问相

应的数据。

三、使用Kinect跟踪骨骼及深度数据

由于Kinect驱动程序支持单台计算机使用多个Kinect

设备，所以开发人员首先需要确定正在使用的Kinect设备序

列。你可以通过下面代码同时传递index参数来指定使用哪个

设备。同一时间一个设备只能被一个应用程序使用。创建

Runtime对象完成后，可以通过Initialize方法指定程序需

要获取哪些数据。Initialize方法的参数是一个RuntimeOptions枚举值，指定不同的值代表程序需要获取的

不同类型的数据。UseDepthAndPlayerIndex获取深度数据和

玩家序列（Kinect可以捕捉2个人体数据）；UseColor获取

视频数据；UseSkeletalTracking获取骨骼数据；UseDepth

仅获取深度数据。你可以通过OR操作来指定同时获取多种数

据，比如：通过指定parameter为https://www.360docs.net/doc/e21810756.html,eDepthAndPlayerIndex | https://www.360docs.net/doc/e21810756.html,eSkeletalTracking | https://www.360docs.net/doc/e21810756.html,eColor来同时获取视频、深度数据、玩家

序列及骨骼数据。本文主要讨论如何获取深度数据及骨骼数

据。

Runtime nui = new Runtime (index); nui.Initialize (parameter);

深度数据流为传感器视野范围内每个像素点（用X，Y坐标

确定）提供了以毫米为单位的距离数据。深度数据流分为640*480

像素、320*240像素及80*60像素三种级别。通过处理这些数据

应用程序支持诸如跟踪用户表情或确定背景物体等功能。当调用

Initialize方法时，传递不同的参数值会获得到不同格式的数

据。如果仅仅获取深度数据（即UseDepth）则每个像素的前12

低位（0-11）包含了深度数据，剩下4位数据保留；如果获取深

度数据及玩家序列数据（UseDepthAndPlayerIndex），则每个像

素前3低位（0-2）包含了玩家序列数据，其余为深度数据。其

中0代表该位置的深度数据无效，可能是该物体距离设备太近或

太远。

NUI骨骼接口提供了传感器范围内两个人站立姿势的位置和

朝向信息，如图2所示。通过图2我们看到，NUI提供了一组人

身体上重要位置的点信息。在处理这些骨骼点时，需要注意区分

有效骨骼跟踪和无效骨骼跟踪这两种情况。首先Kinect的骨骼

跟踪引擎只提供一个或两个人的完整骨骼数据。最先被传感器探

测到的两个人就称为有效骨骼跟踪。

而随后进入4个进入传感器

范围的人被成为无效骨骼跟踪，其他人则不会处理。对于无效骨

骼跟踪应用程序只能获取有限的数据。

图2 （下转第173页）

市场需求的增大，及大型国际企业的推动，有理由相信，云计算在将来不久定会取得的巨大的进展并给人们的生产、工作与生活带来巨大的影响。总之，云计算将会成为推动人们生活、工作信息化与智能化的重要潜在力量，更加便捷与满足人们的生活。此外，企业也会不断加大云计算在企业发展中的使用，实现资源的合理化优化配置，推动企业的进一步发展。

（一）计算机“云计算”技术将会实现信息管理的科学化 20世纪70、80年代以来，随着新技术革命的推动，计算机网络技术取得了深入地发展，并实现了迅速访问海量信息的可能，为信息化社会的到来提供了充足的动力。然而，随着世纪的发展，也存在着诸多的短板，如海量的信息由于不能够进行有效的分类控制而容易出现了混乱。这些如果是用户不可以迅速找到自己需要的信息，那么信息的价值就会失去。21世纪以来，云计算技术的发展，弥补了这一缺陷，可以清除信息的混乱状态，促进信息库的有序而规范化，也就是为海量化的信息提供了一个有效处理的基础设施平台，进而实现了信息管理的科学化。

（二）计算机“云计算”技术加快了技术创新的进程 当今的世界是一个联系日益紧密的世界，事物之间都存在着紧密的联系，往往牵一发而动全身。计算机“云计算”技术的出现及运用也一样，其以信息技术服务给世界广大的用户为己任，也就是说，它的目标就是把信息技术的设施当做公共设施给用户使用。于是，在计算机“云计算”技术支撑下的信息时代，用户利用云计算，可以轻易而随时随地的用比较小的成本换取大的计算能力。这些变化进而会激发新思维、新理念在市场生活中的应用，促进新技术的创新，带动整个信息社会的变化，成为一大“蝴蝶效应”的主要动力。

（三）“云计算”技术推动了技术的简单化

21世纪以来，随着技术的不断发展，现代化技术的水平也日益高级化、复杂化。然而，对于广大的用户而言，更希望技术产品的简单化，这样更容易他们的接受与使用。现阶段的软件市场就是一个证明，人们倾向希望技术的简单化，通过购买到服务实现自己的目的，而非去购买软件的产品。于是，现代市场中的企业也是喜欢直接运用最新的技术软件，促进自身事业的高效而科学，缘由正是因为他们更加先进、无需管理而有成本低廉。而软件的服务就是云计算技术的先驱，现代化的云计算技术正在逐渐推动信息产业的技术趋向简单化。

（四）“云计算”技术促进了全球共享式得网络传媒形成 网络的功能主要是发布信息、交换信息和操作这些信息。网络的内容也逐渐呈现动态化，时时刻刻海量的信息都在发生着巨大的变化与更新。其中，可以实时与互动的Web 2.0是计算机云计算技术的主要推动力量。在计算机“云计算”技术的推动平台下，现有的网络基础设施可以形成全球共享的网络通信传媒，并在极小的时间里处理与分析海量的信息资源，以满足动态的、高效的网络性能的需要。总之，“云计算”技术促进了全球共享式得网络传媒形成，必将会带来全球性的信息效率的提升，进一步促进世界的信息化、智能化与数字化进程。

六、结语

总之，21世纪的今天，随着科技创新与人才的推动，人类的高新技术取得了飞速的发展。其中计算机云计算技术可以说是信息社会的革命性发展。云计算是虚拟化的网络新技术，基于计算机技术与网络技术结合而生，以其高速的计算、海量化的信息等优势成为了信息科技发展的方向之一。我国作为网络市场规模最大的国家，虽然云计算起步较晚，但是随着我国社会经济的巨大发展与科技的进一步推动，我国的云计算技术定会不断克服困境，迎来一个新的广阔发展空间，成为推动我国社会现代化、信息化与智能化的重要潜在力量！

参考文献：

[1]郑牡丹.云计算理论初探[J].硅谷,2011,12

[2]王丽丽.云计算研究综述及安全问题分析[J].硅谷,2010,17

[3]林沛.探索云计算的应用与发展[J].中国新技术新产品,2010,7

[4]高巍,李洁.云计算进入实质性发展阶段对ICT 产业格局的影响日益明显[J].世界电信,2011,4

当应用程序每次试图获取骨骼数据时，NUI 都会返回以下几类数据： 1.每个骨骼当前跟踪的状态。对于有效骨骼跟踪，包含了全部骨骼数据；而对于无效骨骼跟踪，只提供位置数据。 2.每个被跟踪人分配一个跟踪ID。只要被跟踪的人离开传感器范围不论是不是同一个回到范围内，都会重新分配跟踪ID。 3.对于无效骨骼跟踪提供一个被跟踪人中心点位置（Vector4类型）。 4.对于有效骨骼跟踪提供完整骨骼数据。 5.对于无效骨骼跟踪提供基本的位置及识别数据，没有骨骼数据。 NUI 为开发人员提供了两种获取数据方式，分别是轮询模式和事件模式。所谓轮询模式是指开发人员通过GetNextFrame 方法主动询问系统最新数据是否搜集完成，同时还需要传递一块内存缓存区域用于保存数据。如果数据搜集完成，则程序可以读取缓存来获取数据；如果没有完成，程序可以选择等待或直接返回。如果选择等待系统搜集完成，等待的时间是不能预估的，理论上说可能是无限，而且等待时，当前线程会被阻塞。 很明显，轮询模式不适合大部分情况，很多开发人员希望数据搜集完成后，程序能够得到通知。这时我们可以使用事件模式。事件模式很简单，对于每种类型的数据，NUI 都提供了数据搜集完成的事件，当数据搜集完成后，系统会通过事件（相对C#语言）来调用相对应的应用程序方法，如此应用程序就

可以通过事件参数来获取相对于的数据。比如：深度数据有DepthFrameReady 事件，骨骼数据有SkeletonFrameReady 事

件。 四、展望

通过利用Kinect 所提供的深度数据、骨骼跟踪等功能，再加上模式识别、手势识别等技术开发人员能够开发出令人耳目一新的应用程序。例如，在大型会议中心，目前演讲者需要

直接或使用激光笔来操作演讲稿，而通过Kinect 演讲者只需要通过手势就可以做到，甚至可以通过手势随时随地画图或画

线。再如，我们现在的汽车、飞机模型都是通过遥控器控制，而通过Kinect 我们可以通过自己的身体来控制。当然还有很多有趣、有用的创意等着我们去探索和开发。

参考文献： [1]微软主编.Kinect for Windows SDK 程序设计指南,2011 [2]Windows Presentation Foundation 程序设计指南(美)Charles Petzold 主编,电子工业出版社,2008 [作者简介]邵隽(1980-)，男，2007年毕业于国防科技大学软件工程专业，现为苏州工业园区职业技术学院信息工程系

教师。主要研究方向为工作流系统开发，数据分析，软件工程。 马娜(1978)-，女，2001年毕业于长春工业大学信息与计算科学专业，现为吉林农业大学信息技术学院数学系教师。主要研究方向为常微分方程理论，信息系统的数据应用，密码学。