Kinect 深度相机、微软Kinect及其应用
Kinect技术
THANK YOU! 感谢聆听！
Kinect 技术介绍
什么是Kinect
Kinect介绍
Kinect是一个Xbox360外接的3D
体感摄影机，利用即时动态捕捉、影
像辨识、麦克风输入、语音辨识等功
能让玩家摆脱传统游戏手柄的束缚，
通过自己的肢体控制游戏。
Kinect整体结构
• Kinect共有三个摄像头，中间的镜头是RGB彩色摄像机，左右两边镜头分别为红 外线发射器和红外线CMOS摄像机 • Kinect搭配了追焦技术，底座马达会随着对焦物体移动跟着转动 • Kinect内置阵列麦克风系统，用于语音识别
Kinect应用实例
3
Kinect应用实例 • 虚拟试衣镜 虚拟试衣已经发展了很长一段时间，在俄罗斯、美国出现了大量 的Kinect相关的电子导购系统。
3
Kinect应用实例 • 运动捕捉 Kinect应用于对动作捕捉精度要求非 常严格的领域，这是其未来发展的方向。 • 应用在手术室
手术者可通过体感控制查看患者的影像
2
人体骨架追踪
Kinect对景深图像进行像素级评估，
来辨别人体的不同部位
Kinect采用分割策略将人体从背景环境中区分出来，得到 追踪对象背景物体剔除后的景深图像
2
人体骨架追踪
• 把景深图像传进一个可辨别人体部 位的机器学习系统中，该系统将给 出某个特定像素属于身体某个部位 的可能性
• Kinect会评估输出的每一个可能的像 素来确定关节点 • 根据追踪到的20个关节点来生成一 幅骨架系统
Kinect的功能
2
Kinect的功能
• • •
Kinect动作捕捉系统介绍
Kinect动作捕捉系统介绍一、关于Kinect1、简介Kinectfor Xbox 360，简称Kinect，是由微软开发，应用于Xbox 360 主机的周边设备。
它让玩家不需要手持或踩踏控制器，而是使用语音指令或手势来操作Xbox360 的系统界面。
它也能捕捉玩家全身上下的动作，用身体来进行游戏，带给玩家“免控制器的游戏与娱乐体验”。
其在2010年11月4日于美国上市，建议售价149美金。
Kinect在销售前60天内，卖出八百万部，目前已经申请金氏世界记录，成为全世界销售最快的消费性电子产品。
2012年2月1日，微软正式发布面向Windows系统的Kinect版本“Kinect for Windows”,建议售价249美金。
Kinect有三个镜头，中间的镜头是RGB 彩色摄影机，用来采集彩色图像。
左右两边镜头则分别为红外线发射器和红外线CMOS 摄影机所构成的3D结构光深度感应器，用来采集深度数据（场景中物体到摄像头的距离）。
彩色摄像头最大支持1280*960分辨率成像，红外摄像头最大支持640*480成像。
Kinect还搭配了追焦技术，底座马达会随着对焦物体移动跟着转动。
Kinect也内建阵列式麦克风，由四个麦克风同时收音，比对后消除杂音，并通过其采集声音进行语音识别和声源定位。
2013年11月22日，随着xbox one的发售，kinect也更新为2.0版本。
二代和一代的主要区别在于它是专门为XboxOne设计，外形作了改进，精度更高，在捕捉在捕捉肢体动作和表情的基础上，增加了手指动作捕捉和心跳感应。
强化了分辨率至1080P，每秒处理的数据最多达2GB，镜头捕捉角度也增加至60%。
2、硬件功能3、安装部署除自定义应用程序处理外，对于将大量使用Kinect for Windows v2 身体跟踪的应用程序，建议使用下面的计算机配置作为参考。
该方案允许kinect发挥绝佳的性能，同时仍然能容纳附加的应用程序处理并维持最佳帧速率。
Kinect介绍
Kinect简介：Kinect是微软为其Xbox 360游戏主机和Windows平台PC打造的一款运动感知输入设备，作为一款体感外设，它实际上是一个采用全新空间定位技术(Light Coding)的3D体感摄像头，利用即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能，允许玩家使用身体姿势和语音命令通过自然用户界面技术与Xbox 360交互，从而完全摆脱了传统游戏手柄的束缚。
Kinect的主要配置有：RGB摄像头：为Xbox 360提供红、绿、蓝三颜色通道，主要作用在于面部识别和动作追踪；深度传感器：深度传感器有红外线投影机加单色CMOS传感器组成，虽然功能并不复杂，但它可以让Xbox 360真正“看到”3D空间，而不是通过计算得出空间数据；多点阵麦克风：主要功能是为了聊天以及语音命令识别，并可以帮助过滤环境噪声；定制处理器和微软的定制软件：所有硬件都由微软设计的软件控制，商业目的。
Kinect的历史：Kinect所使用的技术是Zeev Zalevsky, Alexander Shpunt, Aviad Maizels and Javier Garcia等人早在2005年所研发的；2009年6月1号E3游戏展上，微软首度公布代号为“Project Natal”的体感控制器，“Project Natal”这个代号是由来自巴西的微软董事Alex Kipman以巴西城市Natal, Rio Grande do Norte命名，此外，“natal”这一英文单词还有“初生、诞生”的意思，这也包含了微软将该项目视为“下一代家庭娱乐的诞生”，对Xbox 360带来新生的期望。
在Kinect公布时，微软宣布有超过一千种开发工具于当日发放给游戏开发人员，为了展示Kinect的魅力，微软在其E3 2009媒体发布会上演示了三个demos来展现Kinect，包括Ricochet, Paint Party 和Milo & Kate（三款游戏），另外还有一个基于Burnout Paradise的Kinect游戏试玩也在这个发布会上一同展示。
Kinect技术简介
骨架追踪系统
▪ Kinect传感器 ▪ 寻找移动物体 ▪ Kinect的大脑 ▪ 模型匹配：生成骨架系统
模型匹配：生成骨架系统
▪ Kinect会评估Exemplar输 出的每一个可能的像素来 确定关节点
▪ 根据追踪到的20个关节点 来生成一幅骨架系统
骨架追踪系统
▪ Kinect传感器 ▪ 寻找移动物体 ▪ Kinect的大脑 ▪ 模型匹配：生成骨架系统
寻找移动物体
Kinect对景深图像 进行像素级评估，来辨 别人体的不同部位
Kinect采用分割策略将人体从背景环境中区分出来， 得到追踪对象背景物体剔除后的景深图像
骨架追踪系统
▪ Kinect传感器 ▪ 寻找移动物体 ▪ Kinect的大脑 ▪ 模型匹配：生成骨架系统
▪ Kinect骨架追踪系统的核心：CMOS红外传感器
▪ 该传感器通过黑白光谱的方式来感知环境： 纯黑代表无穷远，纯白代表无穷近；黑白间的
灰色地带对应物体到传感器的物理距离 它收集视野范围内的每一点，并形成一幅代表
周围环境的景深图像
▪ 传感器以每秒30帧的速度生成景深图像流，实时3D 地再现周围环境
Kinect引领人机交互变革
▪ Kinect凭借其出色的体感互动能力， 打出“You are the controller!”的口号，正在引领着一 场人机交互的变革。
什么是Kinect?
Kinect是一个Xbox360外接的3D体感摄影机 (如上图)利用即时动态捕捉、影像辨识、麦克风 输入、语音辨识等功能让玩家摆脱传统游戏手柄 的束缚，通过自己的肢体控制游戏。
▪ 散斑具有高度随机性，随着距离变换图案，空间中任何 两处的散斑都是不同的图案，等于将整个空间加上了标 记，所以任何物体进入该空间、以及移动时，都可确切 纪录物体的位置。
Kinect设备功能探索
产业观察Industry Observation2017.08数字通信世界371 Kinect设备介绍1.1 Kinect历史Kinect 的全称是Kinect for Xbox 360，是微软开发的、服务于Xbox 360家用主机的外设产品。
它的出现主要是为了玩家能够使用这些设备去玩一些虚拟的体感游戏，让玩家不需要接触控制器，使用语言、手势等非接触性的操作来控制Xbox 360的系统界面，也能够使用这种方法来玩相应的游戏。
Kinect 作为获取人体信息的终端设备，它能够捕捉人体的运动信息，反馈给游戏主机，让玩家能够用身体来进行游戏，带给使用者基于体感控制的不同体验。
Kinect 于在2010年11月4日于美国上市，在上市不到一百天便已然卖出了数百万台，创下来微软游戏外设销售的记录，同时149美元这样廉价的设备，不仅勾起了玩家的兴趣，也让很多人涌入Kinect 研究领域，这也使得Kinect 成为全世界销售最快的消费性电子产品。
1.2 Kinect硬件设备Kinect 其实就是一个摄像头，但是不同于以往摄像头的是，Kinect 有三个镜头，左右两个镜头是用来发射和接收红外线的深度图像镜头。
这两个镜头通过发射红外和接收反射回来的红外线信号来计算场景中物体深度图像信息，也就是这两个摄像头构成了Kinect 的3D 结构工深度感应器。
深度图像就是场景中物体到Kinect 设备的距离，还有RGB 彩色摄像头用来捕捉和采集物体的彩色图像。
彩色摄像头最大支持1280*960分辨率成像，红外摄像头最大支持640*480成像。
Kinect 底座配有马达可以控制摄像头的转动，来实现自己的追焦技术。
同时Kinect 两侧的麦克风阵列，类似人的双耳可以同时收音，这也就意味着Kinect 可以做到语音识别和听音辨位。
同时同时收音还可以通过对比来消除杂音。
Kinect设备功能探索李 畅（河南省新乡市第一中学，新乡 453000）摘要：本文从Kinect的历史展开论述，分别介绍了Kinect的硬件设备、Kinect获取深度图像的原理及Kinect发展现状，最后发表关于Kinect开发的一些见解。
Kinect原理及介绍
Kinect光斑图
Kinect 获取三维点云
• 一、获取深度影像 • 二、Kinect 的深度摄像头成像类似于普通的 双目立体视觉，只要获取了两个摄像头之 间的基线（baseline）和焦距（focal length）、以及视差数据，通过构造矩阵 Q， 利用 OpenCV 的 reprojectimageTo3D 函数， 也可以计算出三维坐标。
Kinect获取深度影像的技术 获取深度影像的技术
• 不同于传统的ToF或者结构光测量技术， Kinect使用一种名为光编码（light coding） 技术，其使用的是连续的照明（而非脉 冲），不需要特制的感光芯片，只需要普 通的CMOS感光芯片，因此• Light coding ，顾名思义就是用光源照明给 需要测量的空间编上码，说到底还是结构 光技术。但与传统的结构光方法不同的是， 他的光源打出去的并不是一副周期性变化 的二维的图像编码，而是一个具有三维纵 深的“体编码”。这种光源叫做激光散斑 （laser speckle），是当激光照射到粗糙物 体或穿透毛玻璃后形成的随机衍射斑点。
Kinect工作原理
• kinect通过IR头投射一些“随机”点阵，然 后只用了一个普通的CMOS传感器来扑捉这 个点阵。简单来说，当场景的深度发生变 化时，摄像头看到的点阵也会发生变化， 通过这个变化就可以推断出深度信息。 • 具体内容可参见专利文档： /7433024. pdf
Kinect三维重建演示
获得场景的深度的几种方法
• 三角化：激光+摄像头，双目，投影仪+摄 像头等等 • depth from focus技术 • coded aperture技术 • 深度摄像头所采用的TOF（time of fight）技 术：利用主动射出的红外光往返的相位差 来测量深度
azurekinect深度相机原理
azurekinect深度相机原理azure kinect 深度相机原理RGB原理就不要讲了⼯作原理Azure Kinect DK 深度相机实现调幅连续波 (AMCW) 时差测距 (ToF) 原理。
该相机将近红外 (NIR) 频谱中的调制光投射到场景中。
然后，它会记录光线从相机传播到场景，然后从场景返回到相机所花费的间接时间测量值。
处理这些测量值可以⽣成深度图。
深度图是图像每个像素的⼀组 Z 坐标值，以毫⽶为单位。
连同深度图⼀起，我们还可以获得所谓的清晰 IR 读数。
清晰 IR 读数中的像素值与从场景返回的光线量成正⽐。
图像类似于普通的 IR 图像。
下图显⽰了⽰例深度图（左）的对应的清晰 IR 图像（右）。
主要功能深度相机的技术特征包括：配备⾼级像素技术的 1 兆像素 ToF 成像芯⽚，实现更⾼的调制频率和深度精度。
两个 NIR 激光⼆极管实现近距和宽视场 (FoV) 深度模式。
全球最⼩的 3.5µm x 3.5µm ToF 像素。
⾃动像素增益选择⽀持较⼤的动态范围，允许捕获清晰的近距和远距对象。
全局快门可帮助改善⽇光下的拍摄性能。
多相位深度计算⽅法能够实现可靠的准确度，即使芯⽚、激光和电源存在差异。
较低的系统误差和随机误差。
深度相机将原始的调制 IR 图像传输到电脑主机。
在电脑上，GPU 加速的深度引擎软件会将原始信号转换为深度图。
深度相机⽀持多种模式。
窄视场 (FoV) 模式⾮常适合 X、Y 维度范围较⼩，但 Z 维度范围较⼤的场景。
如果场景中的 X、Y 范围较⼤，但 Z 范围较⼩，则宽FoV 模式更合适。
装箱的代价是降低图像分辨率。
所有模式都能够以⾼达 30 帧/秒 (fps) 的速率运⾏，但 1 兆象素 (MP) 模式除外，它的最⼤运⾏帧速率为 15 fps。
深度相机还提供被动 IR 模式。
在此模式下，照像机上的照明器不会激活，只能观测到环境光。
相机性能系统误差系统误差定义为消噪后测得的深度与正确（真实）深度之差。
微软正式发布Kinect for Windows及SDK
微软正式发布Kinect for Windows及SDK10月9日，微软正式在中国发布了Windows版Kinect感应器。
从现在起，企业可以充分利用Kinect 体感功能，为中国客户开发和部署商业解决方案。
同期，微软还发布了最新版本的Kinect for Windows软件开发工具包(SDK)，以及供全球下载的运行时间。
Kinect for Windows平台支持企业和开发者利用PC及其它Windows终端使用Kinect，以开发更多应用给用户带来更多创新体验。
Kinect for Windows平台包括Kinect for Windows感应器，Kinect for Windows 开发工具包(SDK)，以及商用许可。
Kinect for Windows能够帮助用户通过手势和语音与计算机进行自然交互，从而向各行业领导厂商提供全新的交互工具以改变其客户和员工的人机交互方式。
Kinect for Windows的发布意味着用户不再局限于使用键盘、鼠标或触控屏幕进行计算机操作，使用者只需给出口令即可完成应用命令操作。
如果他们想要在屏幕上移动对象，只需通过手势即可完成。
这一创新性的自然界面人机交互开启了全新的计算应用体验类别，其中包括：• 零售行业——与零售商店和公共场所数字标牌信息亭进行远程互动;• 医疗行业——充分利用语音和手势功能进行远程诊疗，以确保无菌环境和免控制要求;• 利用Kinect for Windows的人体跟踪功能来开发培训和模拟工具，如物理疗法应用、员工学习模块或体育健身应用;• 教育领域——在教室中，对数据进行可视化和操纵。
Kinect for Windows感应器中国地区建议零售价格为人民币1930元，可在京东商城网站购买。
Kinect for Windows感应器提供了Windows开发者所要求的功能和特性，其中包括：用户可在无需接触键盘或屏幕的情况下进行人机交互(例如在会议室、手术室或办公室)的近距离功能。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
random noise
systematic bias
35/50
How to reduce the noise
reduce random noise ?
by temporal average
reduce systematic bias ?
using another view
one frame of raw TOF data
22/50
动态场景重建算法
23/50
动态场景重建算法
24/50
Template based method
25/50
三维场景重建—应用
三维扫描
KinectFusion-PCL-ReconstructMe（三维人体扫描、三维物
体扫描、生成雕塑） 街头快速人像雕塑
人机交互
飞行机器人、盲人导航、辅助倒车
36/50
Energy function to refine average meshes
• Average Meshes • Energy function to be minimized:
37/50
38/50
Raw data got from time-of-flight camera
Reconstructed mesh
29/50
骨架跟踪算法2
From an single input depth image, a per-pixel body part distribution is inferred. Local modes of this signal are estimated for the 3D locations of body joints.
14/50
捕获深度数据特点
Up to 54 FPS
高速拍照
低分辨率 176*144
噪声大
Time-of-flight sensor (TOF)
15/50
深度数据预处理
•利用单帧深度数据进行去噪(高斯平滑滤波、双边
滤波)
•利用高分辨率彩色图像的信息来提高低分辨率深
度数据的质量
•利用多帧数据的冗余信息
32/50
我们的工作
• 如何利用深度相机获得的低分辨率、高噪声、
高帧率的数据，生成较高质量的三维人体模型
•
•
3D Body Scanning with Hairstyle using one Time-of-Flight Camera. CASA 2011 (CAVW) Scanning 3D Full Human Bodies using Kinects. IEEE Virtual Reality 2012 (TVCG)
39/50
Genererate hair fibers
40/50
Scan static objects with normal material
color Image
raw TOF data
laser scan
model got by [Cui, et al, CVPR 2010]
model got by our method
12/50
深度相机原理（Time of Flight）
Distance = time * speed / 2
3D scene
Sensor
13/50
深度相机原理（Kinect）
当激光穿透毛玻璃后形成随机衍射斑点，这些散斑 （laser speckle）具有高度的随机性，而且会随着距 离的不同变换图案。空间中仸意两处散斑图案都不 同 Light coding打出了一个具有三维纵深的“体编码” ，只要看物体表面的散斑 图案，就可以知道这个物 体在什么位置
/50
Hair data captured by TOF camera
one frame of raw TOF data
pictures taken with similar views
34/50
Noise character of TOF data
ground truth
measured data
10/50
三维扫描设备
laser scan
structured light
$240,000
$50,000
11/50
深度数据获取方法
ቤተ መጻሕፍቲ ባይዱ
Laser scanning system
Multi-view system
Time-of-flight sensor (TOF) $4,000
Microsoft Kinect $150
16/50
数据捕获与刚体配准
• 固定TOF相机，待测物体旋转 • ICP对齐
17/50
数据捕获与刚体配准
• 固定TOF相机，待测物体旋转 • ICP对齐
18/50
静态场景重建
数据预处理
分割、去噪
序列刚体对齐
19/50
全局刚体对齐
20/50
静态场景重建
数据预处理
分割、去噪
序列刚体对齐
全局刚体对齐
USTC Summer School 2012 Advances in Computer Graphics （计算机图形学前沿进展）
深度相机、微软Kinect及其应用
童晶 2012-6-28
1 /50
介绍的主要内容：
• 三维扫描技术介绍 • 深度相机的原理、优势（TOF，Kinect） • 深度相机的应用研究
49/50
Q&A
@
50/50
45/50
Rigid alignment
46/50
Results after global non-rigid alignment
47/50
Application: virtual try on
48/50
总结
• 作为一种廉价高效的硬件设备，Kinect已经在
计算机图形学、电子游戏、计算机视觉、人机交 互领域有了很多应用研究 • 在学术研究和实际应用中还有很多工作值得人 们进一步去尝试 • Have fun using Kinect！
增强现实
Kinect魔术
三维重建
表情跟踪 如何看到看不见的人
26/50
Kinect捕获数据
深度数据
彩色数据 骨架、手势 人脸跟踪 声音
Kinect for PC 2012
Kinect SDK 1.5现场测试
27/50
骨架跟踪算法
？
28/50
骨架跟踪算法1
Accurate 3D Pose Estimation From a Single Depth Image. iccv2011
41/50
Scan full body with one Kinect
42/50
Scan body at closer distance
up
mid
down
43/50
Interference problem
without interference with interference
44/50
The setup of our system
• 三维数据重建 • 人机交互与用户跟踪 • 我们的工作： • 三维发型扫描重建（TOF） • 三维人体重建（Kinect） • 总结
2 /50
三维扫描技术介绍
Digital Emily Project
Geometry
Dynamics (Motion, Deformation, etc.)
Rendering (Illumination Model)
Real-Time Human Pose Recognition in Parts from Single Depth Images. CVPR 2011 (best paper)
30/50
人手跟踪算法（测试）
31/50
跟踪算法—应用
游戏（Natal宣传视频） Avatar 辅助外科手术、医学教育 监控 虚拟试衣（1,2）、虚拟试鞋 机器人控制（1，2）、自动购物车 手势交互（1，2） 视点相关的三维显示、全息桌面 将舞蹈转换为音乐 ……
3D Scanning
3 /50
三维扫描的应用: 娱乐业和消费电子
4 /50
三维扫描的应用: 历史遗迹保护
5 /50
三维扫描的应用: 医学图像和手术规划
6 /50
三维扫描的应用： 机器人(交互与导航)
7 /50
三维扫描的应用: 检测和逆向工程
8 /50
三维激光扫描原理
• 精度高 • 速度慢、不易操作、成本高
9 /50
The 3D Scanning Pipeline
Data Capture
Reconstruct 3D Point Cloud(s)
Assign Texture (BRDF, etc.)
Extract Isosurface (Polyhedral Mesh)
Align 3D Point Clouds
网格重建
21/50
静态场景重建
Reconstruction of 3D Models using Kinect and RGBD-SLAM KinectFusion: Realtime 3D Reconstruction and Interaction Using a Moving Depth Camera