基于深度图像技术的手势识别方法

基于深度图像技术的手势识别方法

作者：付学娜

来源：《电子技术与软件工程》2015年第04期

所谓手势是指人手或手臂同人手结合而产生的动作或姿势，作为人机交互的一项重要技术，手势识别通过在人手安置相关的硬件设备，并通过硬件设备中的计算模块对人手的位置和速度等信息进行获取，对于识别过程中的定位和跟踪均都具有良好的指导和保障作用。本文通过对手势识别系统与深度图像的成像原理进行阐述，进而结合手势区域分割的相关理论，对基于深度图像技术的手势识别方法展开了深入研究。

【关键词】深度图像技术手势识别圆形轨迹像素值变化点

随着科技的不断发展，基于视觉的手势识别已成为新一代人机交互中的核心技术。在借助相关图像信息的基础上，计算机可以对人手的各种姿态信息以及不同的手势信息尽心准确识别，有效提高了识别的速度与质量。本文以基于深度图像技术的手势识别作为研究对象，通过对手势识别系统及深度图像成像原理进行分析，从手势区域分割以及手势特征提取两方面出发，对深度图像技术下手势识别的方法做出了详细分析。

1 手势识别系统与深度图像成像原理

基于深度图像技术的手势识别系统主要包括了手势、深度图像、手势区域分割、手势特征提取以及手势识别和人机交互等，深度图像以非接触测量的方式对场景中的深度信息进行采集，而所采集的深度信息具有较强的稳定性和可靠性，即不受物体（人手）自身颜色、背景环境和纹理特征等因素的影响。本文以微软的Kinect作为图像采集和获取深度信息的工具，进而对手势识别展开分析。

基于Kinect下的深度图像技术下所采集的640×480深度图像信息的速度可达30f/s，且信息的分辨率维持在5mm左右，在应用方面具有较强的合理性。通过在相关场景采集的场景深度值进行转换，使其转移到灰度值空间，并使深度图像中所有的像素点灰度值大小与实际场景中不同的深度值相对应，进而显示成像。值得注意的是品拍摄区域与深度摄像头之间的距离与图像中的灰度值呈现出明显的负相关关系，即灰度值越大，距离越近。

2 基于深度图像技术的手势识别

2.1 手势区域分割

虽然具有相同深度的像素点，其在深度图像中所具有的灰度值也具有较高的一致性，但由于在每次对人手手势进行拍摄时，人手同深度摄像头间的距离存在差异。因此，无法利用单一

的固定阈值对手势区域进行分割，故本文以灰度值直方图作为主要研究方法，进而确定出相关背景及手势区域分割的阈值。由于人手做出相关姿势的区域距离深度摄像头较近，且相对于整个背景区域的面积较小，因此，可从由大到小的顺序找出像素数点的变化，进而将较大的灰度区域作为手势区域分割的灰度阈值。根据相关资料统计，手势区域发生明显变化时，灰度值为235（在Kinect中），并将235确定为分割灰度阈值，并以该阈值为依据对手势区域与背景区域进行分割。

2.2 手势特征提取

基于手势表观特征的手势特征提取法无需训练样本，且对背景的适应能力较强，具有较高的运算速度，故本文以手势的表换特征作为手势特征提取的主要方法，根据手指个数以及不同手指间的夹角对手势进行分类和识别。手势特征提取的主要步骤如下：

（1）获取手势区域中心位置点。由于在手势区域中，手掌所占的区域比例最大，因此，将手掌作为手势表观的核心构成，以连续的腐蚀操作将手势区域的边界点进行消除，从而使手势区域逐渐缩小至一点，即手势区域的中心位置点。

（2）对中心点和手势区域边缘的最大距离进行计算，并对距离进行10等分，并以中心点作为圆心，以最长距离的1/10作为单位值每次递加1/10的半径长度画出10个圆形区域。

（3）对每条圆形轨迹上的灰度像素值的变化点的位置坐标值以顺时针的方向进行记录，同时，删除圆形轨迹外单独存在的像素值变化点。

（4）根据不同像素值变化点的坐标计算出各个变化点之间的距离，值得注意的是当指尖区域同圆形轨迹相接截获得较小的像素值变化点距离时，并不能以此表示当前手指的实际宽度值。因此，当变化值小于阈值时，应删除与此变化值相对应的像素点。

（5）找出同一圆形轨迹中像素值变化点间的最大值，并将10个圆形轨迹像素值变化点的最大值作为与手掌相连的分支数总量。

（6）对不同分支的平均值进行计算，进而的到各个分支的平均宽度。由于人手手腕的宽度要大于手指宽度，因此，在经计算得到的不同分支中手腕应与具有最大值的分支相对应。

（7）将去除手腕后的其他分支在其各自的圆形轨迹中去两个像素值变化点连线的中心点与整个手势区域的中心点相连，从而得到人手不同手指间的夹角。

2.3 手势识别

通过对手势的表观特征进行提取，进而通过建立决策树模型的方法对不同收拾进行识别。对决策树进行说明如下：所谓决策树是指通过对相关样本进行归纳和学习，从而生成决策规则

或决策树，并利用已经生成的决策树（规则）对新产生的数据进行分类。分类原理为：通过将具体实例从根节点排列到“枝干”的某个子节点进行分类，而“枝干”子节点便是新实例的所属分类。

手指表观特征主要为手指数量（N，N=10）与2.2中经收拾区域分割而得到的手指夹角，故将其作为决策树的分类节点。由于不同手指间的动作所表现出的差异性较为明显，因此，所建立的决策树应以手指数量N作为根节点，而对于具有相同手指数量的手势，则建立相应子节点并以各个手指间夹角的差异情况进行具体划分。需要说明的是子节点中关于手指夹角则是通过Kinect的小样本训练进行的分类条件的获取工作。

3 结论

本文通过阐述手势识别系统的概念以及深度图像的成像原理，并将手势的表观特征作为手势区域分割的主要依据进而对收拾区域分割的步骤进行说明。通过将手指数量与不同手指间的夹角作为主要分类依据，提出了一种基于深度图像技术下决策树分类识别方法的，并对此方法对手势识别的原理和过程做出了深入探究。可见，未来加强对基于深度图像技术下手势识别办法的研究，对于提高人手的定位、识别和特征提取的工作效率具有重要的现实意义。

参考文献

[1]伍玉霞.基于深度图像信息的手势识别技术研究与应用[D].沈阳：东北大学，2013.

[2]郑斌珏.基于Kinect深度信息的手势识别[D].杭州：杭州电子科技大学，2014.

[3]李瑞峰，曹雏清，王丽.基于深度图像和表观特征的手势识别[J].华中科技大学学报（自然科学版），2011，02（12）：88-91.

作者单位

河北工业大学天津市 300401