基于手势识别的人机交互综述

基于手势识别的人机交互综述

摘要：近年来，得益于虚拟现实、人机界面技术、计算机视觉等领域的发展，基于手势识别的人机交互技术得到大力的推动。本文就基于手势识别的人机交互技术展开综述。首先概括手势交互的涉及领域，回顾其发展史和国内外研究现状。接着阐明它的基本界定和分类，并在此基础上分析其热点关键技术。然后实例讨论了几种类型手势交互的典型应用。最后给出了结论。

关键词：虚拟现实；手势交互；计算机视觉；手势识别；特征跟踪

1．引言

人机交互技术通过输入、输出设备，以有效的方式实现交互主体与交互客体的对话。当前的人机交互技术已经从过去交互主体适应交互客体，发展为交互客体不断地适应交互主体的习惯和以交互主体为中心的新阶段[1,2,3,4]。以用户为中心的，新型、自然的人机交互技术逐渐成为开发者和科研工作者的关注重点。这类交互方式要求输入与输出能够最大限度地符合交互主体的行为习惯，并能够在交互主体的脑中顺利构建交互环路。由于手势具有极强的信息表述功能，加之人手操作行为本身就是人与世界相互作用的主要方式，因此，基于手识别的人机交互技术相关研究有着重要的理论价值和应用价值。基于手势识别的人机交互技术涉及计算机科学、认知心理学、行为学等诸多方面的知识。本文不能面面俱到，仅就手势交互的基本问题：手势语义的分类，以及当前发展概况、研究热点技术和典型系统应用等相关问题进行综述。

2．研究现状

目前，基于视觉的手势交互已被广泛的研究，由于手势本身的多义性及时空差异性，加之手形变的高维度及视觉问题本身的不适定性，基于视觉的手势识别一直是一项极富挑战性的究课题[5]。需要解决的核心问题是对手形的识别，对手势的跟踪等。传统的方法主要分为两大类：（1）基于模型（model-base）的方法；（2）基于表征(appearance-based)的方法[6]。这些方法及其衍生算法极大程度地依赖于计算机科学中虚拟现实、机器视觉、模式识别、人机交互等多个领域的交流与合作。相关的国际会议：CHI、ICCV、CVPR、ICAT、IEEE VR 为研究者提供了一个能充分交流的空间，并吸引了越来越多的研究人员共同参与合作。此外，学科之间的交流也吸引了心理学研究人员的共同参与。他们以从用户为中心出发，为基于手势交互研究和开发提出了宝贵意见[7]。纵观手势交互的发展历程，其研究重点也从早期简单的系统框架、低层特征提取[8]、手形模板匹配[8]等问题转变到关节式物体跟踪[9,10, 11]、跟踪性能评价[12]、操作型手势解析[14]等问题上。我国在基于手势识别的人机交互领域的研究近年来得到了长足的发展。研究机构集中在国内的研究所和高校的科研单位。目前国内手势交互的研究成果主要有：中国科学院软件研究所[15]的研究中，对二阶自回归过程动力学模型（Auto-Regressive Process, ARP）进行训练和学习，进而建立基于ARP 的预测模型，实现了人手运动的鲁棒性跟踪，在出现跟踪丢失的情况下在后续序列中可以自动恢复正确跟踪。中国科学院自动化研究所模式识别实验室提出一种基于区域的多连接体(手指)的三维运动跟踪算法[13]，用多约束融合的方法以及手指的运动特性，建立多刚体的三维运动描述，通过三类基本约束条件，把跟踪问题归结为一个约束误差优化问题。清华大学的崔锦实博士，提出一种基于回归－优化方法的关节式物体的姿态估计方法[16]。该方法把回归分析与全局优化搜索相结合，保证了估计的精度和连续性；针对现有滤波器在高维非线性多峰

跟踪问题上的困难，将粒子滤波器与全局搜索算法的演化粒子滤波器方法相结合，提高了高维跟踪的精确度。其他高校与科研单位也做出了不少优秀的工作与关键的贡献。

3. 关键技术

首先区分手势识别中的两个重要概念：手形(hand posture)与手势(hand gesture)[17]。手形，是以手的一个特定姿势表示一个语义。而狭义的手势，则是以手在时间轴上的连续位置构成的轨迹代表一个语义。简单来说，我们可以理解手势为一段时间轴上连续的手形。有的研究者也使用广义的手势涵盖这两个概念，即静态手势和动态手势，在这种理解下，手形也是一种特殊的手势。对静态的手形进行识别，与对连续的手势进行跟踪，是手势识别中的关键问题。

3.1 手势交互的分类

对手势的交互语义进行分类和界定，是手势交互的重要问题，是深入手势交互研究的基础工作，界定工作涉及人机界面、行为学、认知心理学等多个领域。对于手势交互语义的分类，Pavlocvic.等人发表在1997 年PAMI 的文献[18]有着指导意义。他们从行为学角度出发，将手的动作分为两类：无意识动作与手势；进而从认知心理学的角度，对实际生活中包含交互语义的手势再进行细分。首先，将手势分为通信型手势与操作型手势。通信型手势如手语，是一种天生的交互工具，具有强大的信息表述功能，借用到人机交互领域的此类手势交互正被广泛地研究。而操作型手势，如在真实环境中对物体的操作，则作为人的一种自然行为，并不专为人机交互的应用而生，然而随着以用户为中心的人机交互研究的进一步深入，这类更贴近自然行为的交互方式具有深远的理论与应用价值，在虚拟现实和增强现实中具有极高的应用潜力。接着，通信型手势又被分为符号与动作。符号表示事先约定的语义，进一步被分类为指代型符号和模式型符号，指代型符号如“V 手形”字表示胜利，“W 手形”表示OK 等，通常是一种静态手势；模式型符号，如耸肩，摊手，挥手等，常用来表示某种情绪。动作则通过连续的手形表达语义，包括模仿型动作和指示型动作，模仿型动作如手握方向盘驾驶的交互操作；指示型动作如手指指示方向等交互操作等。具体分类方法见图1。纵观整个问题领域，我们发现针对通信型手势的研究，发展地比较成熟。其原因在于，一方面通信型手势天然的信息表达与交互优势，另一方面也在于这类方法实现起来的相对简单。而操作型手势作为更加自然的手势交互模式，由于涉及到的识别问题与跟踪问题更加复杂，所以发展相对滞后。目前尚处于亟待开发的状态。

3.2 手形的识别

对手形的识别，基于表征的方法分为两个层次：（1）图像特征的提取，（2）语义特征

的提取。基于模型的方法则通过搜索匹配模型，获得手形的语义。

3.2.1 基于表征的方法

基于表征的方法直接从观察到的图像推算出手势，需要计算的参数包括图像的几何信息、手掌和手指的位置信息、轮廓边界信息等。目前来看，较之基于模型的方法，此类方法缺乏通用性，但优点在于速度快，能够满足实时应用的需求，具有较强的实用性。这类问题主要涉及图像处理的系列操作，属于对手势低层次特征的提取。在低层次特征被提取之后，可以由此分析得到包含手形语义的高层次信息，从而实现手形识别。与手势识别相关的图像处理算法中，实时目标分割算法主要有肤色检测和背景减法（BGS）。肤色检测算法优点是速度快，在运动摄像机的情况下也可以分割出人手前景，缺点是易受环境影响，应用领域单一。操作型手势交互并不排除手持简单物体（小棒，笔等）对虚拟目标进行交互，在此情况下

肤色检测方法失效。BGS 算法不存在对目标颜色的限制，但计算量相对于肤色检测明显增大，并且尚未研究出运动视点下实时分割的优质结果。手形的自然变化具有高维度的特征，加之手指间存在无法预测的遮挡，使得手特征提取以及基于特征提取的手细节结构的实时重建非常困难。[19,20]将动态的手细节忽略，将之视为一个整体进行交互。然而，在精细的交互应用中必须区分手的细节。这就对基于手势识别的人机交互提出两个挑战：（1）如何有效提取细节特征；（2）如何有效获得交互信息。提取细节特征时，传统研究认为，指尖点[21]、边界[22]和轮廓[23]是几种有效的基本信息。基于表征的特征提取后，获取高层语义的方法可分为两类：（1）直接重建三维人手结构[21]；（2）匹配手形模板[24]。第一类方法常结合多视几何的技术实现；而第二类方法则常用独立主元分析（PCA）的方法实现。

3.2.2 基于模型的方法

基于模型的方法需要比较三维模型与当前图像来获得手的状态，然后对手和手臂的运动和姿势建模，最后通过它们模型的参数如关节角度、手掌位置等来推算手形。这种方法计算输入手形与模板手形的距离，寻找最优的匹配结果[8]。虽然精确度高、效果好，但由于手的形态变化维度极高，所以这是一个高维搜索的问题，目前来看计算代价过大，尚不能达到实时要求[25,26,27]，应用范围受到一定局限。因此，各种手戴标记被广泛应用。[14]使用打印了特定图案的棉质手套的实时投影图案，重建三维人手模型，取得了实时的结果，可用来进行操作型手势交互的应用。

3.3 手势的跟踪

3.3.1 基于表征的特征跟踪

实时鲁棒的跟踪到无标记的人手自然位置，可以用来协助手势识别并通过手的运动轨迹获得模仿型动作，从而实现使用模仿动作的通信型手势交互。对图像特征的跟踪是机器视觉领域的传统问题，已发展的相对成熟。然而随着手势交互领域相关应用的发展，对特征跟踪又提出了新的需求。由于刚体的跟踪已经有了比较稳定的算法[28,29]，而手是一个高度灵活的非刚体物体，所以一般的特征匹配与跟踪算法无法达到较高的成功率。[30]总结了人机交互系统中，手势跟踪算法应满足的三个要求：（1）实时性好，避免高维度特征矢量的计算和复杂的搜索过程。（2）足够的鲁棒性，不受跟踪对象旋转、平移和比例改变以及摄像头视角改变的影响。（3）跟踪的连续性和自动初始化，能够在跟踪失败后自动恢复跟踪，尽量减少人为干预。鉴于手自身的高度灵活性，跟踪背景的复杂性，以及相机运动的不确定性，如果直接使用基于普通的肤色查找表的算法，背景减法，或自适应背景模型[31]等算法，不能满足应用的鲁棒性需求。[32]提出了多线索特征流的概念，通过跟踪一系列特征点来对人手自然的整体进行定位。但是[32]使用头戴，假设手与摄像设备距离相对固定，并且假设背景中没有较大肤色物体，而这对于一般面向用户的交互应用并不具有适用性。[20]基于多线索特征流的思想，结合速度模型与贝叶斯肤色模型，采用基于速度权值的特征点流与肤色模型多模式的方法。对于手的跟踪，可以满足上述的三个要求。

3.3.2 关节式物体跟踪

作为蒙特卡罗( Monte Carlo)方法的一种实现形式，粒子滤波方法已经成为处理非高斯、非线性问题的有力工具而在关节式物体的跟踪领域得到了广泛的关注。但是，粒子滤波方法需要大量样本来表示后验分布，对于以高维为特征的关节式物体来说，即使采用10 维变量，每个变量取20 个离散值，也至少需要320,000,000 个样本才能较好地表示后验分布的典型集[33]，这使得实时性跟踪变得遥不可及。因此，很多研究者对如何降低状态空间的维数行

了比较广泛的研究，除了利用人手的动态约束条件和静态约束条件所决定的变量之间的关联性和变量的变化范围，从而在一定程度上降低状态维数之外，人们采用了多种方法研究高维状态的处理方法。第一种方法是将状态空间分割为若干子空间[35]；第二种方法是通过机器学习[36]的方法来获取高维特征集与手势之间的关系，是解决高维特征空间搜索问题的一个有效途径；第三种方法是采用分析-合成（Analysis-by-Synthesis）[37]技术处理高维问题。在文献[38]中，为了识别多物体（每个物体代表一个不同的手势）把一组瀑布模型分类器组织成树状结构。对于给定的参数化三维模型，以便宜的时间代价取得样本图像的训练数据。针对在复杂背景下图像特征容易发生误配的问题，Akihiro Imai 等人把误配概率引入到跟踪算法中[39]。Tangli Liu 等人[40]结合图像模型、人手模型、CAMSHIFT 算法以及NBP 算法，再利用两个校正相机获取三维深度线索，实现人手的鲁棒性跟踪。在文献[41]中，融合尺度估计和目标模型的更新，提出一种基于核的跟踪方法。首先用固定尺度的基于核的方法估计物体中心位置，然后对尺度进行优化，再用基于核密度估计策略刷新目标模型。Raskin, L 等人通过结合基于高斯动态模型和退火粒子滤波器[42]，达到降低状态向量维数的目的。该方法可以改善跟踪器的性能，增加其稳定性，且易于在丢帧情况下进行恢复。Sunita Nayak 等人从手势方向、颜色等低层特征的统计分布出发，建立运动帧变化的分布函数[43]，从而将高维问题转换为低维空间进行处理。文献[44,45]结合对操作者的认知行为模式的研究，提出微观状态变量的概念（MSV）并以此减少随机采样的粒子数，从而大大提高跟踪效率和精确度。

3.4 操作型手势交互

为实现手势的自然交互，操作型手势交互的研究格外值得重视。自然人手的操作型手势交互需要达到以下两方面要求:（1）人手不必装备任何附加装置或标记；（2）交互行为符合人手的交互行为习惯，即操作型手势的交互语义集合是自然人手操作物体时的交互语义集合的子集。手势的识别与跟踪问题在面对操作型手势交互需求时更加困难，原因在于自然人手进行操作物体的交互语义集合更加庞大和复杂。

4．典型应用

基于手势识别的典型交互应用通常特定支持某一类型的交互语义。因此按照交互语义的类型分类可分为（1）通信型手势应用；（2）操作型手势应用。

4.1 通信型手势交互应用

通信型手势的交互采用通信型手势作为交互工具，在这类系统应用中，特定的手势作为信号传送给计算机，从而驱动交互。这里又可以细分为（1）动作型交互系统；（2）符号型交互系统。

4.1.1 动作型手势交互应用

动作型交互使用连续的手形动作表达交互语义，包括模仿型动作和指示型动作。这种交互典型的应用领域是虚拟现实的虚拟漫游交互。如利用双手驾驶飞机或汽车，控制方向从而漫游虚拟现实环。此时采用的是模仿型动作的交互方式。

4.1.2 符号型手势交互应用

符号型交互采用手势符号表达交互语义，包括指代型符号和模式型符号。这类手势交互典型应用是文字或图像软件编辑型交互。如Gesture-Based Editing 系统[34]将手势分为两类，一类是图元手势，如圆、三角形、矩形、水平线等和编辑命令，如移动、拷贝、取消、关闭

等。另一类是数字和字母。

4.2 操作型手势交互应用

操作型手势的应用采用操作型手势作为交互工具，在这类系统里，人手操作物体的自然行为成为系统的交互方式。然而由于实时交互对速度的要求很高，使得基于模型的手势别技术很难达到实时的要求，因而研究者做出了折中，借助辅助标记的帮助，快速地识别三维手势。如文献[14]的系统中，使用打印了特定图案的棉质手套作为标记实现操作型手势交互。5．结束语

本文就基于手势识别的人机交互技术展开综述。首先概括了手势交互的涉及领域，回顾了它的发展史和国内外研究现状。接着阐明了手势交互的分类，并在此基础上分析了它的热点关键技术。最后实例讨论了典型的应用。虽然基于手势识别的人机交互研究已经取得令人振奋的成果，但它仍旧是一门新兴的研究领域，许多基本技术还有待完善和改进。以下几个方面将是今后研究的热点和难点问题，值得研究者的关注：(1)手状态向量降维理论(2)处理手自遮挡问题(3)状态预测方法(4)操作型手势交互应用(5)动态视点下的人手鲁棒分割问题(6)人手运动特征的认知心理学分析等几个方面。

参考文献

[1] Rekimoto, J. SmartSkin: An Infrastructure for Freehand Manipulation on Interactive Surfaces. In Proceedings

of ACM CHI Conference. pp. 113-120, 2002

[2] Ringel, M., Berg, H., Jin, Y., and Winograd, T.. Barehands: Implement-Free Interaction with a Wall-Mounted

Display. In Proceedings of ACM CHI Conference Extended Abstracts. pp. 367-368, 2001

[3] Segen, J., & Kumar, S. GestureVR: Vision-based 3D Hand Interface for Spatial Interaction. In Proceedings of

the Sixth ACM International Conference on Multimedia. pp. 455-464, 1998

[4] 石教英虚拟现实基础及实用算法.科学出版社, 2002

[5] 任海兵, 祝远新,徐光佑.基于视觉手势识别的研究-综述,电子学报. 28(2):118-122, 2000

[6] 王亮, 胡卫明, 谭铁牛. 人运动的视觉分析综述.计算机学报,25(3):225-237, 2002

[7] Edward, S.J. and Gabbard, J.L. Survey of User-based Experimentation in Augmented Reality. In Proc. of 1st

International Conference on Virtual Reality (ICVR'05), 2005

[8] Joseph J. and LaViola Jr.: A Survey of Hand Posture and Gesture Recognition Techniques and Technology.

Department of Comuter Science. Brown Universty: CS: 99-111, 1995

[9] Akihiro Imai, Nobutaka Shimada, Yoshiaki Shirai. Hand Posture Estimation in Complex Backgrounds by

Considering Mis-match of Model. Lecture Notes in Computer Science, Springer Berlin / Heidelberg, 4843:

596-607, 2007

[10] Tangli Liu, Wei Wu, Xinxiao Chen. Tracking Articulated Hand Underlying Graphical Model with

Depth Cue. Image and Signal Processing, 2008. CISP '08. Congress on. Sanya, China, 4: 249-253, 2008

[11] 冯志全，杨波，陈月辉，李毅，郑艳伟. 一种人手粒子滤波跟踪器的设计[J]. 软件学报, Supplement,

19: 87-95, 2008

[12] 冯志全, 杨波, 李毅, 王中华, 郑艳伟. 以改善精度为目标的人手跟踪方法研究. 计算机研究与发展.

45(7):1239-1248, 2008.

[13] 潘春洪,马颂德. 基于区域的手指三维运动跟踪[J]. 中国图像图形学报. 8(10): 1205-1210, 2003

[14] Y. Robert, Wang, Jovan Popovic, Real-Time Hand-Tracking with A Color Glove, (SIGGRAPH’09):63-71,

2009

[15] 陈坚,王文成,吴恩华.单目视频中无标记的人体运动跟踪[J]. 计算机辅助设计与图形学学报. 17(9):

2033-2039, 2005

[16] 崔锦实. 基于三维模型的关节式物体姿态估计与跟踪方法研究[D]. 博士论文, 北京: 清华大学, 2004

[17] Clerk J. Maxwell, “Gesture Recognition:A Survey,”3rd ed., vol. 2. Oxford: Clarendon, 68-73, 1892

[18] Pavlocvic, I. Shama, R. and Huang, T. S.: Visual Interpretation of Hand Gesture for Human-Computer

Interaction: A Review. IEEE Trans on PAMI, 19(7), 1997

[19] Kolsch M., Turk M., Fast 2D Hand Tracking with Flocks of Features and Multi-Cue Integration, Computer

Vision and Pattern Recognition Workshop, 158-168, 2004

[20] Zhigeng Pan,Yang Li,Mingmin Zhang, Chao Sun, Kangde Guo, Xing Tang.A Real-time Multi-cue Hand

Tracking Algorithm Based on Computer Vision.In:.IEEE VR 2010.Waltham,USA:IEEE Computer Society.219-223, 2010

[21] 郭康德张明敏孙超李扬汤兴, 基于视觉技术的三维指尖跟踪算法, 计算机研究与发展, 12, 2009

[22] Segen. J. Controlling Computers with Gloveless Gesture. Proc. of Virtual Reality Systems Conf. pp:2-6,

1993

[23 ] Brock U., Real-time 3-D Interaction with up to 16 Degrees of Freedom from Monocular Image Flows, Proc.

of IWAFGR’95. pp:172-178, 1995

[24] Martin J. and Crowley J., An appearance-based Approach to Gesture Recognition. Proc. of 9 th Int. Conf. on

Image Analysis and Processing. pp: 340-347, 1997

[25] Stenger B., Thayananthan A., P. Torr, and R. Cipolla.Model-based hand tracking using a hierarchical

bayesian filter[J]. IEEE transactions on pattern analysis and machine intelligence, 28(9):1372–1384, 2006

[26] Sudderth, E. and Mandel, M. and Freeman, W. and Willsky, A. Distributed occlusion

reasoning for tracking

with nonparametric belief propagation[J], Advances in Neural Information Processing Systems,17: 1369–1376, 2004

[27] Dewaele, G. and Devernay, F. and Horaud, R. and Forbes, F. The alignment between 3-d data and articulated

shapes with bending Surfaces[C].//Proceedings of the 9th European Conference on Computer Vision,

Graz578–591, 2006

[28] Robert T. Collins, Mean-shift Blob Tracking through Scale Space[C].//IEEE Computer Society Conference

on Computer Vision and Pattern Recognition (CVPR '03), Madison, 234-240, 2003

[29] Isard M, Blake A. A mixed-state CONDENSATION tracker with automatic model-switching[C].//

Proceedings of the Sixth International Conference on Computer Vision, Bombay ,107–112, 1998 [30] 王西颖, 张习文, 戴国忠. 一种面向实时交互的变形手势跟踪方法.软件学报, 18(10):2423-2433, 2007

[31] Erol A , Bebis G. , Nicolescu M,Boyle, R.D. ,Twombly, X. Vision-based hand pose estimation:

A review[J],

Computer Vision and Image Understanding, 108(1-2):52-73, 2007

[32] Kolsch M., Turk M., Fast 2D Hand Tracking with Flocks of Features and Multi-Cue Integration, Computer

Vision and Pattern Recognition Workshop, 158-168, 2004

[33] 陈睿,刘国翌,赵国英,张俊,李华. 基于序列蒙特卡罗方法的3D 人体运动跟踪[J].计算机辅助设计与图

形学学报. 17(1):85-92, 2005

[34] Ho-sub Y; Byung. Min,. Jung S., Young, B., Hyun, S.Y. Human Computer Interface for Gesture-Based

Editing System. Proc. of Image Analysis and Processing. :969-974, 1999

[35] MacCormick J, Isard M. Partitioned Sampling, Aarticulated Objects, and Interface-Quality Hand Tracking.

In Proc. ECCV, Dublin, 2: 13-19, 2000

[36] JP Wachs, H. Stem, Y. Edan, Real-Time Hand Gesture Telerobotic System Using the Fuzzy C-Means

Clustering Algorithm[C].World Automation Congress(WAC), Orlando, Florida, USA .403-410, 2002

[37] Rómer Rosales.The Specialized Mappings Architecture with Applications to Vision-Based Estimation of

Articulated Body Pose[D]. Ph.D. Thesis.Boston University Graduate School of Arts and And Sciences,2002

[38] B. Stenger, A. Thayananthan, P.H.S. Torr, R. Cipolla. Estimating 3D hand pose using hierarchical multi-label

classification. Image and Vision Computing, 25(2):1885-1894, 2007

[39] Akihiro Imai, Nobutaka Shimada, Yoshiaki Shirai. Hand Posture Estimation in Complex Backgrounds by

Considering Mis-match of Model. Lecture Notes in Computer Science, Springer Berlin / Heidelberg, 4843:

596-607, 2007

[40] Tangli Liu, Wei Wu, Xinxiao Chen. Tracking Articulated Hand Underlying Graphical Model with

Depth Cue. Image and Signal Processing, 08. Congress on. Sanya, China, 4: 249-253, 2008 [41] Anbang Yao, Guijin Wang, Xinggang Lin, Hao Wang. Kernel based articulated object tracking with scale

adaptation and model update. Acoustics, Speech and Signal Processing, 08. IEEE International Conference

on. Las Vegas, NV,:945-948, 2008

[42] Raskin, L. Rivlin, E. Rudzsky, M. Dimensionality Reduction for Articulated Body Tracking. 3DTV

Conference 07, Kos Island, 1-4, 2007

[43] Sunita Nayak, Sudeep Sarkar, Barbara Loeding. Distribution-Based Dimensionality Reduction Applied to

Articulated Motion Recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, (99):1 –

6, 2008

[44] Zhiquan Feng, Minming Zhang, Zhigen Pan, Bo Yang, Tao Xu, Haokui Tang, Yi Li. 3D-Freehand-Pose

Initialization Based on Operator’s Cognitive Behavior Models. The Visual Computer. (26): 6-8, 607-617,

2010

[45] Zhiquan Feng, Bo Yang, Yuehui Chen , Yanwei Zheng , Yi Li , and Zhonghua Wang. Research on Sampling

Methods in Particle Filtering Based upon Microstructure of State Variable. Lecture Notes in Computer

Science, (5226): 251-257, 2008