多点触控手势识别算法的研究

龙源期刊网 https://www.360docs.net/doc/d612312179.html,

多点触控手势识别算法的研究

作者：方成艳孔伟青邓秀勤

来源：《软件工程师》2014年第11期

摘要：本文针对当下流行的多点触控设备，对多点触控手势识别算法进行了研究，通过

类比计算机中的快捷键设计出了一系列的触控手势，并结合曲线识别算法提出了一种多点触控手势识别算法。实验在当下流行的Android设备上进行，手势检测成功表明了识别算法的有效性。

关键词：多点触控；算法；手势识别

中图分类号：TP391.4 文献标识码：A

1 引言（Introduction）

多点触控技术是一种全新的人机交互技术[1]，相对于传统的单点触控技术而言，它能同

时检测和识别多个触点的位置和数量，从而提供了功能更加丰富的交互技术[2]。2007年，苹果公司的iPhone手机和微软公司的surface桌面式计算机两款新产品的发布，将多点触控技术引入主流消费品市场[2]，让普通用户真正享受这一技术带来的便利。2009年微软发布的操作系统Windows 7提供了对多点触控技术的支持，使多点触控进入人机交互新时代[3]。2011

年，搭载谷歌安卓系统的触屏手机进入了主流消费市场，在全球的市场份额首次超过塞班系统，多点触控技术成为主流的触控技术。可以预见，在未来多点触控技术将逐步取代传统的键盘、鼠标，成为人机交互的主流技术。但是，多点触控技术在国内发展的时间短，技术方案尚有欠缺，一些核心技术及专利屏障为多点触控技的进一步发展形成一定的阻碍。触摸精度低，错误率高，手易疲劳性以及由于手势扩展麻烦等问题，这些都在一定程度上制约了基于多点触控的双手交互技术的发展[4]。同时，针对移动设备触摸屏的多点触控手势识别算法十分匮

乏，这严重的限制了多点操作的进一步应用。本文针对多点触控技术中手势功能较少，借鉴计算机快捷键（Ctrl+A、Ctrl+V等），设计了一系列新的手势，并利用基于相对高度的曲线特征提取算法进行手势特征提取、识别，在移动设备触摸屏上实现了传统计算机中的相应的快捷键功能，帮助用户更好地从传统计算机到触控设备的过渡。

2 传统触控手势（Traditional touch gestures）

目前的触控手势分为单点和多点两种，单点触摸手势主要有：单击（Tap）、双击（Double Tap）、拖拽（Drag）、轻弹（Fling）、按压（Press）等，多点触摸手势主要有：旋转（Rotate）、捏（Pinch）、展开（Spread）、按压并单击（Press and Tap）、按压并拖拽（Press and Drag），下表列出了这些手势的图示名称和动作描述[5]：

表1 传统触控手势

手势识别技术综述

手势识别技术综述作者单位：河北工业大学计算机科学与软件学院内容摘要：手势识别是属于计算机科学与语言学的一个将人类手势通过数学算法针对人们所要表达的意思进行分析、判断并整合的交互技术。一般来说，手势识别技术并非针对单纯的手势，还可以对其他肢体动作进行识别，比如头部、胳臂等。

但是这其中手势占大多数。本文通过对手势识别的发展过程、使用工具、目的与市场等进行综述，梳理出手势识别发展的思路，让读者对手势识别有一个总体上的认识，同时也可以让读者在此基础上进行合理想象，对手势识别的未来有一个大体印象。 Abstract: Gesture recognition is an interactive technology using mathematical arithmetic to the analysis,judge and assembly meaning that people want to convey which belongs to computer science and Linguistics.In general, gesture recognition technology is not for simple gestures expressed by hands ,it can also aim to other body movement recognition, such as the head, arm and so on. But the gesture accounted for most of the analysis. In this paper, by describing the development process, tools used , objective and market of gesture recognition , we can sort out the ideas of the development of gesture recognition, and let readers have an overall understanding of gesture recognition. At the same time, it can let the reader imagine that on hand gesture recognition based on reason ,and have a general impression of its future. 1.定义说到手势识别，首先要对手势识别中的手势有一个清晰的认知。手势在不同的学科中有不同含义，而在交互设计方面，手势与依赖鼠标、键盘等进行操控的区别是显而易见的，那就是手势是人们更乐意接受的、舒适而受交互设备限制小的方式，而且手势可供挖掘的信息远比依赖键盘鼠标的交互模式多。在学术界，人们试图对手势定义一个抽象、明确而简洁的概念以为手势及其应用的研究提供依据。1990年Eric Hulteen和Gord Kurtenbach曾发表的题为“Gestures in Human-Computer Communication”中定义：“手势为身体运动的一部分，它包括一部分信息，而且是一种能被观察到的有意义的运动。挥手道别是一种手势，而敲击键盘不是一种手势，因为手指的运动没有被观察，也不重要，它只表示键盘

三种简单手势识别

简单手势识别

一、背景随着计算机的发展，人机交互技术由传统的鼠标键盘时代发展到了以语音输入、动作识别等技术为代表的自然交互时代n1。特别是视觉计算技术的发展，使计算机获得了初步视觉感知的能力，能“看懂”用户的动作。手势识别作为一种直观自然的输入方式，把人们从传统接触性的输入装置中解放出来，可以以一种更自然的方式与计算机交互，使计算机界面变得更加易‘引。手势主要分为静态手势和动态手势两种，动态手势可以看作是连续的静态手势序列。动态手势具有丰富和直观的表达能力，与静态手势结合在一起，能创造出更丰富的语义。利用动态手势识别构建新型的交互界面，是新一代的人机交互界面对输入方式自然性的要求，可以弥补传统交互方式的不足。基于视觉和手势识别研究正处于蓬勃发展的阶段，仍存着的许多值得研究的问题。研究基于视觉的动态手势识别对于构建更加好友的人机交互界面很有意义。

二、手势识别概述 2.1、手势识别的概念手势是姿势的一个子集，姿势这个概念没有精确的定义。一般认为，手势概念经过人的手转化为的手势动作，观察者看到的是手势动作的图像。手势的产生过程如图2-1所示。图2-1 手势的产生过程手势识别的过程则找一个从图像V到概念动作G的变换而，如图2-2所示。

2.2、手势识别流程随着计算机的发展，人机交互技术由传统的鼠标键盘时代发展到了以语音输入、动作识别等技术为代表的自然交互时代n1。特别是视觉计算技术的发展，使计算机获得了初步视觉感知的能力，能“看懂”用户的动作。手势识别作为一种直观自然的输入方式，把人们从传统接触性的输入装置中解放出来，可以以一种更自然的方式与计算机交互，使计算机界面变得更加容易。手势主要分为静态手势和动态手势两种，动态手势可以看作是连续的静态手势序列。动态手势具有丰富和直观的表达能力，与静态手势结合在一起，能创造出更丰富的语义。利用动态手势识别构建新型的交互界面，是新一代的人机交互界面对输入方式自然性的要求，可以弥补传统交互方式的不足。基于视觉和手势识别研究正处于蓬勃发展的阶段，仍存着的许多值得研究的问题。研究基于视觉的动态手势识别对于构建更加好友的人机交互界面很有意义。

关于计算机视觉的手势识别综述

关于计算机视觉的手势识别综述蒋指挥（江苏科技大学江苏镇江 213022）摘要：计算机技术的高速发展也产生了许多新领域，在此对以计算机视觉为基础的手势检测识别技术展开综述。主要阐述该技术的发展历程、实现方法、研究现状以及其存在的不足之处和发展方向。结果表明简单的可穿戴设备的手势识别和深度视觉传感器的手势识别和多方法交叉融合的手势识别是未来该领域的发展方向。关键词：计算机视觉；手势识别；人机交互 A survey of gesture recognition in computer vision//Jiang Zhi Hui Abstract;With the rapid development of computer technology, a lot of new fields have been developed. In this paper, the technology of gesture detection and recognition based on computer vision is reviewed. This paper describes the development of the technology, the realization method, the research status and its shortcomings and development direction. The results show that the simple wearable device for hand gesture recognition and depth vision sensor for hand gesture recognition and multi method cross fusion for gesture recognition is the future direction of the development of the field. Key words:Computer vision; gesture recognition; human-computer interaction 计算机在我们的生活中越来越不可或缺，我们同时也对计算机提出了更高的要求，计算机视觉的手势识别正是对计算机应用拓展的重要途径，例如现在的VR技术，就是应用了手势识别才实现的。ABIResearch公司高级分析师约书亚·弗拉德（JoshuaFlood）指出：“免提操作或手势识别很快将成为高端旗舰智能手机、媒体平板电脑和智能眼镜区别于其他同类产品的一个关键因素。三星电子最新推出银河S4已经将这项技术用于其手机中，并以其全新的用户体验获得用户交口称赞。此外，在一系列新型智能眼镜产品即将发布之时，不难想象这类技术将被采用。”其实手势识别技术涵盖了许多领域，比如物理学、生物学等，实现手势识别的方式有很多种从一开始的二维手型识别、二维手势识别到后来的三维手势识别，正是计算机视觉技术的发展使得手势识别的实现方式更加多样。但目前的技术仍然很繁琐，冗杂的可穿戴设备就直接影响了使用者的舒适感，其还有很大的发展空间。 1、手势识别的发展历程及其实现方法

手势识别技术原理及解决方案

手势识别对于我们来说并不陌生，手势识别技术很早就有，目前也在逐渐成熟，现在大部分消费类应用都在试图增加这一识别功能，无论是智能家居，智能可穿戴以及VR 等应用领域，增加了手势识别控制功能，必能成为该应用产品的一大卖点。手势识别可以带来很多的好处，功能炫酷，操作方便，在很多应用场合都起到了良好的助力功能。手势识别技术的发展说起手势识别技术的发展，可以粗略分为两个阶段：二维手势识别以及三维手势识别。早期的手势识别识别是基于二维彩色图像的识别技术，所谓的二维彩色图像是指通过普通摄像头拍出场景后，得到二维的静态图像，然后再通过计算机图形算法进行图像中内容的识别。二维的手型识别的只能识别出几个静态的手势动作，而且这些动作必须要提前进行预设好。相比较二维手势识别，三维手势识别增加了一个Z轴的信息，它可以识别各种手型、手势和动作。三维手势识别也是现在手势识别发展的主要方向。不过这种包含一定深度信息的手势识别，需要特别的硬件来实现。常见的有通过传感器和光学摄像头来完成。手势识别的关键技术手势识别中最关键的包括对手势动作的跟踪以及后续的计算机数据处理。关于手势动作捕捉主要是通过光学和传感器两种方式来实现。手势识别推测的算法，包括模板匹配技术（二维手势识别技术使用的）、通过统计样本特征以及深度学习神经网络技术。根据硬件实现方式的不同，目前行业内所采用的手势识别大约有三种： 1、结构光（Structure Light），通过激光的折射以及算法计算出物体的位置和深度信息，进而复原整个三维空间。结构光的代表产品有微软的Kinect一代。不过由于以来折射光的落点位移来计算位置，这种技术不能计算出精确的深度信息，对识别的距离也有严格的要求。 2、光飞时间（TI me of Flight），加载一个发光元件，通过CMOS传感器来捕捉计算光子的飞行时间，根据光子飞行时间推算出光子飞行的距离，也就得到了物体的深度信息。代表作品为Intel带手势识别功能的三维摄像头。 3、多角成像（Mul TI-camera），现在手势识别领域的佼佼者Leap Mo TI on使用的就是这种技术。它使用两个或者两个以上的摄像头同时采集图像，通过比对这些不同摄像头在同一时刻获得的图像的差别，使用算法来计算深度信息，从而多角三维成像。

多点触控手势识别算法的研究

龙源期刊网 https://www.360docs.net/doc/d612312179.html, 多点触控手势识别算法的研究作者：方成艳孔伟青邓秀勤来源：《软件工程师》2014年第11期摘要：本文针对当下流行的多点触控设备，对多点触控手势识别算法进行了研究，通过类比计算机中的快捷键设计出了一系列的触控手势，并结合曲线识别算法提出了一种多点触控手势识别算法。实验在当下流行的Android设备上进行，手势检测成功表明了识别算法的有效性。关键词：多点触控；算法；手势识别中图分类号：TP391.4 文献标识码：A 1 引言（Introduction）多点触控技术是一种全新的人机交互技术[1]，相对于传统的单点触控技术而言，它能同时检测和识别多个触点的位置和数量，从而提供了功能更加丰富的交互技术[2]。2007年，苹果公司的iPhone手机和微软公司的surface桌面式计算机两款新产品的发布，将多点触控技术引入主流消费品市场[2]，让普通用户真正享受这一技术带来的便利。2009年微软发布的操作系统Windows 7提供了对多点触控技术的支持，使多点触控进入人机交互新时代[3]。2011 年，搭载谷歌安卓系统的触屏手机进入了主流消费市场，在全球的市场份额首次超过塞班系统，多点触控技术成为主流的触控技术。可以预见，在未来多点触控技术将逐步取代传统的键盘、鼠标，成为人机交互的主流技术。但是，多点触控技术在国内发展的时间短，技术方案尚有欠缺，一些核心技术及专利屏障为多点触控技的进一步发展形成一定的阻碍。触摸精度低，错误率高，手易疲劳性以及由于手势扩展麻烦等问题，这些都在一定程度上制约了基于多点触控的双手交互技术的发展[4]。同时，针对移动设备触摸屏的多点触控手势识别算法十分匮乏，这严重的限制了多点操作的进一步应用。本文针对多点触控技术中手势功能较少，借鉴计算机快捷键（Ctrl+A、Ctrl+V等），设计了一系列新的手势，并利用基于相对高度的曲线特征提取算法进行手势特征提取、识别，在移动设备触摸屏上实现了传统计算机中的相应的快捷键功能，帮助用户更好地从传统计算机到触控设备的过渡。 2 传统触控手势（Traditional touch gestures）目前的触控手势分为单点和多点两种，单点触摸手势主要有：单击（Tap）、双击（Double Tap）、拖拽（Drag）、轻弹（Fling）、按压（Press）等，多点触摸手势主要有：旋转（Rotate）、捏（Pinch）、展开（Spread）、按压并单击（Press and Tap）、按压并拖拽（Press and Drag），下表列出了这些手势的图示名称和动作描述[5]：表1 传统触控手势

基于手势识别的人机交互综述

基于手势识别的人机交互综述摘要：近年来，得益于虚拟现实、人机界面技术、计算机视觉等领域的发展，基于手势识别的人机交互技术得到大力的推动。本文就基于手势识别的人机交互技术展开综述。首先概括手势交互的涉及领域，回顾其发展史和国内外研究现状。接着阐明它的基本界定和分类，并在此基础上分析其热点关键技术。然后实例讨论了几种类型手势交互的典型应用。最后给出了结论。关键词：虚拟现实；手势交互；计算机视觉；手势识别；特征跟踪 1．引言人机交互技术通过输入、输出设备，以有效的方式实现交互主体与交互客体的对话。当前的人机交互技术已经从过去交互主体适应交互客体，发展为交互客体不断地适应交互主体的习惯和以交互主体为中心的新阶段[1,2,3,4]。以用户为中心的，新型、自然的人机交互技术逐渐成为开发者和科研工作者的关注重点。这类交互方式要求输入与输出能够最大限度地符合交互主体的行为习惯，并能够在交互主体的脑中顺利构建交互环路。由于手势具有极强的信息表述功能，加之人手操作行为本身就是人与世界相互作用的主要方式，因此，基于手识别的人机交互技术相关研究有着重要的理论价值和应用价值。基于手势识别的人机交互技术涉及计算机科学、认知心理学、行为学等诸多方面的知识。本文不能面面俱到，仅就手势交互的基本问题：手势语义的分类，以及当前发展概况、研究热点技术和典型系统应用等相关问题进行综述。 2．研究现状目前，基于视觉的手势交互已被广泛的研究，由于手势本身的多义性及时空差异性，加之手形变的高维度及视觉问题本身的不适定性，基于视觉的手势识别一直是一项极富挑战性的究课题[5]。需要解决的核心问题是对手形的识别，对手势的跟踪等。传统的方法主要分为两大类：（1）基于模型（model-base）的方法；（2）基于表征(appearance-based)的方法[6]。这些方法及其衍生算法极大程度地依赖于计算机科学中虚拟现实、机器视觉、模式识别、人机交互等多个领域的交流与合作。相关的国际会议：CHI、ICCV、CVPR、ICAT、IEEE VR 为研究者提供了一个能充分交流的空间，并吸引了越来越多的研究人员共同参与合作。此外，学科之间的交流也吸引了心理学研究人员的共同参与。他们以从用户为中心出发，为基于手势交互研究和开发提出了宝贵意见[7]。纵观手势交互的发展历程，其研究重点也从早期简单的系统框架、低层特征提取[8]、手形模板匹配[8]等问题转变到关节式物体跟踪[9,10, 11]、跟踪性能评价[12]、操作型手势解析[14]等问题上。我国在基于手势识别的人机交互领域的研究近年来得到了长足的发展。研究机构集中在国内的研究所和高校的科研单位。目前国内手势交互的研究成果主要有：中国科学院软件研究所[15]的研究中，对二阶自回归过程动力学模型（Auto-Regressive Process, ARP）进行训练和学习，进而建立基于ARP 的预测模型，实现了人手运动的鲁棒性跟踪，在出现跟踪丢失的情况下在后续序列中可以自动恢复正确跟踪。中国科学院自动化研究所模式识别实验室提出一种基于区域的多连接体(手指)的三维运动跟踪算法[13]，用多约束融合的方法以及手指的运动特性，建立多刚体的三维运动描述，通过三类基本约束条件，把跟踪问题归结为一个约束误差优化问题。清华大学的崔锦实博士，提出一种基于回归－优化方法的关节式物体的姿态估计方法[16]。该方法把回归分析与全局优化搜索相结合，保证了估计的精度和连续性；针对现有滤波器在高维非线性多峰

基于卷积神经网络的简单背景手势识别方法概述

基于卷积神经网络的简单背景手势识别方法概述摘要在手勢识别研究方法日益成熟的今天，研究人员把主要精力放在新算法的研究以及旧方法的改进上，均取得了很好的成果。本文利用时下流行的卷积神经网络训练方法，避开大量的算法研究工作，把主要工作放在手势数据的获取以及处理上，在一定的数据范围内取得了很好的结果。在一定程度上给手势识别工作提供了新的思路。关键词手势识别；手势数据；卷积神经网络 Abstract Today，as gesture recognition research methods become more and more mature，researchers have made great efforts to focus on the research of new algorithms and the improvement of old methods. In this paper，we use the popular Convolutional Neural Network （CNN）training method to avoid a lot of algorithm research work. The main work is on the acquisition and processing of gesture data，and it has achieved good results in a certain data range. To a certain extent，it provides a new idea for gesture recognition. Keywords Gesture recognition；Gesture data；Convolutional neural network 前言以输入数据来区分，手势识别可以分为静态手势识别和动态手势识别。动态手势识别是基于视频流数据，实现手势动作捕捉，本质上是把视频流分为每一帧图像数据，处理每一帧图像之间的关系，从而识别出动态手势的含义。静态手势识别也称为手型识别，其输入数据是一副静态的手势图像，计算机系统通过前期对大量手势图像的训练学习，熟知手势图像的特征，从而识别出这一副静态手势图像的含义。本文的主要工作是通过卷积神经网络方法对简单背景的手势图像进行训练，得到训练模型，利用该训练模型对新采集的手势图像数据进行识别，达到预期的识别率。 1 研究方法手势识别的研究方法有很多种，例如利用SIFT特征提取配合SVM训练的方法[1]，利用HOG特征提取的研究方法[2]等。但这些研究方法对于图像质量太多依赖，如SIFT方法太过依赖局部梯度主方向，而获取局部梯度主方向往往都会有偏差，因此图像质量不佳容易导致特征提取的错误。且SIFT是一种只利用到灰度性质的算法，忽略了色彩信息，对于彩色图像的识别无能为力。而本文采用的卷积神经网络方法则不存在该问题，卷积神经网络对于图像的容错性较强，可以不考虑图像质量、色彩等影响，关键是训练的样本量足够大，就可以得到相对理想的结果。且卷积神经网络的算法通用性强，对于识别任何类型的静态图像，都可以用几乎相同的训练模型进行，区别仅仅在于某些参数的调