基于手势识别的人机交互综述
手势识别技术在人机交互中的应用

手势识别技术在人机交互中的应用引言:在现代科技迅猛发展的时代,人与机器之间的交互方式也在不断创新与改进。
手势识别技术作为一种新兴的交互方式,越来越受到人们的关注。
它可以通过识别人体的手势动作,将这些动作转化为实际的操作指令,实现人机之间的无接触交互。
手势识别技术已经广泛应用于各个领域,包括智能手机、虚拟现实、医疗设备等。
本文将讨论手势识别技术在人机交互中的应用,并分析其在不同领域中所面临的挑战与发展前景。
手势识别在智能手机中的应用:在智能手机的应用中,手势识别技术可以用于操作手机的各种功能。
例如,通过在屏幕上划动手指,可以实现滑屏、放大缩小、旋转等操作。
通过手势识别技术,用户可以更加直观地与手机进行交互,提高了用户的使用体验。
此外,手势识别技术还可以用于手机的安全验证,通过识别用户特定的手指动作,实现指纹解锁等安全功能。
然而,手势识别技术在智能手机中的应用还面临一些挑战,如规范手势识别、误识别率等问题,需要进一步的研究与改进。
手势识别在虚拟现实中的应用:虚拟现实是一种可以将用户带入计算机生成的虚拟环境中的技术。
在虚拟现实的应用中,手势识别技术可以用于用户与虚拟环境的交互。
通过识别用户的手势动作,虚拟现实系统可以实现与用户的实时互动,提供更加逼真的体验。
例如,在虚拟游戏中,用户可以通过手势动作控制角色的移动、攻击等操作。
在虚拟现实的培训模拟中,手势识别技术可以用于操作设备、控制场景等功能。
虚拟现实的快速发展为手势识别技术在这一领域中的应用提供了广阔的空间,但也需要解决传感器精度、交互体验等方面的挑战。
手势识别在医疗设备中的应用:手势识别技术在医疗设备中的应用也是其重要的应用场景之一。
例如,在手术室中,医生可以通过手势识别技术控制手术仪器的运动,实现远程操作、准确定位等功能。
手势识别技术还可以用于医院信息系统的操作,医生可以通过手势动作调用病人的病历、检查报告等信息,提高工作效率。
此外,手势识别技术还可以用于康复训练中,医护人员可以通过手势动作指导患者进行运动训练等。
手势识别研究发展现状综述

手势识别研究发展现状综述
手势识别是一种能够根据人类手部动作来实现人机交互的计算机
技术。
它以分布式传感技术和图像处理技术为基础,将人的“动作”
转换为系统可识别的信号,从而允许计算机系统能够更准确地识别人
的行为,为用户提供更加友好和自然的控制方式。
近年来,随着计算
机视觉技术和深度学习技术的发展,手势识别技术也得到了飞快的发展。
首先,多通道的手势传感器技术已经建立起来,如无线传感技术、有线传感技术、机器感知技术和混合传感技术等,为手势识别技术的
研究提供了切实可行的应用方案。
其次,传感器技术的改进研究甚至
可以利用最少的传感器来获得最佳的识别性能。
此外,手势识别技术
还涉及图像识别技术,它可以利用经典机器学习算法实现视频图像识别,以获得更好的精度。
最后,最新的深度学习技术也可以用于手势
识别,如卷积神经网络和循环神经网络等,可以在计算量小的情况下
实现高精度的手势识别。
总的来说,手势识别技术的研究进展迅速,
具有良好的前景,有望成为未来人机交互最为重要的一种方式。
人机交互知识:人机交互中的动作与手势识别

人机交互知识:人机交互中的动作与手势识别随着信息技术的高速发展,人机交互已成为当前信息社会中的重要组成部分。
在人机交互过程中,动作与手势识别技术的应用越来越广泛,可以使人与计算机的交互更为智能和自然。
本文将从动作与手势识别的概念、原理和应用等方面进行介绍。
一、动作与手势识别的概念动作与手势识别指的是从人体运动和姿势中,自动地识别和理解人的意图和行为,并采取相应的措施进行响应和处理。
动作与手势识别技术不仅可以识别人体的运动状态,也可以识别人体的姿势和手势等信息。
二、动作与手势识别的原理动作与手势识别技术的原理主要包括传感器技术、算法和机器学习技术等。
传感器技术是动作与手势识别的关键技术之一,通过各种传感器(如摄像头、加速度计、陀螺仪等)获取人体的运动状态和姿势信息,然后将其转化为计算机可处理的模式。
算法和机器学习技术则是对传感器采集到的数据进行处理和分析,以实现动作与手势的识别和理解。
通常采用的算法和机器学习技术包括决策树、神经网络、支持向量机等。
三、动作与手势识别的应用动作与手势识别技术广泛应用于人机交互、虚拟现实、智能家居等领域,具有重要的应用和推广价值。
1.人机交互动作与手势识别技术可以有效地简化人与计算机之间的交互过程,让人与计算机之间的界面更为自然和智能。
例如,我们可以通过手势来控制电视机开关、音量和频道等,通过动作来控制电脑的鼠标和键盘等。
2.虚拟现实虚拟现实技术需要对人体的运动状态和姿势等信息进行快速、准确地获取和处理,以实现与虚拟环境的交互。
动作与手势识别技术可以有效地应用于虚拟现实中,例如人们可以使用手势与虚拟世界中的物体进行交互,或通过动作实现游戏中角色的行动。
3.智能家居动作与手势识别技术可以应用于智能家居中,通过人体运动和姿势等信息来自动控制家电设备的开关、调节灯光、调整温度等。
四、动作与手势识别技术的未来发展动作与手势识别技术的应用前景非常广阔,未来将在更多领域得到应用。
手势识别研究发展现状综述

手势识别研究发展现状综述摘要:在现如今的社会。
计算机技术高度发展,计算机与人类的结合度以越来越高,人机交互程度越来越深入,在这其中,人机手势识别是很重要的一项。
目前的人机手势识别已经在多个领域内得到了巨大的成就。
本文就手势识别技术的发展现状,主要分为国内与国外的现状进行概括总和。
关键词:手势识别、人机交互、研究、发展、现状随着计算机技术在人类生活的广泛运用,人机交互已经成为人类生活中不可分离的一部分。
人机交互旨在达到人类与及其形成良好便捷的沟通,是计算机更好的为人类所服务,满足人类的需求。
人机交互包含了手势、眼动、人脸识别等新兴技术,其中手势识别作为最方便的一项被人类广泛的运用。
但手势识别存在一些弊端,比如手势的多样性、多义性以及随着时间和空间的变化,手势会发生一定的变化等,所以手势识别领域实际上是一个多学科知识交叉的领域,包含了各个方面的研究内容。
且由于各种因素,关于手势识别的研究无法整体的整合到一个知识框架中去,无法形成一个完整的知识体系,使得手势识别无法普遍的应用到研究或系统中去。
一、手势识别研究的发展最早期的手势识别只是二维层次上的,通过机器,捕捉人体手肘、胳膊等关键关节部位形成的空间与角度关系,形成一个具体的数据库。
在常见的识别设备是数据手套,通过有限技术,把数据手套与电脑通过数据线进行连接,把数据手套检测到的信息传输到电脑中,用电脑自动的生成一个关于该用户该姿势的具体的数据库,以为了具体实践的时候进行对比。
早期的数据手套是由多个传感器件组成的,他们可以对各种姿势进行细节的捕捉,提高实践时对姿势的对比准确度但其在使用时还是具有很大的不便,且其价格昂贵,无法得到广泛的应用。
后来,手势识别得到重视并取得了一定的进步,原本的数据手套被光学标记法取代。
光学标记法主要运用的是红外线技术,即在录入手势姿势的时候,利用红外线技术扫描用户佩戴的光学标记,记录姿势各个部位细节的位置,形成相应的姿势数据定势,传输到电脑的数据库系统中。
《基于深度学习手势识别的研究》范文

《基于深度学习手势识别的研究》篇一一、引言随着人工智能技术的快速发展,深度学习在各个领域的应用越来越广泛。
其中,手势识别作为人机交互的重要手段之一,其研究与应用也日益受到关注。
本文旨在探讨基于深度学习手势识别的研究,通过分析现有技术和方法,提出新的研究思路和方案,为手势识别技术的发展提供参考。
二、手势识别的背景与意义手势识别是一种通过识别和理解人的手势来达到人机交互的技术。
在许多场景中,如教育、医疗、娱乐等,手势识别技术都有着广泛的应用前景。
例如,在教育领域,手势识别可以帮助学生更直观地表达自己的想法;在医疗领域,手势识别可以帮助医生更准确地了解患者的病情;在娱乐领域,手势识别则可以实现更自然的人机交互方式。
因此,手势识别的研究具有重要的应用价值和实际意义。
三、深度学习在手势识别中的应用深度学习是一种模拟人脑神经网络的工作方式,通过大量数据的训练和学习,可以自动提取数据的特征并进行分类和预测。
在手势识别中,深度学习技术可以有效地提取手势的特征并进行分类,从而提高识别的准确性和效率。
目前,深度学习在手势识别中的应用主要包括卷积神经网络(CNN)、循环神经网络(RNN)和深度神经网络(DNN)等。
四、基于深度学习手势识别的研究现状与问题目前,基于深度学习的手势识别技术已经取得了一定的研究成果。
然而,在实际应用中仍然存在一些问题。
首先,由于手势的多样性和复杂性,现有的算法在识别准确性和实时性方面仍有待提高。
其次,现有的手势识别系统往往需要大量的训练数据和计算资源,这限制了其在一些资源有限的场景中的应用。
因此,如何提高手势识别的准确性和实时性,以及如何降低计算复杂度和提高系统的适应性是当前研究的重点和难点。
五、基于深度学习手势识别的研究方法与实现针对上述问题,本文提出了一种基于深度学习的手势识别方法。
该方法通过采用卷积神经网络和循环神经网络的组合方式,实现了对手势的实时准确识别。
具体实现步骤如下:1. 数据预处理:对采集的手势数据进行预处理,包括去噪、归一化等操作,以提高识别的准确性。
人机交互中手势识别技术的应用案例分析

人机交互中手势识别技术的应用案例分析简介随着科技的不断进步,人机交互方式也得到了许多创新。
手势识别技术是其中一项重要的技术,它允许我们通过手势指令与计算机进行交互。
手势识别技术已经广泛应用于多个领域,如游戏、医疗、教育等。
本文将分析几个手势识别技术的应用案例,探讨其对人机交互的影响以及未来发展的趋势。
应用案例一:游戏控制手势识别技术被广泛应用于游戏领域,为玩家提供更直观、身临其境的游戏体验。
例如,Kinect是微软开发的一款基于手势识别技术的游戏控制器,它可以通过玩家的手势指令来操纵游戏中的角色。
使用这种技术,玩家可以更加自由地进行游戏,摆脱传统游戏手柄的限制。
此外,手势识别技术还可以应用于虚拟现实游戏,通过追踪玩家的手势来操控虚拟世界中的物体,提供更加沉浸式的游戏体验。
应用案例二:医疗手势识别技术在医疗领域中也有广泛的应用。
比如,在手术过程中,医生使用手势识别技术来操作医疗设备,比如控制手术机器人的运动。
这种方式不仅可以提高手术的精准度和安全性,还能减少医生对手术器械的依赖。
另外,手势识别技术还可以被用于康复训练,通过追踪患者的手势来设计特定的运动训练,帮助患者恢复并加速康复过程。
应用案例三:教育手势识别技术在教育领域中也有着潜在的应用价值。
例如,在互动教学中,教师可以使用手势识别技术代替传统的教学工具,如白板和鼠标。
通过简单的手势,教师可以实现画线、写字、放大缩小等操作,更加直观地与学生进行互动。
此外,手势识别技术还可以用于学生的学习辅助,比如通过手势进行交互式的学习游戏,提高学习的趣味性和效果。
未来发展趋势随着技术的不断进步,手势识别技术也在不断改进和创新。
未来的发展趋势将主要包括以下几个方面:1. 更加精准的手势识别:目前的手势识别技术在准确性方面还存在一定的局限性。
未来的发展将注重提高手势识别的准确性和稳定性,以提供更好的用户体验。
2. 多模态交互:将手势识别技术与其他交互方式相结合,如语音识别和眼动追踪等,可以实现更加智能化的人机交互。
手势识别技术在人机交互中的应用

手势识别技术在人机交互中的应用随着科技的不断进步和发展,人机交互技术也在不断地升级和改进。
其中,手势识别技术就是一个重要的应用之一。
手势识别技术不仅可以改善人机交互的体验和效率,还可以为人们提供更加自然、人性化的交互方式。
本文将详细介绍手势识别技术在人机交互中的应用。
一、手势识别技术的基本原理手势识别技术是利用计算机视觉和模式识别等技术对人体手势进行识别和分析,从而实现人机交互的一种技术。
它的基本原理是通过采集人体手部动作信息,提取手的轮廓、手指的位置等特征,并将这些信息转化为计算机可识别的数据,最后交给计算机进行处理和分析,实现对手势的识别和解析。
手势识别技术可以分为两类:基于视觉的手势识别和基于传感器的手势识别。
基于视觉的手势识别是通过摄像头采集手部动作信息,并将其转化为计算机可识别的数据进行处理和分析。
而基于传感器的手势识别是利用传感器(如加速度计、陀螺仪等)采集手部动作信息,并将其转化为计算机可识别的数据进行处理和分析。
两种手势识别技术各有优缺点,具体应用需要根据不同的情况选择。
二、手势识别技术在人机交互中的应用非常广泛,可以应用于智能手机、智能电视、虚拟现实、家庭娱乐和游戏等方面。
下面是几个应用场景的介绍:1. 智能手机手势识别技术可以用于智能手机的操作中。
例如,我们可以通过手势调整音量、暂停/播放音乐、拍照、浏览照片等等。
此外,手势识别技术还可以用于智能手机的安全认证。
例如,我们可以通过手势密码或指纹识别解锁手机,提高手机的安全性。
2. 智能电视手势识别技术也可以用于智能电视的操作中。
例如,我们可以通过手势来切换电视频道、调整音量、暂停/播放电视节目等等。
此外,手势识别技术还可以用于智能电视的语音助手。
例如,我们可以通过手势向电视提示语音指令,让电视进行相应的操作。
3. 虚拟现实虚拟现实技术是指通过计算机仿真出的一种虚拟世界,它需要人们通过特定的设备(如头戴式显示器、手柄等)进行交互。
人机交互中的手势识别技术

人机交互中的手势识别技术人机交互已经成为现代科技领域中的重要研究领域之一。
而手势识别技术,作为人机交互的一种重要方式,正逐渐得到广泛应用。
本文将探讨手势识别技术在人机交互中的应用现状以及未来发展趋势。
一、手势识别技术的定义和原理手势识别技术指的是通过对人体姿势和动作的识别,将其转化为与机器进行交互的指令。
手势识别技术的基本原理是通过采集和分析人体的运动特征,如手指的位置、角度和运动轨迹等,通过模式识别等算法来识别不同的手势,并将其与相应的功能关联。
手势识别技术的发展得益于计算机视觉、模式识别、机器学习等相关领域的进步。
二、手势识别技术的应用领域1. 移动设备交互手势识别技术已经广泛应用于移动设备交互中,如智能手机和平板电脑等。
用户可以通过手势进行屏幕操作,如滑动、缩放和旋转等,实现直观、自然的交互体验。
手势识别技术使得移动设备的操作更加便捷高效。
2. 虚拟现实和增强现实手势识别技术在虚拟现实和增强现实领域具有重要价值。
用户可以通过手势进行虚拟场景的导航、对象的选择和操作等,提供身临其境的沉浸式体验。
手势识别技术的应用还可以拓展到医疗康复、游戏娱乐、教育培训等领域。
3. 智能家居与自动化手势识别技术为智能家居与自动化领域提供了更加便捷的交互方式。
用户可以通过手势控制家居设备的开关、调节温度和光照等,实现智能化的居住环境。
手势识别技术的应用还可以推动智能医疗、智能交通等领域的发展。
三、手势识别技术的挑战和未来发展尽管手势识别技术已经取得了显著的进展和应用,但仍然存在一些挑战。
首先,手势识别技术需要准确地捕捉和解析复杂的手势动作,对传感器和算法的精度要求较高。
同时,不同用户的手势习惯和风格也会对手势识别的准确性产生影响,需要进行个性化的模型训练和优化。
未来,手势识别技术将继续发展和完善。
一方面,随着传感器技术的进步,手势识别系统将更加小巧、灵敏和精确。
另一方面,结合深度学习和人工智能等技术,手势识别模型的准确性和智能化将得到进一步提升。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
基于手势识别的人机交互综述摘要:近年来,得益于虚拟现实、人机界面技术、计算机视觉等领域的发展,基于手势识别的人机交互技术得到大力的推动。
本文就基于手势识别的人机交互技术展开综述。
首先概括手势交互的涉及领域,回顾其发展史和国内外研究现状。
接着阐明它的基本界定和分类,并在此基础上分析其热点关键技术。
然后实例讨论了几种类型手势交互的典型应用。
最后给出了结论。
关键词:虚拟现实;手势交互;计算机视觉;手势识别;特征跟踪1.引言人机交互技术通过输入、输出设备,以有效的方式实现交互主体与交互客体的对话。
当前的人机交互技术已经从过去交互主体适应交互客体,发展为交互客体不断地适应交互主体的习惯和以交互主体为中心的新阶段[1,2,3,4]。
以用户为中心的,新型、自然的人机交互技术逐渐成为开发者和科研工作者的关注重点。
这类交互方式要求输入与输出能够最大限度地符合交互主体的行为习惯,并能够在交互主体的脑中顺利构建交互环路。
由于手势具有极强的信息表述功能,加之人手操作行为本身就是人与世界相互作用的主要方式,因此,基于手识别的人机交互技术相关研究有着重要的理论价值和应用价值。
基于手势识别的人机交互技术涉及计算机科学、认知心理学、行为学等诸多方面的知识。
本文不能面面俱到,仅就手势交互的基本问题:手势语义的分类,以及当前发展概况、研究热点技术和典型系统应用等相关问题进行综述。
2.研究现状目前,基于视觉的手势交互已被广泛的研究,由于手势本身的多义性及时空差异性,加之手形变的高维度及视觉问题本身的不适定性,基于视觉的手势识别一直是一项极富挑战性的究课题[5]。
需要解决的核心问题是对手形的识别,对手势的跟踪等。
传统的方法主要分为两大类:(1)基于模型(model-base)的方法;(2)基于表征(appearance-based)的方法[6]。
这些方法及其衍生算法极大程度地依赖于计算机科学中虚拟现实、机器视觉、模式识别、人机交互等多个领域的交流与合作。
相关的国际会议:CHI、ICCV、CVPR、ICAT、IEEE VR 为研究者提供了一个能充分交流的空间,并吸引了越来越多的研究人员共同参与合作。
此外,学科之间的交流也吸引了心理学研究人员的共同参与。
他们以从用户为中心出发,为基于手势交互研究和开发提出了宝贵意见[7]。
纵观手势交互的发展历程,其研究重点也从早期简单的系统框架、低层特征提取[8]、手形模板匹配[8]等问题转变到关节式物体跟踪[9,10, 11]、跟踪性能评价[12]、操作型手势解析[14]等问题上。
我国在基于手势识别的人机交互领域的研究近年来得到了长足的发展。
研究机构集中在国内的研究所和高校的科研单位。
目前国内手势交互的研究成果主要有:中国科学院软件研究所[15]的研究中,对二阶自回归过程动力学模型(Auto-Regressive Process, ARP)进行训练和学习,进而建立基于ARP 的预测模型,实现了人手运动的鲁棒性跟踪,在出现跟踪丢失的情况下在后续序列中可以自动恢复正确跟踪。
中国科学院自动化研究所模式识别实验室提出一种基于区域的多连接体(手指)的三维运动跟踪算法[13],用多约束融合的方法以及手指的运动特性,建立多刚体的三维运动描述,通过三类基本约束条件,把跟踪问题归结为一个约束误差优化问题。
清华大学的崔锦实博士,提出一种基于回归-优化方法的关节式物体的姿态估计方法[16]。
该方法把回归分析与全局优化搜索相结合,保证了估计的精度和连续性;针对现有滤波器在高维非线性多峰跟踪问题上的困难,将粒子滤波器与全局搜索算法的演化粒子滤波器方法相结合,提高了高维跟踪的精确度。
其他高校与科研单位也做出了不少优秀的工作与关键的贡献。
3. 关键技术首先区分手势识别中的两个重要概念:手形(hand posture)与手势(hand gesture)[17]。
手形,是以手的一个特定姿势表示一个语义。
而狭义的手势,则是以手在时间轴上的连续位置构成的轨迹代表一个语义。
简单来说,我们可以理解手势为一段时间轴上连续的手形。
有的研究者也使用广义的手势涵盖这两个概念,即静态手势和动态手势,在这种理解下,手形也是一种特殊的手势。
对静态的手形进行识别,与对连续的手势进行跟踪,是手势识别中的关键问题。
3.1 手势交互的分类对手势的交互语义进行分类和界定,是手势交互的重要问题,是深入手势交互研究的基础工作,界定工作涉及人机界面、行为学、认知心理学等多个领域。
对于手势交互语义的分类,Pavlocvic.等人发表在1997 年PAMI 的文献[18]有着指导意义。
他们从行为学角度出发,将手的动作分为两类:无意识动作与手势;进而从认知心理学的角度,对实际生活中包含交互语义的手势再进行细分。
首先,将手势分为通信型手势与操作型手势。
通信型手势如手语,是一种天生的交互工具,具有强大的信息表述功能,借用到人机交互领域的此类手势交互正被广泛地研究。
而操作型手势,如在真实环境中对物体的操作,则作为人的一种自然行为,并不专为人机交互的应用而生,然而随着以用户为中心的人机交互研究的进一步深入,这类更贴近自然行为的交互方式具有深远的理论与应用价值,在虚拟现实和增强现实中具有极高的应用潜力。
接着,通信型手势又被分为符号与动作。
符号表示事先约定的语义,进一步被分类为指代型符号和模式型符号,指代型符号如“V 手形”字表示胜利,“W 手形”表示OK 等,通常是一种静态手势;模式型符号,如耸肩,摊手,挥手等,常用来表示某种情绪。
动作则通过连续的手形表达语义,包括模仿型动作和指示型动作,模仿型动作如手握方向盘驾驶的交互操作;指示型动作如手指指示方向等交互操作等。
具体分类方法见图1。
纵观整个问题领域,我们发现针对通信型手势的研究,发展地比较成熟。
其原因在于,一方面通信型手势天然的信息表达与交互优势,另一方面也在于这类方法实现起来的相对简单。
而操作型手势作为更加自然的手势交互模式,由于涉及到的识别问题与跟踪问题更加复杂,所以发展相对滞后。
目前尚处于亟待开发的状态。
3.2 手形的识别对手形的识别,基于表征的方法分为两个层次:(1)图像特征的提取,(2)语义特征的提取。
基于模型的方法则通过搜索匹配模型,获得手形的语义。
3.2.1 基于表征的方法基于表征的方法直接从观察到的图像推算出手势,需要计算的参数包括图像的几何信息、手掌和手指的位置信息、轮廓边界信息等。
目前来看,较之基于模型的方法,此类方法缺乏通用性,但优点在于速度快,能够满足实时应用的需求,具有较强的实用性。
这类问题主要涉及图像处理的系列操作,属于对手势低层次特征的提取。
在低层次特征被提取之后,可以由此分析得到包含手形语义的高层次信息,从而实现手形识别。
与手势识别相关的图像处理算法中,实时目标分割算法主要有肤色检测和背景减法(BGS)。
肤色检测算法优点是速度快,在运动摄像机的情况下也可以分割出人手前景,缺点是易受环境影响,应用领域单一。
操作型手势交互并不排除手持简单物体(小棒,笔等)对虚拟目标进行交互,在此情况下肤色检测方法失效。
BGS 算法不存在对目标颜色的限制,但计算量相对于肤色检测明显增大,并且尚未研究出运动视点下实时分割的优质结果。
手形的自然变化具有高维度的特征,加之手指间存在无法预测的遮挡,使得手特征提取以及基于特征提取的手细节结构的实时重建非常困难。
[19,20]将动态的手细节忽略,将之视为一个整体进行交互。
然而,在精细的交互应用中必须区分手的细节。
这就对基于手势识别的人机交互提出两个挑战:(1)如何有效提取细节特征;(2)如何有效获得交互信息。
提取细节特征时,传统研究认为,指尖点[21]、边界[22]和轮廓[23]是几种有效的基本信息。
基于表征的特征提取后,获取高层语义的方法可分为两类:(1)直接重建三维人手结构[21];(2)匹配手形模板[24]。
第一类方法常结合多视几何的技术实现;而第二类方法则常用独立主元分析(PCA)的方法实现。
3.2.2 基于模型的方法基于模型的方法需要比较三维模型与当前图像来获得手的状态,然后对手和手臂的运动和姿势建模,最后通过它们模型的参数如关节角度、手掌位置等来推算手形。
这种方法计算输入手形与模板手形的距离,寻找最优的匹配结果[8]。
虽然精确度高、效果好,但由于手的形态变化维度极高,所以这是一个高维搜索的问题,目前来看计算代价过大,尚不能达到实时要求[25,26,27],应用范围受到一定局限。
因此,各种手戴标记被广泛应用。
[14]使用打印了特定图案的棉质手套的实时投影图案,重建三维人手模型,取得了实时的结果,可用来进行操作型手势交互的应用。
3.3 手势的跟踪3.3.1 基于表征的特征跟踪实时鲁棒的跟踪到无标记的人手自然位置,可以用来协助手势识别并通过手的运动轨迹获得模仿型动作,从而实现使用模仿动作的通信型手势交互。
对图像特征的跟踪是机器视觉领域的传统问题,已发展的相对成熟。
然而随着手势交互领域相关应用的发展,对特征跟踪又提出了新的需求。
由于刚体的跟踪已经有了比较稳定的算法[28,29],而手是一个高度灵活的非刚体物体,所以一般的特征匹配与跟踪算法无法达到较高的成功率。
[30]总结了人机交互系统中,手势跟踪算法应满足的三个要求:(1)实时性好,避免高维度特征矢量的计算和复杂的搜索过程。
(2)足够的鲁棒性,不受跟踪对象旋转、平移和比例改变以及摄像头视角改变的影响。
(3)跟踪的连续性和自动初始化,能够在跟踪失败后自动恢复跟踪,尽量减少人为干预。
鉴于手自身的高度灵活性,跟踪背景的复杂性,以及相机运动的不确定性,如果直接使用基于普通的肤色查找表的算法,背景减法,或自适应背景模型[31]等算法,不能满足应用的鲁棒性需求。
[32]提出了多线索特征流的概念,通过跟踪一系列特征点来对人手自然的整体进行定位。
但是[32]使用头戴,假设手与摄像设备距离相对固定,并且假设背景中没有较大肤色物体,而这对于一般面向用户的交互应用并不具有适用性。
[20]基于多线索特征流的思想,结合速度模型与贝叶斯肤色模型,采用基于速度权值的特征点流与肤色模型多模式的方法。
对于手的跟踪,可以满足上述的三个要求。
3.3.2 关节式物体跟踪作为蒙特卡罗( Monte Carlo)方法的一种实现形式,粒子滤波方法已经成为处理非高斯、非线性问题的有力工具而在关节式物体的跟踪领域得到了广泛的关注。
但是,粒子滤波方法需要大量样本来表示后验分布,对于以高维为特征的关节式物体来说,即使采用10 维变量,每个变量取20 个离散值,也至少需要320,000,000 个样本才能较好地表示后验分布的典型集[33],这使得实时性跟踪变得遥不可及。
因此,很多研究者对如何降低状态空间的维数行了比较广泛的研究,除了利用人手的动态约束条件和静态约束条件所决定的变量之间的关联性和变量的变化范围,从而在一定程度上降低状态维数之外,人们采用了多种方法研究高维状态的处理方法。