一种基于深度学习的静态手势实时识别方法

、　＼　图形图像　文章编号：１００７—１４２３（２０１７）３４—０００６—０６　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００７～１４２３．２０１７．３４．００２　一种基于深度学习的静态手势实时识别方法　

张勋，陈亮，胡诚，孙韶媛　（东华大学信息科学与技术学院，上海２０１　６２０）　摘要：　手势是人机交互的一种方式，更是听力言语障碍人群与他人交流的一种语言。针对手势识别速度和检测率这两个难　点，提出一种静态手势检测网络模型ＡＳＳＤ。该模型基于深度学习的ＳＳＤ方法，将原方法的特征提取网络ＶＧＧ１６　改进的卷积神经网络ＡｌｅｘＮｅｔ取代，以进一步提高识别速度。同时，辅助网络使用多尺度特征检测、卷积预测器检测　和默认框与宽高比等策略。这些特性使得该模型有着端到端识别优点，在保证识别精度的同时大大提高识别速度。　实验结果表明提出的方法对流式视频静态手势的平均识别率达到９３．３％，平均识别速度达到３０ｆｐｓ，满足实时性与准　确率要求。　关键词：　静态手势；实时识别；深度学习；卷积神经网络　基金项目：　上海市科委基础研究项目（Ｎｏ．１５ＪＣ１４００６００）　

０　引言　根据最新全国人口普查资料表明，我国有１．５亿听　力言语障碍人群，而听力言语残疾人群已达到２０５７万　人，约占全国总人口的１．５７％。手势是聋哑人用手势　代替正常言语进行交流的一种有效方式。研究手势识　别能帮助聋哑人，尤其是一些未得到良好教育的聋哑　人之间的交流，同时也能帮助聋哑人与正常人之间的　交流；其次，手势识别是人机交互的一种便利的方式，　研究手势识别能促进机械智能运作、移动设备终端的　操作、门禁系统、远程控制等其他领域的发展；手势识　别的进一步研究，还可以提高计算机在人类语言理解　的程度。　研究者在静态手势识别领域有着许多探索。２０１　１　年Ｒｅｙｅｓｔ　等人从基于Ｋｉｎｅｃｔ深度图像对不同骨骼节点　训练对应权重，利用特征加权的ＤＴＷ算法，在５类手　势上通过交叉验证得到６８％的识别率。２０１３年Ｃｈａｉ　等人　通过对手的三维轨迹匹配的方法进行２３９个中　同手势词汇的识别，达到了８３．５１％的准确率。２０１６年　中同科学技术大学的张继海　在对手势轨迹处理后利　

＠　现代计算机２０１７．１２上　

用ＨＯＧ提取手型特征后利用改进的隐马尔可夫模型　（ＨＭＭ）进行建模，最后在用基于帧平均概率融合与支　持向量机的融合方法实现手势识别，准确率方面也取　得了比较不错的效果。　以上方法在准确率方面取得＇『不错的进步，但要　满足静态手势的实时识别要求、识别速度和准确率有　待提升。因为人手骨架不统一、手型多变、手势词汇量　大的特点，其特征信息很难灵活的获得，人工通过建模　等方式设计手势描述特征的过程ｆ分繁琐、无法深度　挖掘更高层次、更多维度的特征信息，这就导致基于传　统方法的模型范性差、很难达到实时检测目的。　深度学习模型　是一种突破性的技术，尤其是它在　机器学习领域的表现。为了达到模式分析和分类这样　的目的，它的有监督和无监督的特征提取和转换是ｍ　多层非线性的组合去完成的。许多困１人】外科研机构的　研究人员在深度学习领域进行＿『广泛的研究，其应用　方面也做了大量的拓展，效果突出的领域主要表现在　语音、图像等领域。Ｒｏｓｓ　Ｂ．Ｇｉｒｓｈｉｃｋ等人提出区域卷　积神经网络（Ｒ～ＣＮＮ）ＩＳｌ，快速区域卷积神经网络（Ｆａｓｔ　＼　图形图像　（ｎ）含真实标签框的图，　ｒ　１　一．Ｌ　１　＝：＝　—　１Ｉ一．　Ｉ　Ｉ　Ｉ　ｒ　１　芒　Ｉ—　叶１　。　Ｌ　Ｉ　：　：　ｌ—Ｉ　ＩＩ　Ｉ　ｌ一　Ｉ　Ｉ　Ｉ　。　一一　＋Ｉ—　Ｌ　Ｉ　（１１１　８ｘ８特征罔　冈４　ＳＳＤ架构　得到多尺度的预测值。　ＡＳＳＤ方法基丁前馈卷积网络，除壤训：网络特征提　取层改变外，其他沿用了ＳＳＤ方法的特征选择和　配　策略．．　２．１　ＡＳＳＤ模型　ＡＳＳＤ架构　，如　４所示。　训练网络期问，输入ＡＳＳＤ网络的仅足每个对　象的　像和对应的其实标签框，如图４（ａ）所示。卷积　部分，ＡＳＤＤ网络会在不同尺度的特征　中估测各个位　置上小同横宽比的小集合（如４个）默认框，如图４（Ｉ））　和图（ｃ）所示　各个默认框巾，需要得到全部形状偏移　和置信度，那就要预测全部对象的类别（（ｃ　ｌ，ｃ２…，　ｅｐ））。住训练时，凶‘先完成的是默认榧与真实标签框　配动作ｊ（例＿殳ｌＩ，猫和狗被两个默认框ｌＪ乙配到，这些　配到的框视为　，其余视为负）　对于恪个模型，Ｈ｛位　置信损失（如Ｓｏｆｔｍａｘ）和置ｊ＝＝５＿ｉ失（如Ｓｍｏｏｔｈ　ＬＩ）￣，Ｊ　ＪＪＩ］权　和的形式来表示总损失Ｌ。　綮丁ｌｊ１＝『馈卷积网络的ＡＳＳＤ方法，会产生同定大　ｄ，Ｖ．Ｊ边界框集合以及框中对象类别的分数，再通过一　个非最大化抑制步骤产生最终的检测。网络如　２所　示，本文提ｆ｛５的ＡＳＳＤ网络暴础网络为改进的ＡｌｅｘＮｅｔ　网络；辅助网络产生以下主要特征的检测：　（１）多　度特征冈检测：在去掉全连接层ＡｌｅｘＮｅｔ　的基，【ｉ｝｝｛网络末尾增加额外的卷积特征层．其特征足在　逐渐减小的特征层『ｆＩ产生不同尺度检测预测值。各个　特征层与检测的卷积模型不是一－－Ｘ，Ｊ应的关系。　（２）检测使．Ｌ｝Ｊ卷积预测器：如　２　ｒｆｌ所示，在各个　额外卷积特征层和去全连接层的ＡｌｅｘＮｅｔ网络特征层　Ｊ：使川一组滤波器去卷积这些特征层从而生成预测集　合。预测集合具体乍成规则是：对于ＦＩＩＸｒｌ大小的、并且　＠　现代计算机２０１７．１２上　Ｉ‘　－　－Ｉ一　一　●　一ｌ＿Ｌ—　Ｉ．　．　Ｉ　Ｉ：　Ｉ：ｉ　㈠　ｌ　Ｉ　：：　Ｌ一一Ｉ　Ｉ一．Ｌ　ｒ　．Ｌ　—　Ｊ　，一一　—　：　Ｉ　’Ｉｏｃ　Ａ（ｃ３￣，ｃｙ，　，ｈ）　ｃｏｎｆ　（ＣＩ，Ｃ２．…　ｃｐ）　具有Ｐ个通道的特征层，卷积核大小则为３Ｘ３Ｘｐ，卷积　操作后，生成该框中目标类别分数、或是代表相对于默　认框的坐标偏移量，并在每个ｎｌｘＨ大小区域上进行卷　积操作，产　一个输ｆｌ｛值。测量的边界框偏移输出值　是相对于默认框的，而默认框位置则是相对丁特征　降『的。　（３）默认框与宽高比：默认框盘Ｉｊ『鍪１　４，关联一组默认　边界框与顶层网络每个特征图　元。同定各个框实例　相对于其对应单元格的位置足通过在特征图巾用默认　框作卷积运算实现的。相对于单元格中的默认框形状　的偏移和每个框中实例的每类分数，是可以在各个特　征映射单元巾预测的。　２．２　ＡＳＳＤ　Ｉｌ练　训练ＡＳＳＤ关键在于训练图像巾的真实标签需要　赋予到那些同定输出的默认框上：　（１）　配策略：训练时，需建立　实标签和默认框　之问的对应关系，通过默认框与真实标签Ｊａｃ￣．ａｒｔ１　配　重叠程度来确定这一默｝人框，例ｆｎ１　配重叠程度高于　某闽值０．５。　（２）４ＪＩｌ练目标：ＡＳＳＤ训练的［Ｊ标　数，源白Ｍｕｌｔｉ—　ＢＯＸＩ“　…的日标　数。第ｉ个默认框与Ｐ类别１３标第ｉ　个真实标签的　配用　＝ｌ表示，相对的若不　配则　＝０。通过这个匹配策略可知，必然　≥ｌ，这就　表示第ｉ个真实标签有可能匹配多个默认框…　口标　损失函数Ｌ（ｘ，Ｃ。ｚ，ｇ）是位置损失　和置信损失，Ｊ．．．　的　ｍｌ权和，如式ｌ所示：　１　Ｌ（ｘ，ｃ，Ｚ，ｇ）＝—　１　（　（　，ｃ）＋　，Ｊ　（　，ｆ，ｇ））　（１）　

式巾，Ｎ表示　配默认框的数　，Ｘ表示足以　像　作为输入的变量。　图形图像　ｆ¨ｖ　ｉ火，　．址・个ｓｍ川，ｌｈ¨ｉｉ＞ｊ　Ｊ久．它介丁预测　（Ｉ）ｆｌＩ　ｆｔ　ｆ，．　掺价　（ｇ）参数之ｌｉ　ｑ．…０　Ｉ．ｉｌ２　｛＝Ｉｌ　的ｌｆ１　心（ｒ、．ｒ、）Ｌ３，搜Ｊ　瞍、、ｌｆＩ１ｌ岛　ｈ　ｎ０　ｆｊ；　，＆［】式（２）　爪：　，｜　¨ｉｌ１．／．　）＝∑∑　Ｌ　Ｍ　ｌ　一　（２）　Ｊ　Ｉ　……ｒ　＿ｌ＿　…　ｊ　Ｌ・ｌｔ：誊　’＝ｆｇＩ＿一ｒ，＿　）／ｄｌ　叠：　＝（　一ｒ，＝　）ｌｄ　，　叠　＝ｌｔ　ｇ（÷），　＝Ｉ（　（｝）　・，ｆ１ｈｎｉｉｘ扎ｉ火埘多类圳竹　（ｃ－）ｆｌｌ仪ｒ　Ｊ　０　（ｘ没置为ｌ　Ｉ＇ｉ＂Ｊ　Ｕ　ｉｉｌ　Ｊ　Ｊ戊ｒ。　火　．　一『』ｌＩｘＬ　３　，Ｊ　：　／Ｊ　．１　）＝一∑　ｌｏｇ（㈡一∑　（３）　，　・、　、一　Ｊ　ｔ：　（３）选扦默队　的比例以ｌ／爻横宽　：Ｉ、Ｉ，ｉ个　络『ｆ１小　川』　”　仃颅洲以埂　所仃埘象』　Ｉ　共亭参　教Ｉ，ｊ　ｌ姗一　少汁　ｊＩ』、Ｊ　求．Ｊｆ　ＩＩ＿，小Ｉ＜￣Ｉ－－ｆｔｉｆｉ特　的　柑　ｆ¨ｔ。ｆ牝仉　ＩｌＩ特定的』ｘ　城币ｆ１物ｆ小特定』　寸，　这｝　人　１　必　ｊ　Ｊ　Ｉｆ－感受　州ｈ：／　嗵过　测多组　圳　多ｊ‘　ｆＩＩ！ｌ冬【的｝ｉＪｉ＝彳Ｊ　ｌ　Ｊ　＇ｒｆｌｌ　赶离比的　仃　ｎ０　．来』　一，Ｉ－多样化的颅洲　，这样就　ｉｌｊ．啦ｒ见输人刈　象的Ｉｑ．ｔ　和肜状就　擞感　３　网络训练和结果分析　３．１实验软硬件配置介绍　ｌ，他川（：ａ¨。深度学　Ｉ’：　架，算法　ｉ‘ｑ　０　【】誓　；分Ｊ｝：源』眺Ｉ＿】ｌＩ　ｌｌ　ｉｌＩ＿ｌ　ｏｌｏｌｘ１．１ｔ・ｓ１．ｐｌ＿Ｉｌｔｏｔｘｔ．　ｌ＼ｌ－ｒ．ＩＩｒ¨¨Ｉ，Ｉｘｌ史什．ＩＩ　Ｊ以训　＼ＳＳＩ）ｆｌ《Ｊ　，　１实验软硬件配置　３．２实验数据及流程　小　０　教　址…高消ｔ　Ｉ　Ｉ摄　采　成实验　ｆ　ｒＩ　念ｒ・坍｝！ｌ圳的２６个０：ＶＪ：丁・坍ｉｌ１选　５个　：　乃ｆ　ｆ　．；）．１Ｊｊ＿Ｊ　，、、Ｂ、Ｃ、Ｉ）、　：　Ｕ命教　・：ＩｆＩ　８个人　充　ｆＪ　．７：　／＼　Ｊ　７：　１、　ｊ’：ｆ：Ｊ　分”『ｊ求　ｆ｜１Ｊ｝　！ｆ　，ｆｌｆＩｌＩ　Ｍ、＿ｒＩ　．、Ｉ｛视　ｆｆｆｌ　Ｊ　，　Ｉ，ＭｉｌｉＩｌＪ，Ｊ　，　Ｊ５＝｝＝帧糊，　｝　ｌｌｉ＇．ｊｊ冬Ｉ　，得　ＩＪ　ｆ１０￣ｋＪＪ，・　数ｆ｝　＆２　ｊ　，Ｊ：，Ｉ冬Ｉ片人ｌＪ，Ｊ９　６４（）ｘ４８０川　１　ｉＩ　Ｉｌｉｎｇ　逊ｆ　人＿厂　Ｌ—Ｉ，￣…ｊ．ＩＪＪ　ｃ　『ｌ　怀掺艾什　ｌｊｌ】　ｆｔＩ－　ｌ】　Ｉ的　ＪＩ】约　Ｉ冬Ｉ像埂　刈　Ｊ　『ｊ０　ｒ　实　；掺　艾什　，越过微　州ｉＪｌ　，／、－参数－．Ｉ　断迭　坎　坝Ｊ１　敛　Ｊｉ　ｎ　，ＩＩ４参数选ｌＩ　测　ｉＥｆｉｆｏ昔　』ｌ：高的　ＪＩ　ｆ１　最终十ｌ！Ｊ　ＪＩ　Ｊ丁　圳分瑟　＂Ｊ　－．：ＪＪ‘￣：ｇ　ｌ　—ｆ参照　

表　静态手吩故据集　字母　训练集　测试集　总计　＾　』ｌ　ｌ　【）（１　ｌＩｆｌｊ【　Ｂ　．Ｌｔ　】ｌ　【＿【１　：　…ｌ１　Ｃ　、ｌ　【＿ｌｌ　：　｛Ｊ　ｉ　Ｄ　ｌ【＿【１　．　】｝　Ｅ　ｉ　Ｌ　’　＿＇【）【ｌ　Ｉ】　ｉ　总计　１ｌ１ｉ　｛　（　ｉ　】　Ｌ’　

３．３实验结果及分析　利川小迎提…的＼ＳＳＩ）　训　…ｔ来的　，Ｉ　，果　Ｊｔ　ＪＩ　ｆ仆ｑ　摄像　．　时采　删ｉ　仆立…的ｌ、、ｌ｛、ｃ、１）、　ｌ　ｒ・势，Ｊ　ｉｆ－部分帧的伶洲　『』『ｌｌ冬【５所永：　频　，ｌｔ　的洲　机做的　：Ｊ　Ｉ｛、Ｃ、１）、　丁－势鄙能够　愉洲…术　ｒ１＿　脱０’：　Ｉ　分炎，ｌ　Ｉ｛￣，ｊｉ．ｉ１２　』　…ｆ　ｌ　ｆ，＿：．人　５分　．　果！　，Ｊ：ｒ　Ｉ　０『ｆ０慨啐　；ｌ，ｒｊｉｌ．Ｊ‘．十　０ｉｉ，ｉ＿ｌⅢ７：ｆ　秒ｆ＃－４ｉｉｉｉｌｌ，Ｊ　教ｆｐｓ（［ｒａｎ　Ｈｉｌｔ）人　敏　能ｆｌ　”　３０１　．这个Ｉ叮以满足　叫伶洲ｆｎ’　Ｋ　ｉｔｉ丁　ＸＳＳＩ）的　额外特ｆｉＩ　采取ｒ多Ｊｑ．瞍愉洲的　略．可对１　川犬／ｊ、　的特　ｉ　郴做项删，所以｝ｆＩ埘刈Ｊ　ｊ』ｌ　大小　远近的　ｒ－势Ｌ！Ｚ能够准确枪测　队述分炎然ｌｍ水义的丁．坍伶　测　＇ｉｉ圳ｌ　：　仔仵漏伶ｆＩｌ　Ｊ－Ｉｆ　分炎的　６　Ｊ冬Ｉ　６（　－）所爪，这址一个渊愉棠例，这址ｆｔ１丁ｌｒ．蚺￣Ｉｋ　ＪＭ　分被遮　，从而　浊术能怜洲刊』ｌ　ｆ『『０　ｒ协：　ｊ冬Ｉ　６（２）　爪，这址一个　Ｌ．尺ｒ１分类，测　Ｉ；￣ｉｆ敝的ｒ・势ｆｉｔ　ｉ．ｉ发　：『：Ｊ　ＬＩ（０：川　Ｉ　仲大ｊ１　ｊ扑　），ｉｆｉ　Ｊ　ｈ　托　ｌｒ－ｆ门述』　过１、　ｊ　久拇指这＿ｆ叶一ｆｉｌｌ小『ｌ　ｆ，Ｊ　仃ｆ　ｒ　影．以　小钟：　Ｌ　０．４ｌ　ｎ０慨啐ｉ将陔丁・辨’Ｊ　｝ＪｆＪ乃　ｊ　：Ｉ：Ｊ．－・Ｊ（　ｊ　：ｆ　ｔＩ：　、　ｒ　仪　聱），　僻注意的址这　刈（１ｉ人　以圳７－ｉＪｉ￣ｉｉｆ，ｊ‘　会Ｊ　：　小史　使ＪｔＪｆ＃－统ｒ．蜉｝！　¨（）（　＋　ｖＭ坼：法ｆ¨　ｊ－个　Ｊ建　、　：　Ｊ　ｑ　Ｆａｓｔ　Ｒ一（：ＮＮ　Ｉ　１仟Ｉ　ｆ０　０酞环Ｊ竞Ｉ、‘进ｆ　…ｉＪ弋．Ｊｉ－《ｌｆ比＿ｒ　火３　小：ｆ　统，Ｊ　法，Ｊ‘　悌Ｊ　Ｉ　Ｉ　‘【冬Ｉ＋支ｊ　】：ｌ　ｆＪＬ（ｔｌ（）（　＋　＼、１）ｒＩ　伶　０ＩＩＪ　ｊ生　（（）．２７ｆｐｓ）ｆｌＪ；化确牢（ｏ．５８ｌ】力‘ｉ（ｉ　搜ｉ　度　、　：ｊＪｌｆ【ｆ　Ｉ　‘法　…　传统　特　摊取过　的汁　：需嘤人ｆｌ　０　ｔ　Ｉ＇Ｈｊ　『Ｉ．效果也　想　ｈ—Ｉ　Ｉ／一（　ＮＮＩ址一　深　学　常　的『｛《Ｊ　，它的榆测卅　（０．７８２）ｆ｝１比传统力　法　（　）（　＋ｓｖＭ）彳丁了很大的　Ｉ　．ｆＩ　它录』Ｉ　Ｊ的搜索　Ｐｌ　钟：法