一种基于加速度与表面肌电信息融合和统计语言模型的连续手语识别方法

合集下载

基于FPGA的实时手势识别系统

基于FPGA的实时手势识别系统

基于FPGA的实时手势识别系统张永强;陈香;王从政;董中飞;左鹏飞【摘要】本文构建了一个基于FPGA的实时手势识别平台,并在该平台上实现了一种基于表面肌电(sEMG)信号和加速度(ACC)信号的手势识别算法.具体实现过程中,无线sEMG传感器和无线三轴ACC传感器穿戴于两手前臂实时获取sEMG信号和ACC信号,并以无线方式发送到数据处理模块.数据处理模块充分利用FPGA的并行处理优势,融合ACC和sEMG信息特征,实现了单双手手势的实时识别.经测试,本文所用的手势识别算法移植到FPGA中以后,识别速度明显提高,16个中国手语手势动作达到了95%以上的识别率.%This paper developed a real-time gesture recognition system based on FPGA, and achieved a gesture recognition algorithm based on surface electromyography ( sEMG) and acceleration ( ACC ) signals on the system. Specifically, the wireless sEMG sensors and wireless tri-axial ACC sensors were worn on the arms to collect signals and sent the signals to the data processing module. The processing module took full advantage of FPGA parallel processing,and put sEMG and ACC signal features together to achieve real-time hand gesture recognition. According to the test, the hand gesture recognition algorithm transplanted on FPGA got faster recognition speed than it was run on a personal computer,and the recognition rate for sixteen kinds of Chinese sign gestures reached 95% above.【期刊名称】《传感技术学报》【年(卷),期】2011(024)011【总页数】5页(P1653-1657)【关键词】手势识别;FPGA;表面肌电;加速度【作者】张永强;陈香;王从政;董中飞;左鹏飞【作者单位】中国科学技术大学电子科学技术系,合肥230027;中国科学技术大学电子科学技术系,合肥230027;中国科学技术大学电子科学技术系,合肥230027;中国科学技术大学电子科学技术系,合肥230027;中国科学技术大学电子科学技术系,合肥230027【正文语种】中文【中图分类】TP274.2;TP212.9随着传感器技术、通信技术和IC技术的快速发展,人机交互已经从原来的键盘、鼠标这种单一的交互模式,迅速发展成为融合多种传感器,运用多种通信方式的多样化交互模式[1-2]。

基于柔性神经树和表面肌电信号的手势识别模型

基于柔性神经树和表面肌电信号的手势识别模型
9 5 % 7. 3
关键词 中图分类号
表 面肌 电信 号 柔性神经树 均方根 均方根误 差 Mi oot i a C+ 0 8 c sfV s l +20 r u T 3 14 P 9 . 文献标识码 A
HAND GES TURE RECoGNI oN oDEL TI M BAS ED oN FLEXI BLE NEURAL TREES AND SURFACE ELECTRoM Yo GRAPHY
Abtat src
Sr c l t m orpy ( E uf eEe r ygah sMG)s n shv h etrso n nivs e ades orcr,tee r te aebe a eo i a aetefa e f o・ ai n ay t eo gl u n v d hrf e hy hv en o
cn etnadl e a t ercgio a .A ra—m adgs r cg io dl ycmb ig eil nua t e F T on c o n w rrl i ontnr e l t ehn et er ont nmoe b o i n x e er es( N )moe i o e m e i t e i u e i n f b l lr dl
uigsr c l t m orpy (E s u aeEe r ygah s MG)s n l uul m ly iils n rcsi hp resm l m tosa to osl h n f co i a saye posdga i a poes gc i o ne be ehd s ol t o et g s l t gl n s s v e
G oY ’ a WagQn h a Ai ba a u in n igu jhA rhm t

融合表面肌电和加速度信号的下肢运动模式识别研究

融合表面肌电和加速度信号的下肢运动模式识别研究

融合表面肌电和加速度信号的下肢运动模式识别研究席旭刚;汤敏彦;张自豪;张启忠;罗志增【摘要】为了提高下肢运动模式识别率,本文设计了一种融合表面肌电和加速度信号的下肢运动模式识别方法.首先,用局部均值分解将表面肌电信号分解为多个乘积函数(Product Functions,PFs),再计算PF成分的多尺度排序熵.然后,通过拉普拉斯权重(Laplacian score,LS)特征选择算法选定每路肌电信号的一个尺度排序熵为特征,并把该特征和加速度信号的排序熵组成特征向量.最后,根据类内欧氏距离和类间样本分布,设计了改进的二叉树支持向量机,把特征向量输入该支持向量机进行下肢运动模式分类.实验结果表明所提方法对七个日常动作的平均识别率达到98.62%,相较于其他方法有较高的识别率.%In order to improve the recognition rate of lower limb motion pattern,(a novel lower limb motion recognition method was designed by fusion of surface electromyography (sEMG) signal and acceleration signal.Firstly,the sEMG signal was decomposed into a set of product functions (PFs) by Local mean decomposition (LMD),and the multiscale permutation entropy (MPE) of PFs was calculated.Then,one scale permutation entropy was selected as the feature of sEMG by the Laplacian score.The feature vector is composed by this sEMG feature and the permutation entropy of acceleration signal.Finally,based on the combination of inter-class Euclidean distance and intra-class sample distribution,an improved support vector machine based binary tree(ISVM-BT) was designed.The feature vector was inputted into this SVM to recognize the lower limb motion.The experimental results indicate that theproposed method achieved 98.62% at the average recognition rate for seven daily activities,and has higher accuracy than other methods.【期刊名称】《电子学报》【年(卷),期】2017(045)011【总页数】7页(P2735-2741)【关键词】下肢运动模式识别;表面肌电信号;加速度信号;多尺度排序熵;改进二叉树支持向量机【作者】席旭刚;汤敏彦;张自豪;张启忠;罗志增【作者单位】杭州电子科技大学智能控制与机器人研究所,浙江杭州310018;杭州电子科技大学智能控制与机器人研究所,浙江杭州310018;杭州电子科技大学智能控制与机器人研究所,浙江杭州310018;杭州电子科技大学智能控制与机器人研究所,浙江杭州310018;杭州电子科技大学智能控制与机器人研究所,浙江杭州310018【正文语种】中文【中图分类】TP24随着社会的快速发展,受先天环境和后天疾病影响引发下肢单侧肢体运动功能损伤的患者日益增多.提高这类患者的生活质量并逐渐使其恢复运动能力已经成为社会关注的热点和医疗康复领域的主题[1].随着机器人技术的飞速发展,产生了结合外骨骼康复机器人等先进的康复手段[2],实时提取人体下肢运动意图,建立外骨骼机器人系统的主动柔性控制策略,可以实现根据人体运动意图的主动康复训练[3]. 表面肌电信号(Surface electromyography,sEMG)广泛应用于运动意图识别领域[4,5].一种新的自适应时频分析方法局部均值分解(Local mean decomposition,LMD)能将一个复杂的非平稳多分量幅频调制信号分解为若干个具有物理意义的PF(Product functions,PF)分量,本文利用LMD对肌电信号进行处理.在LMD分解之后,主要的问题是如何从获得的PF成分提取动作特征信息.常见的时域特征、频域特征、非线性分析方法等已广泛应用于sEMG的特征提取,但上述方法存在抗噪能力弱、数据预处理过程复杂等局限,导致sEMG本身的细节特征[6]难以有效提取.排序熵(Permutation entropy,PE)作为一种基于复杂性度量的非线性动力学参数,具有计算速度快、抗噪能力强等优点,已逐渐应用于心电[7]、脑电[8]等复杂生物电信号的分析中.多尺度分析方法将时域信号通过多尺度粗粒化处理分解为不同时间尺度,多尺度分析包含原始信号不同时间尺度上更多的细节信息,更能反应肌电信号在不同运动模式下复杂的内部特性,Wu等[9]已经证明了多尺度排序熵比排序熵具有更好的性能.因此本文利用多尺度排序熵提取不同运动模式下的肌电信号特征.加速度信号不仅可以反映日常行为动作随时间推移产生的速度信息和在空间中的运动轨迹信息,还可以提供日常行为动作相对于重力加速度方向的角度倾斜信息,因此广泛应用于日常行为动作检测及跌倒检测中,常提取加速度信号的时域特征如简单阈值、峭度、信号幅度向量、信号幅度域(Signal Magnitude Area,SMA)[10]及加速度瞬时变化值等,Irene S等[11]采用加速度对坐、站、行走进行识别,获得了99%的识别正确率.但利用加速度信号简单的时域特征不能有效的反映出下肢不同运动模式之间的区别,而排序熵能够准备的反映不同运动模式加速度信号的复杂度,有利区分不同的动作模式,因此本文将利用排序熵提取加速度信号特征. 在提取了表面肌电信号和加速度信号特征之后,将所提取的特征输入支持向量机分类器进行下肢运动模式识别.由于四路表面肌电信号提取多尺度排序熵所组成的特征向量维数较高信息冗余使得模式识别准确率下降,计算复杂度增加,因此我们有必要降低特征空间维数选取几个重要的尺度因子组成特征向量,本文引入拉普拉斯权重算法对多尺度排序熵按照重要性进行排序,实现降维处理.对于多分类问题,基于二叉树的支持向量机有较少的子分类器,不存在无法划分类别的样本空间,比较好的分类性能[12].基于二叉树的支持向量机分类器分类性能主要取决于二叉树的构造上,本文结合类内欧氏距离和类间样本分布,改进了二叉树支持向量机分类算法.2.1 局部均值分解(LMD)LMD最初用于将一个复杂的非平稳多分量幅频调制信号分解为若干个具有物理意义的乘积函数(Production funcitons,PFs),每一个PF分量由一个包络信号和一个纯调频信号直接求出[13].给定任何信号x(t),它可以通过LMD按如下方法分解:(1)找出原始信号x(t)的所有局部极值ni,包络估计值ai=,并计算相邻两个局部均值ni和ni+1的均值,然后通过滑动平均算法形成局部均值函数m11(t)和局部包络函数a11(t).(2)原始信号x(t)减去m11(t)得到分离信号h11(t),进而得到h11(t)的解调信号s11(t)=.(3)重复以上步骤得到s11(t)的包络信号a12(t),如果a12(t)=1则停止计算并将s12(t)作为第一个纯频率调制信号.否则将s11(t)作为原始信号重复以上步骤n次直到a1n(t)≈1.(4)PF1(t)可以通过包络函数a1(t)和纯调频信号s1n(t)得到.其中PF1(t)包含信号x(t)中最高频成分,它的瞬时幅值可以通过包络信号a1(t)得到,瞬时频率f1=.(5)从原始信号序列x(t)中减去PF1(t)得到一个新的信号u1(t).将u1(t)作为一个新的数据重复上述过程k次,直到uk(t)是一个常量或单调函数.因此,原始信号可以通过式(2)重构.其中uk(t)是残留信号,k是PF成分数量.2.2 多尺度排列熵多尺度分析算法可以用来估计原始时间信号不同尺度的复杂度.基于多尺度分析的多尺度排列熵(Multiscale permutation entropy,MPE)首先由Aziz和Arif提出[14].MPE算法包括两个步骤.首先将原始信号进行多尺度粗粒化处理,然后计算其排序熵.MPE算法简述如下.(1)对于给定的时间序列x(k),k=1,2,…,N,多尺度粗粒化过程如下:其中,s 为粗粒化尺度多尺度粗粒化的时间序列.(2)然后按照文献[15]所述计算每个粗粒化时间序列的排列熵(PE),然后根据粗粒化尺度因子s计算多尺度排列熵如下式.在进行MPE计算之前必须设置嵌入维数m、时延τ、时间序列长度N、尺度因子s.因为m维向量有m!种可能的排列,排列熵的值与嵌入维数直接有关.并且时间序列的长度N应满足N≥5m![16].Christoph和Berndt指出嵌入维数m应满足3≤m≤7.Yan等人[17]已经研究了不同嵌入维数m情况下的排序熵有效性.二叉树支持向量机(Support Vector Machine Based Binary Tree,SVM-BT)利用了树结构高效的计算能力和SVM算法高精度的识别率[18,19].本文结合类内平均欧氏距离和类间样本分布,改进SVM-BT算法即ISVM-BT(Improved Support Vector Machine Based Binary Tree)算法.在本文中用欧氏距离(Euclidean distance,ED)作为衡量标准.为了建立一个分类标准,使不同类之间有更大的欧氏距离,同类样本之间分布更加广泛,可分离度量标准IA,B可以由类内平均欧式距离AVa、AVb和平均类间欧式距离AVIab和权值系数k得到,定义如下.ISVM-BT算法过程如下:(1)由训练数据得到类内平均欧氏距离AV和类间平均欧氏距离AVI,在本文中权值系数kn=2n,-4≤n≤4,n为整数.(2)对于给定的k计算分离性测度SI=Ii,j,i,j=1,2,…,N,i≠j,构造对称矩阵如下.(3)二叉树的分层结构按照矩阵SI每行的和值排序.(4)改变权值kn并且重复步骤(2)和步骤(3)生成一系列二叉树分层结构.(5)选择一个二叉树分层结构和权值kn,建立SVM子分类器.对于k类问题需要产生k-1个子分类器,对测试数据进行分类计算分类器的分类精度.(6)令n=n+1重复步骤(5)直到n=4为止.(7)根据所有的权值kn对应的分类精度来决定最优的二叉树分层结构.基于以上步骤的ISVM-BT算法流程图如图1所示.核函数对SVM分类性能起到关键作用,不仅可以降低运算时间还可以解决维数灾难问题.由于径向基函数的广泛应用和较好的性能[20],因此本文采用径向基函数作为SVM的核函数.通过遗传算法(Genetic Algorithm,GA)获得每个子分类SVM模型的全局最优惩罚参数c和核参数γ.4.1 实验过程采用Noraxon公司的mt400四通道肌电采集仪采集肌电信号.通过对腿部肌群测试比较最终选定胫骨前肌、腓肠肌、股直肌、半腱肌作为信号源,在进行数据采集前先用酒精擦拭上述四块肌肉,去除皮肤表面的毛屑降低干扰,同时要求测试者在24h内不要做剧烈运动.将一个i4Motion三轴加速度传感器结点固定在测试者腰部,捕获并记录x、y、z三轴的原始运动数据.由于肌电信号的有用能量主要分布在10Hz~500Hz之间,为了不失真采样,因此设定肌电信号的采样频率为1000Hz.根据人体活动产生的加速度信号都在20Hz以下[21],本文设定加速度信号的采样频率为50Hz,数据采集设备通过蓝牙将数据传输到上位机软件中,上位机记录并保存原始运动数据.本文主要研究了走、上楼、下楼、站到坐、坐到站、站到蹲和蹲到站这七个日常行为动作.实验对象为两名身体健康男性(24±2岁,65±5kg,170±5cm)和一名女性(23岁,48kg,162cm).每组动作重复40次,每个样本由四路肌电信号和x、y、z三个轴向的加速度信号组成,采用文献[22]的方法确定每路肌电的起始点,根据康复患者的活动频率,取每路肌电信号后续的2000个采样点数据和加速度信号后续的100个采样点数据作为研究对象进行下一步处理.4.2 实验数据特征分析由于表面肌电信号是一种非平稳、非线性的微弱电信号,易受环境噪声和工频噪声的干扰,因此在进一步处理之前需要对肌电信号进行去噪处理.应用上述介绍的局部均值分解(LMD)算法对肌电信号进行分解.蹲下时股直肌的肌电信号分解结果如图2所示.由于肌电信号的动作信息主要集中在前面的PF成分中因此图中只显示了前4个PF成分.在LMD分解之后应用多尺度排列熵提取肌电信号特征,其中嵌入维数m=5,尺度因子τ=20.图3和图4分别表述了20次实验对应七个动作胫骨前肌肌电信号LMD分解之后PF1和PF2的MPE均值曲线.从图3和图4可以看出PF1的MPE比PF2的MPE具有更好的分离性,为了进一步说明引入表征不同动作分离性的平均欧氏距离其中Tj(τ)为归一化的排列熵值,N=7是动作数量,M=21是七个动作构成的欧氏距离的数量)作为评价指标.PF1和PF2多尺度排列熵对应的四路肌电信号平均欧氏距离分别为1.3169、1.2833、1.0483、1.1579和0.9607、0.8268、0.7981、0.5050.PF1成分有较高的平均欧氏距离这表明PF1成分蕴涵更多的动作特征信息并且具有更高的可分离性.因此将PF1成分作为肌电信号的主要成分进行进一步的研究.如果直接将每路肌电信号计算得到的20个尺度排列熵组成1×80维的特征向量进行计算,将会增加计算复杂度和运行时间,因此我们应用拉普拉斯权重(Laplacian score,LS)特征选择算法[23]计算不同尺度熵的重要性.其中胫骨前肌肌电信号20个尺度排序熵按重要性排序如下,其余三路肌电信号与此分布类似.LS1<LS7<LS2<LS3<LS4<LS8<LS5<LS6<LS9<LS19<LS12<LS10<LS13<LS1 4<LS11<LS15<LS16<LS17<LS20<LS18通过实验分析并基于计算复杂度和识别精度两方面考虑最终选择每路肌电信号最重要的那个尺度(τ=1,5,4,16)熵和x、y、z三轴加速度的排序熵组成1×7维特征向量.4.3 ISVM-BT模式识别分析随机选取一部分特征向量用于训练ISVM-BT得到最佳的BT分层结构,并用剩余的特征向量验证ISVM-BT的分类性能.以样本1的数据为例,从每组数据集中随机选取20个样本作为训练集,剩余的20个样本作为测试集,得到最佳的分层结构如下图5所示.然后按照GA对SVM惩罚参数c和核函数γ寻求全局最优解,设定c(0.1,1000)和γ(0.001,10)并通过10倍交叉验证方法获得全局最优解,分类结果如表1所示. 从表1中可以看出对于这三个样本集这七个动作均实现了较高的识别率,其中上楼和下楼这两个动作的识别率达到了100%,平均识别率达98.62%,这说明本文所提方案在下肢运动模式识别中具有较高的识别率和可靠性.BP神经网络、C均值模糊聚类、Fisher线性判别等分类方法广泛应用于肌电和加速度信号的分类识别中,为了验证本文所提分类器算法的分类效果,将运用本文所提取到的特征向量输入到上述分类器中,分类效果如表2.从表中可以看出本文所提的基于改进的二叉树支持向量机分类算法明显优于上述分类算法.为了验证融合肌电和加速度识别方案与单纯依靠肌电的优劣,按照上述数据处理方法,表面肌电信号对七个动作的分类效果如表3所示.从表中可以看出,单一依靠表面肌电信号对上楼、下楼和走这三个动作的识别率较高,而对蹲站、站蹲、坐站和站坐这四个比较相似动作识别率比较低,比较表1和表3可以看出引入加速度后这七个动作的识别率明显提高,其中对蹲站、站蹲、坐站和站坐这四个相似动作识别率提高的最为明显.为了验证LMD对分类性能的影响直接计算原始信号MPE并重复上述数据处理方法,七个动作的分类效果如表4所示.通过表1和表4可以看出运用LMD之后这三个样本七个动作的识别率得到了不同程度的提高,特别是对于站坐和坐站这两个动作的识别率,这主要是原始肌电信号包含较多的噪声干扰,在LMD分解之后取PF1成分有效的去除了大部分噪声,因此能有效提高分类性能.由于人体姿态信息的复杂性,仅依靠单一信号如加速度或表面肌电信号的多模式运动识别存在较高的误判率,特别是表面肌电信号的模糊性极强,仅通过表面肌电信号进行人体运动意图的识别受到很大的争议,因此通过多源信号的融合进行人体运动意图的识别是一个有效的途径.为了提高人体下肢运动的识别率,本文设计了一种融合表面肌电信号和加速度信号的下肢运动模式识别方法.实验结果表明本文所提方法取得较高的识别率,相比单纯依靠肌电信号的识别方法,大大的提高了分类准确率.人体下肢日常运动非常复杂,本文选择了日常生活频度最高的七种行为动作作为实验,其他下肢动作有待进一步验证.另外,出于安全性的考虑,本文的实验是通过健全人来完成,在健全人体身上取得的实验结果在运动功能损伤的患者身上是否仍然相同,也需要进一步的实验验证以sEMG和加速度信号为信息源实现人机交互,核心技术在于人体运动意图的实时准确识别,而由于人体动作的复杂性、肌电信号非线性非平稳性和现实场景的复杂性,使得建立稳定、实用的人机交互系统有较大的难度.基于sEMG和加速度信号的人机交互技术在今后很长一段时间仍将是一个研究热点,随着相关科技成果的不断涌现,必将取得新的突破.席旭刚(通信作者) 男,1975年生于浙江金华,副教授.主要研究方向为信号处理、传感器、机器人.E-mail:****************.cn汤敏彦女,1992年生于浙江湖州.现为硕士研究生,主要研究方向为信号处理、模式识别.E-mail:****************.cn【相关文献】[1]Langhorne P,Bernhardt J,Kwakkel G.Stroke rehabilitation [J].TheLancet,2011,377(9778):1693-1702.[2]彭亮,侯增广,王卫群.康复机器人的同步主动交互控制与实现[J].自动化学报,2015,41(11):1837-1846.PENG Liang,HOU Zeng-Guang,WANG Wei-Qun.Synchronous active interaction control and its implementation for a rehabilitation robot[J].Acta AutomaticaSinica,2015,41(11):1837-1846.(in Chinese)[3]Mohamaddan S,Jamali A,Abd Majid N A,et al.Musculoskeletal analysis of upper limb rehabilitation robot prototype[J].Applied Mechanics and Materials,2016,833:196-201. [4]丁其川,熊安斌,赵新刚,等.基于表面肌电的运动意图识别方法研究及应用综述[J].自动化学报,2016,42(1):13-25.Ding Qi-Chuan,Xiong An-Bin,Zhao Xin-Gang,et al.A review on researches and applications of sEMG-based motion intent recognition method[J].Acta AutomaticaSinica,2016,42(1):13-25.(in Chinese)[5]谢燕江,杨智,范正平,等.应用小波变换去除膈肌肌电图信号中的心电干扰[J].电子学报,2010,38( 2):366-370.Xie Yan-jiang,Yang Zhi,Fan Zheng-ping,et al.Application of savelet to the cancellation of ECG interference in diaphragmatic EMG[J].Acta Electronica Sinica,2010,38( 2):366-370.(in Chinese)[6]Popovic M R,Keller T,Papas Ion P I,et al.Surface-stimulation technology for grasping and walking neuroprostheses[J].IEEE Engineering in Medicine and BiologyMagazine,2001,20(1):82-93.[7]Taherkhani F,Rahmani M,Taherkhani F,et al.Permutation entropy and detrend fluctuation analysis for the natural complexity of cardiac heart interbeat signals[J].Physica A:Statistical Mechanics and its Applications,2013,392(14):3106-3112.[8]Li X L,Ouyang G X.Estimating coupling direction between neuronal populations with permutation conditional mutual information[J].NeuroImage,2010,52(2):497-507.[9]S D Wu,P H Wu,C W Wu,et al.Bearing fault diagnosis based on multiscale permutetion entropy and support vector machine[J].Entropy,2012,14(8):1343-1356.[10]Karantonis D M,Narayanan M R,Mathie M,et al.Implementation of a real-time human movement classifier using a triaxial accelerometer for ambulatory monitoring[J].IEEE Transactions on Information Technology in Biomedicine,2006,10(1):156-167.[11]Irene S,Chennai C-DAC,Shwetha N M,et al.Improving classification of sit,stand,and lie in a smartphone human activity recognition system[A].IEEE International Conference on Computer and Information Technology[C].Liverpool,2015.1460-1466.[12]S Cheong,H O Sang,S Y Lee.Support vector machines with binary tree architecture for multi-class classification[J].Neural Inform Process,2004,2(3):47-51.[13]J Cheng,Y Yang.A rotating machinery fault diagnosis method based on local mean decomposition[J].Digital Signal Process,2012,22(2):356-366.[14]W Aziz,M Arif.Multiscale permutation entropy of physiological time series[A].9th International Multitopic Conference[C].Karachi,Pakistan:IEEE,2005.1-6.[15]B Christoph,P Berndt.Permutation entropy:a natural complexity measure for time series[J].Physical Review Letters,2002,88(17):1-5.[16]Matilla Garcia,M.A non-parametric test for independence based on symbolic dynamics[J].Journal of Economic Dynamics & Control,2007,31(12):3889-3903.[17]R Yan,Y Liu,RX Gao.Permutation entropy:a nonlinear statistical measure for status characterization of rotary machines[J].Mechanical Systems & SignalProcessing,2012,29(5):474-484.[18]D Gjorgjevikj,G Madzarow.Evaluation of distance measures for multi-class classification in binary SVM decision tree[J].Artificial Intelligence & SoftComputing,2010,6113(6):437-444.[19]FM Tang,ZD Wang,MY Chen.On multiclass classification methods of support vector machines[J].Control and Decision,2005:746-749.[20]K Joarder,R KBegg.Support vector machines and other pattern recognition approaches to the diagnosis of cerebral palsy gait[J].IEEE Transactions on Biomedical Engineering,2007,53(12):2479-2490.[21]Dean M Karantonis,Michael R Narayanan,Merrynathie,et al.Implementation of a real-time human movement classifier using a triaxial accelerometer for ambulatory monitoring[J].IEEE Transactions on Information Technology inBiomedicine,2006,10(1):156-167.[22]成娟,陈勋,彭虎.基于样本熵的肌电信号起始点检测研究[J].电子学报,2016,44(2):479-484. CHENG Juan,CHEN Xun,PENG Hu.An onset detection method for action surfaceelectromyography based on sample entropy[J].Acta Electronica Sinica,2016,44(2):479-484.(in Chinese)[23]He Xiao-Fei,Deng Cai,Partha placian score for feature selection[J].Advances in Neural Information Processing Systems,2005,18(1):507-514.。

基于肌电信号和加速度信号的动态手势识别方法

基于肌电信号和加速度信号的动态手势识别方法

基于肌电信号和加速度信号的动态手势识别方法谢小雨;刘喆颉【期刊名称】《计算机应用》【年(卷),期】2017(37)9【摘要】为了增强手势识别的多样性和简便性,提出了一种基于肌电信号(EMG)和加速度(ACC)信息融合的方法来识别动态手势.首先,利用MYO传感器采集EMG和ACC的手势动作信息;然后分别对ACC和EMG信号作特征降维和预处理;最后,为减少训练样本数,提出用协作稀疏表示分类器来识别基于ACC信号的姿态手势,用动态时间规整(DTW)算法和K-最邻近分类器(KNN)来分类EMG信号的手形手势.其中在利用协作稀疏表示分类器识别ACC姿态信号时,通过对创建字典最佳样本个数以及特征降维的维数进行研究来降低手势识别的复杂度.实验结果表明,手形手势的平均识别率达到了99.17%,对于向上向下、向左向右4种姿态手势平均识别率达到96.88%,而且计算速度快;对于总体的12个动态手势,其平均识别率达到96.11%.该方法对动态手势的识别率较高,计算速度快.%To enhance the diversity and simplicity of hand gesture recognition,an approach based on ElectroMyoGraphy (EMG) and ACCeleration(ACC) signals was proposed to recognize dynamic gestures.Firstly,the gesture related information was collected by MYO sensors.Then,the dimensionality of ACC signal was reduced and the preprocessing of EMG was done.Finally,to reduce the number of training samples,the posture based on ACC signal was recognized by using Collaborative Sparse Representation (CSR) and the gesture based on EMG signal was classified by using Dynamic TimeWarping (DTW)algorithm and the K-Nearest Neighbor (KNN) Classifier.When the ACC signal was identified by using CSR,the optimal number of samples and the dimensions of the dimensionality reduction were studied to reduce the complexity of gesture recognition.The experimental results show that the average recognition accuracy of the EMG for the hand gesture tested reaches 99.17%;the ACC signal for four postures achieve 96.88%.The recognition accuracy for the 12 dynamic gestures reaches 96.11%.This method has high recognition accuracy and fast calculation speed for dynamic gestures.【总页数】5页(P2700-2704)【作者】谢小雨;刘喆颉【作者单位】太原理工大学物理与光电工程学院,太原030024;太原理工大学物理与光电工程学院,太原030024【正文语种】中文【中图分类】TP391.4【相关文献】1.基于DTW算法的肌电信号手势识别方法 [J], 谢小雨;刘喆颉2.一种基于表面肌电信号及三轴加速度信号的步态识别方法 [J], 郝静涵; 杨鹏; 陈玲玲; 耿艳利3.一种基于表面肌电信号及三轴加速度信号的步态识别方法 [J], 郝静涵; 杨鹏; 陈玲玲; 耿艳利4.基于肌电信号稀疏特征的手势识别方法研究 [J], 李赵春; 顾权; 王玉成5.基于双流卷积神经网络的肌电信号手势识别方法 [J], 卫文韬;李亚军因版权原因,仅展示原文概要,查看原文内容请购买。

基于MEMS加速度传感器的手语识别系统

基于MEMS加速度传感器的手语识别系统

基于MEMS加速度传感器的手语识别系统
闵昆龙;韩玉杰;江淼
【期刊名称】《林业机械与木工设备》
【年(卷),期】2009(37)5
【摘要】论述了基于高灵敏度、高准确度MEMS传感器的手语识别系统.该系统可识别聋哑人手形的变化,并将中国的手语拼音翻译成语音由麦克风播放出来.介绍了该系统的硬件设计、传感器选择及软件程序设计.
【总页数】3页(P45-47)
【作者】闵昆龙;韩玉杰;江淼
【作者单位】东北林业大学机电工程学院,黑龙江,哈尔滨,150040;东北林业大学机电工程学院,黑龙江,哈尔滨,150040;东北林业大学机电工程学院,黑龙江,哈尔滨,150040
【正文语种】中文
【中图分类】TP391
【相关文献】
1.基于MEMS加速度传感器的手势语识别系统 [J], 张晓娜;程卫鹏;石秀娟
2.基于单目视觉的实时手语识别系统设计与实现 [J], 王丽光;张根源;刘子龙
3.基于手机与数据手套的手语识别系统的设计 [J], 王锦成;江劲标;蔡伟泽;张鸿;罗敬威
4.基于人工神经网络的手语识别系统 [J], 曾维佳;秦放;思雨
5.基于弯曲可变电阻的手语识别系统设计 [J], 马洁
因版权原因,仅展示原文概要,查看原文内容请购买。

基于多传感器信息检测和融合的中国手语识别研究

基于多传感器信息检测和融合的中国手语识别研究
p o o e F r t t e a l u e i f r to fmy e e ti i n lwa t ie o e ta ta tv e me t fh n r p s d. is l h mp i d n o ma i n o o l c rc sg a s u i z d t x r c c i e s g n s o a d y, t l
g su e n i i e s g e t r si t i g e h n y e a d d u l — a d t p . h n d u l — a d sg r swe e e t r s a d d v d i n g su e n o sn l — a d t p n o b e h n y e T e o b e h n i n wo d r
Absr c t a t:T e e f in u i n o a d g s u e i f r t n c p u e y a t r e a i a c l r me e , b a a d h fi e t s o f n e t r n o ma i a t r d b h e — x s c ee o t r a we c m n c f h o
2 卷 5 期 9
21 0 0年 1 0月
中 国 生 物 医 学 工 程
学 报
C ie o ra i e i l n ie i hns J un l fB o dc gne n e o m aE rg
Vo. 9 1 2 No. 5 Oco e 2Ol tb r O
f rh r c a sfe n o o c u i n o o — c l so l s y v so i n 1 a t d c s o —e e u in a p o c u t e l s i d i t c l so r n n o c u i n c a s b ii n sg a .L sl i y, e ii n l v l f so p r a h wi S g n f z y n e r l wa a p i d f l c l t h u e o u z i t g a s p l O o a ma c i g e u t o mu tp e l s i e s o i r vn e t h n r s l f s l l c a sf r f r mp o i g i i c a sf a in p ro ma c . p rme t lr s ls f r 2 1 h g —r q e c i n wo d r m i n r b a n d t e l s i c t e r n e Ex e i n a e u t o 0 i h fe u n y sg r s fo 4 s g e s o t i e h i o f c a sf a i n a c r c fmo e t a 9 l s ii to c u a y o r h n 9 % 。n ia i g t e e f c i e e s o h r p s d me h d f r Ch n s in c i d c t h fe tv n s ft e p o o e t o o i e e sg n l n u g e o n t n a g a e rc g io . i

基于双通道表面肌电信号的在线手势识别系统研究

基于双通道表面肌电信号的在线手势识别系统研究

2022年 / 第3期 物联网技术170 引 言手势是人们日常沟通交流的重要方式,人们可以通过几个简单的手势表达出十分复杂的信息,而对于一部分信息通过语言文字去表达则要复杂许多。

表面肌电信号包含了生物运动的各种信息并且它还超前于生物的运动行为[1]。

这一特性使得表面肌电信号在人机交互[2]、假肢控制[3]、手势识别[4-8]等领域得到了广泛应用。

通过分析手前臂肌肉的表面肌电信号,可以预测人的手势动作,再将识别出的手势动作作为计算机系统的输入,从而实现人与计算机的交互。

上海理工大学的刘万阳等人[2]基于尺侧腕伸肌和尺侧腕屈肌上的表面肌电信号对受试者的手势进行识别,并将识别的结果作为虚拟厨房的控制指令输入虚拟厨房系统中,从而实现对虚拟厨房的控制。

表面肌电信号是生物运动时产生的生物电信号。

它仅与生物运动有关,而与外界光和声音等因素无关,这使得基于表面肌电信号的手势识别的应用场景十分广泛。

针对提高系统的鲁棒性方法,葡萄牙科英不拉大学系统和机器人研究所的Mahmoud 等人[4]提出了利用支持向量机阈值法和设置锁定手势的方式来防止系统在人运动时的误识别,从而使得基于表面肌电的手势识别系统有了更大的应用空间。

表面肌电信号采集十分简单且无创[9],使得表面肌电信号的采集实验十分容易被受试者接受。

从肌电信号到手势识别、再从手势识别到计算机系统的人机交互方式是一种便捷且实用的人机交互方式。

基于此,本文开展了健康人群的表面肌电信号的采集和分析,并对目标动作进行识别,最后通过GUI 界面实时显示系统识别结果。

1 系统设计本文选取的目标动作为握拳、伸掌、伸腕和屈腕四个动作。

本文通过由肌电传感器和Arduino UNO 开发板组成的双通道表面肌电信号采集系统实时采集手前臂的尺侧腕屈肌和尺侧腕伸肌的表面肌电信号,并在上位机中搭建模式识别系统对采集到的信号进行预处理、活动段提取、特征值提取和目标动作识别等,最后通过GUI 界面实时显示分类识别的结果。

基于BiLSTM的表面肌电图手势识别算法

基于BiLSTM的表面肌电图手势识别算法
深度学习中,应用最广泛的是卷积神经网络 (convolution neural, network CNN)。利用它擅 长层次或空间数据提取的特性,在 sEMG 模式识 别领域 CNN 也被大量应用。然而,sEMG 本质上 是一种序列信号,使用 CNN 建模无法利用 sEMG 中的时间信息。针对 CNN 的不足,我们提出了 一 种 新 型 的 双 向 长 短 期 记 忆(bidirectional long short term memory, biLSTM)神经网络架构用于 实现基于 sEMG 的手势识别,该模型不仅可以利 用之前的序列信息预测当下时刻的状态,同时可 以利用之后的信息预测当下时刻的状态,能够完 全利用序列之间的联系进行建模。结果表明,该 模型能够有效地提取 sEMG 中的时间信息,实现 良好的分类。
【关键词】 表面肌电图;手势识别;双向长短期记忆神经网络;深度学习;模式识别
【中图分类号】 TP391.4
【文献标志码】 A
文章编号:1674-1242(2021)02-0092-05
Gesture Recognition of sEMG Based on BiLSTM
FAN Xiuqin1, 2, 3, YU Hongliu1, 2, 3, LI Sujiao1, 2, 3 1. Institute of Rehabilitation Engineering and Technology, University of Shanghai for
图 2 LSTM 单元结构示意图 Fig. 2 Schematic diagram of LSTM unit structure
据的依赖性,极大地改善了 LSTM。图 3 所示是 所提算法模型图。
图 1 特征提取 Fig. 1 Feature extraction
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
d vc s t a tr et r s I h sp p r l —e s ri fr t n f so t o sp o o e o rc g ie e ie o c pu e g su e . n ti a e ,a mut s n o no mai u in meh d wa rp sd t e o n z i o te C i e e sg a g a e g su e . Fisl a h ea c ia e iin te s c n tu td fr t e n omain h h n s in ln u g e tr s rt y, ir rh c l d cso re wa o sr ce o h ifr to
sa it a a g a e mo e sc n t td t ee ta d c re ter ri h r c s ft er c g i o . F rt e tt i lln u g d lwa o sr e o d tc n o rc ro n te p o e so h e o nt n sc uc i o h r c g iin o 0 C L s b r sa d2 0 sn e c s h v rg e o n t n a c r ce fo rmeh d c ud u e o n t f1 S u wo d n 0 e tn e ,te a e a e rc g i o c u a iso u t o o l p o 2 i t % o91 ad8 % n 4 rs e tv l . T e c mp r t e a ay i f e p rme tl rs l h we h t te ttsia e p ciey h o aai n lss x ei n a e u t s o d t a h saitc l v o s a d h rc g i o n t e e o n t n i
语 言模 型 的 连续 手 语 识别 方 法
田 建勋 陈 香 李 云 杨基海
( 国 科 技 大 学 电 子 科 学 与 技术 系 , 肥 中 合 202) 30 7

要 :加速计( C ) A C 和表面肌 电( E G) S M 传感器是两种有效轻便的手势捕获设备 。本研究 提出一种 采用多级决
I f r a i n Fu i n a t tsi a n u g o l n o m to so nd S a itc lLa g a e M de
T AN in- n CHEN a g I Ja Xu Xin
L n YANG iHa IYu j- i
( p r et Eet ncSinea dTcnl y n e i c ne& Tcnlg C ia e i 3 0 7 hn ) Deat n l r i c c n e oo ,U ir t o i c m co e h g v sy fS e eh o y o hn ,Hf 0 2 ,C ia e2
3 卷 3 期 0 21 0 1年 6月
中 国

物 医






V0 . O NO. 13 3
C i s JunlfBo ei l n ier g hn e ora o i d a gnei e m c E n
J n 2 1 ue 0 1

种 基 于加 速 度 与 表面 肌 电信 息 融 合 和统 计
中 图分 类 号 T 3 14 P 9 . 文献标识码 A 文 章编 号 0 5 —0 1 2 1 ) 30 3 -7 2 88 2 (0 1 0 -330
A i e e S g ng a e Re o n to Ap o c s d o u tp e S ns r Ch n s i n La u g c g ii n pr a h Ba e n M li l e o
策树融合 A C和 S M C E G信息识别手语词根 , 并引入统计语言模型进行词根接续判断 和错 误纠 正的中国手语 连续 语
句 识 别 方 法 。对 包 含 有 10个 词 根 的 20组 连 续 中 国 手 语 句 子 展 开 的 识 别 实 验 结 果 表 明 , 方 法 可 以 有 效 的从 连 2 0 该 续 信 号 中识 别 出词 根 序 列 ,2 手 语 词 根 全 局 平 均识 别 率 接 近 9 % , 子 识 别 率 接 近 9 % , 用 纠 错 模 型 的方 法 10个 5 句 0 采
Ab ta t sr c :Ac e rmee ( C) n ufc lcrmy ga h S MG) e sr ae to efcie p r be c l o tr AC a d sr e ee t 0 rp y( E e a o snos r w f t ot l e v a
fs n o C n MG sg as t rc gie te sb od fC iee Sg a g a e ( S .T e h ui fA C a d E in l o eo nz h u w rs o hn s in L n u g C L) h n te o
与未采用纠错模型相 比, 词根的平均识别率提高 了 4 %左 右 , 子识别 率提高 了 1 % 。这 种结合模 式识别 和 自然 句 0
语 言 处 理 的 手 语 识 别 方 法 在 连 续 手 语 识 别 和人 机 交互 领 域 有 着 广 阔 的应 用 前 景 。 关 键 词 :手 语 识 别 ; 面 肌 电 ; 息 融 合 ; 计 语 言模 型 表 信 统
相关文档
最新文档