Viterbi和DTW算法的关系分析_在非特定人手语识别中的应用

计算机研究与发展ISSN100021239ΠCN1121777ΠTP Journal of Computer Research and Development47(2):3052317,2010Viterbi和DTW算法的关系分析———在非特定人手语识别中的应用倪训博　赵德斌　姜　峰　程丹松(哈尔滨工业大学计算机学院　哈尔滨　150001)(nixunbo@)Mapping Analysis Bet w een Viterbi and DTW Algorithms—Application to the Identif ication of Signer Independent Sign LanguageNi Xunbo,Zhao Debin,Jiang Feng,and Cheng Dansong(S chool of Com puter Science,H arbin I nstitute of Technology,H arbin150001)Abstract　In classical pattern classification t heory,Viterbi algorit hm represent s pattern matching algorit hm of statistic probability.However,D TW algorit hm represent s pattern matching algorit hm of template matching algorit hm.Whet her t here is any relatio nship between t hem have not been p resented clearly.Aiming at t his problem,t he aut hors set up relationship between Viterbi algorit hm and D TW algorit hm based on application of f uzzy mat h t heory under t he premise t hat“t he category of f uzzy mat h membership is t he general p robability”.Firstly,t hey propo se t he common closeness degree exp ression t ransferring“distance”of D TW algorit hm to“probability”of Viterbi algorit hm making use of clo seness degree in f uzzy mat h and p rove t he common closeness degree expression t heoretically.Secondly,t he HMM parameters are re2estimated wit h t he common closeness degree of D TW to set up f uzzy closeness degree relationship between D TW algorit hm and Viterbi algorit hm,for which t heδ2εalgorit hm is p resented to obtain parameter re2estimating form similar to HMM based on data f rame.Then,in order to ensure correct ness of t he f uzzy clo seness relationship between D TW algorit hm and Viterbi algorit hm,corresponding p roof is given as a t heorem.Thirdly,during t he HMM parameter re2estimation wit h t he decided D TW clo seness degree expression,it is found t hat t here exist s f uzzy relationship between t he D TW clo seness degree re2estimating parameters and t he HMM re2estimating parameters and it is p roved as a t heorem.Finally,t he aut hors propose Dtw2 ViterbiⅠ,Ⅱ,Ⅲbased on t he above t heorem,p rove t he correct ness of t hem as a t heorem and implement t hem in signer2independent sign language recognition.Experiment result s show t hat int roducing t he pat h searching st rategy of D TW algorit hm in Viterbi algorit hm in t he form ofp robability can partly reduce t he failures in signer2independent sign language recognition by reducing candidate vocabulary t hus improving t he signer2independent sign language recognition rate and speed in case of large vocabulary.K ey w ords　Viterbi algorit hm;D TW algorit hm;category membership;generalized probability;Dtw2 ViterbiⅠ,ⅡandⅢalgorit hm;HMM;f uzzy mat h;ε2δalgorit hm摘　要　在经典的模式识别理论中,Viterbi算法代表了统计概率的模式匹配算法,而D TW算法代表了模版匹配的模式匹配算法,它们之间是否存在关系至今尚无定论.为了找到这两种算法之间的关系,在“类别隶属度”是广义概率的假设前提下,应用模糊数学的理论在Viterbi算法与D TW算法之间建立起　收稿日期:2008-06-19;修回日期:2009-09-13　基金项目:国家自然科学基金重点项目(60533030);国家自然科学基金项目(60603023)联系.首先,提出了利用模糊数学的贴近度把D TW算法的“距离”向Viterbi算法的“概率”转化的通用贴近度表达式,并对通用贴近度表达式给出了理论上的证明.其次,应用D TW的通用贴近度表达式重估HMM参数,建立D TW算法与Viterbi算法之间的模糊贴近度关系,并为此提出了δ2ε算法,得到基于数据帧的类似于HMM的参数重估形式.然后,为了确保建立D TW算法与Viterbi算法之间的模糊贴近度关系的正确性,以定理的形式给出了相应的证明.再次,通过设定的D TW贴近度表达式对HMM参数重估的过程中,发现了D TW贴近度的重估参数与HMM重估参数之间存在着的模糊关系,以定理的形式对这种模糊关系加以证明.最后,依据上述定理提出了Dtw2ViterbiⅠ,Ⅱ,Ⅲ算法,以定理的形式对Dtw2ViterbiⅠ,Ⅱ,Ⅲ算法的正确性加以证明,并将对Dtw2ViterbiⅠ,Ⅱ,Ⅲ算法应用于非特定人手语的识别.实验表明,把D TW算法的路径搜索策略以概率的形式引进到Viterbi算法中,能够以削减候选词集的方式部分消除非特定人手语识别的误识,从而提高大词汇量情况的下非特定人手语识别的识别率和速度.关键词　Viterbi算法;D TW算法;类别隶属度;广义概率;Dtw2ViterbiⅠ,Ⅱ,Ⅲ算法;隐Markov模型;模糊数学;ε2δ算法中图法分类号　TP391.4 历史上,1983年Grimes[1]在A T&T最先取得了“数据手套“专利.因此,他也可被认为是最早进行手势识别研究的人.但那个时代只有从事简单的手势识别研究.而手语识别研究起步较晚,始于20世纪90年代.目前,世界上一些高校、大公司、研究机构纷纷加入手势识别研究队伍.日本A TR研究室的Takahashi和Kishino[225]设计了一个基于数据手套的系统,系统可识别与用户有关的46个日本字母手势中的34个.美国CMU的Lee和Xu[6]利用手语识别进行机器人的示范学习.该系统采用了Cyberglove数据手套.该设备正是我们研究的主要数据输入设备.国际上的手势识别系统所采用的识别方法主要有:规则学习、模板匹配方法(template matching)、神经网络方法(artificial neural network)以及隐Markov 模型(hidden Markov model)等方法[729].归纳学习[6]是一种有效的知识获取的方法,它从例子集合的特征向量集中归纳规则.比较典型的归纳学习算法[728]有ID3,NewID,C4.5,CN2,HCV.而Mitchell的翻译空间、基于类AQ的一般化Π特殊化、基于类ID3的决策树、基于R2MINI的转换函数最小化都是从例子中产生DNF(disjunctive normal form)规则的经典算法.Zhao等人提出了一种递归感应学习方案[10],它能以包括多值特征的、分离的标准形式的表达式来获得手的姿势的模型.对规则抽取算法来说,规则的完备性和一致性条件很难满足,并且,规则最简化的一般解问题是一个N P问题,因此不适用于大词汇量的识别.神经网络方法在模式识别领域越来越受到关注,神经网络已在手势识别中得到了广泛应用.神经网络方法具有分类特性及抗干扰性,然而由于其处理时间序列的能力不强,因而其目前广泛用于静态手势的识别.神经网络的优势是容错性好,并且可以降低维数,因此可以将神经网与其他方法结合起来使用.韩国手语识别系统[11214]用数据手套来感知手指运动,利用神经网络技术进行手指字母及手势词的在线识别,可识别31个手指字母,识别率为96.3%;识别131个手势词,识别率为94.3%.模板匹配是用于手势识别的最简单方法,该方法通常包括两个过程:模板建立与分类.采集每一手势类中有代表性的样本,为该类建立识别模板,根据输入与各个模板的相似性来确定输入所属手势类别.该方法的优点是易于模板的建立与改进,且能有效地识别,对于小词汇表孤立词识别系统十分适用.但由于噪声及不同用户手势之间的模糊性,该方法对每个模板设定了较宽的范围,因而过多的孤立手势个数,就会造成模板在识别空间的重叠,并且它没有一个有效地用统计方法进行训练的框架,也不容易将底层和顶层的各种知识用到识别算法中,因此在解决大词汇量手语识别问题时较之HMM相形见绌.D TW基本原理即动态时间规正,也叫动态时间伸缩算法(dynamic time warping,D TW),是基于模板匹配的方法,是日本学者Sakoe[15]将动态规划(dynamic DP)用于解决在语音识别中孤立词识别时说话速度不均匀的难题而提出的.603计算机研究与发展　2010,47(2)在概率统计方法中最具有代表性的就是隐Markov模型(hidden Markov model)[16]的方法,与隐Markov模型结合最为紧密的算法当属Viterbi 算法.自1967年Viterbi译码[17]提出以来,该算法得到了广泛应用,成为各种通信系统的标准结构单元.随着VL SI的飞速发展和便携通信系统的大量涌现,功耗越来越成为制约设计的一个主要问题.因此从其他方面着手考虑低功耗的研究有:改进算法结构,减少状态过渡(SST)的Viterbi译码器[18]、低复杂性的差错选择Viterbi译码器(ESVD)[19]、用时钟门(clock gating)和使能端激活的方法进行低功耗设计的Viterbi译码器[20221].而少量降低性能来降低功耗的有设置门限的自适应Viterbi算法[22],自适应减少状态序列检测的Viterbi译码器[23],路径值控制判决保存(PCDS)的序列Viterbi译码器[24].这些算法或是译码器以降低能耗为目的,适用于通信领域.而适用于信号类识别、具有智能搜索策略的Viterbi算法当属著名的Viterbi2beam算法[25228].搜索方法和剪枝策略是由“打分”机制来实现的,由于Viterbi2beam是次优算法,不能保证全局最优.虽然减少了计算量,缩短了识别时间,但识别率大大降低,尤其是不适合非特定人手语识别.Viterbi2beam 算法的一些派生算法虽然提高了识别率,但又造成识别时间的增加.为了使Viterbi算法具有全局最优搜索策略,首先,我们将初始概率上界和D TW的搜索策略加入到Viterbi算法中,以确保D TW和Viterbi算法建立起联系并以定理的形式作了严谨的证明.其次,识别阶段在Viterbi算法基础上提出了具有剪枝策略的Dtw2ViterbiⅠ,Ⅱ,Ⅲ算法,既保证了在候选词集上的搜索策略仍是全局最优,又保证了非特定人手语识别的识别率和速度,本文对上述方法的正确性也以定理的形式作了严谨的证明.最后,本文在手语识别系统上作了大量实验来验证算法的性能.1　模糊数学的相关理论在经典的数学理论中,古典概率的适用范围非常广泛,不只是表示某一事件发生的可能性.在模糊逻辑方法和类别隶属度函数被提出之前,在统计领域、模式识别领域、甚至哲学界,对于概率的本质早就有非常激烈的争论.有人质疑对那些唯一的、不可重复的事件运用概率是否有意义.经过多年的实践探索[8],澄清了概率并不只适用于可重复的事件这一事实.相反,从20世纪的前半期以来,概率已经被应用于逻辑推断.而且,在模式识别领域,实践中的设计者们发现他们不必过于关心分类函数到底代表的是什么样的概率,只要能很好地使用这些概率就行.模糊技术已经归入到了经典的概率范畴,其中广义概率包含“类别隶属度”[8]这一概念.定义1.“类别隶属度”[29]在经典的模糊数学中有如下的定义:在给定的论域U,A是U的一个模糊集,对于论域U中任意的x都有唯一一个数μA(x)∈[0,1]与之相对应,用以表示x隶属于A的程度,这就意味着作出了一个映射UμA[0,1],此映射μA(x)称为A的隶属度函数.我们利用模糊量度[30]的相关理论,对隶属度与距离之间建立起联系.而隶属度是一种广义的概率.这样我们就可以把概率与距离之间建立起桥梁.确定Viterbi算法与D TW算法间是否存在关系.由于没有现成的模糊量度,我们参照建立模糊相似矩阵过程中的距离法和贴近度的概念,建立一个适合于本问题隶属度函数.我们采用绝对值指数法,且指数采用自然对数(e)为底,这样可以更好地近似高斯分布的概率密度.并假设贴近度是两类或多类问题的隶属度.我们识别的都是归一化的数据,初衷是避免庞大的数据计算带来的计算溢出.但这种数据处理方法从模糊数学的角度来看,已经建立R f[0,1]的映射,所以归一化后的手语数据应该是模糊集.映射f也就是隶属度函数如下确定:f(x)=x i-min xmax x-min x.(1) 这样我们有了模糊集和基于模糊集的论域U-,因而可以应用模糊数学的相关理论,当然可以应用贴近度到我们所解决的问题当中去.定义2.“贴近度”[31]在经典的模糊数学中有如下的定义,满足:①δ(A,A)=1;②δ(U-,<)=0;③δ(A,B)=δ(B,A);④A∈B∈C,δ(A,C)≤δ(A,B).δF(U-)×F(U-)→[0,1],则称(A,B)→δ(A,B)为贴近度.结合D TW我们作出如下假设:703倪训博等:Viterbi和D TW算法的关系分析———在非特定人手语识别中的应用δ(ni,m j)=e -D(n i-m j),(2)其中,参考模板长度为M,D(・)是距离或范数,它的选取是依赖于数据样本的概率分布,如何选取具体的D,我们将在后面以一维的情况加以说明.n i, m j是帧序列.定理1.δ(n i,m j)是一个贴近度.证明.因为D(n i-m j)是距离;所以①③显然成立.(n i,m j)取(U-,<)时D(n i-m j)→∞,所以δ(n i, m j)→0,②成立.④A∈B∈C在本问题中应理解为n i≤m j≤p k 即帧数的多少,n i≤m j≤p k]|n i-p k|≥‖n i-m j‖.因为D(n i-m j)是距离,故D(x)是单调不减函数,再由③可知D(n i,p k)≥D(n i,m j),又因为f(x)=e-x为单调递减函数,所以δ(n i,p k)≤δ(n i, m j),因而④成立.由于f(x)=e-x为单调递减函数和D(n i-m j)的非负性,决定了所有归一化的数据,在其模糊集的论域U-上都满足δF(U-)×F(U-)→[0,1],所以δ(n i,m j)是一个贴近度.证毕.2　基于贴近度的H MM模型参数重估和理论证明2.1　贴近度重估H MM模型参数D TW算法是基于模板数据帧的搜索算法, Viterbi算法是基于HMM状态的搜索算法.HMM 状态对于我们来说是不可见的.但是HMM状态反映到数据帧上,表现为那些数据变化不大的数据帧的集合.我们也是以此为依据来处理数据和训练HMM的[32].D TW算法是基于测试模板和参考模板进行匹配的,我们贴近度的定义也是由此定义的.重估HMM模型参数是在同一个模板(一个单词的数据)中进行训练的,因而我们为重估HMM模型参数,需要把贴近度在一个模板下重新定义.2.1.1　基于D TW的贴近度δ(ni,n i-1)为当前帧与前一帧的贴近度.εt(i,j)是给定训练数据O和HMM参数λ时,第t帧处于i 状态,第t+1帧处于j状态的概率.由于εt(i,j)是隐M arkov模型的参数重估的关键.εt(i,j)和δ(n i, n i-1)在定义上有些相似,我们可把二者相类比.值得注意的是δ(n i,n i-1)是不含有状态信息的.εt(i, j)中i和j代表的是状态序列,为了不与之混淆,我们用k表示帧序列:δ(nk,n k-1)=1,D(n k-n k-1)≤θ,δ(nk,n k-1),D(n k-n k-1)>θ,(3)这里θ代表某一阈值,D(n k-n k-1)≤θ说明当前帧与前一帧的各维数据差异不大,n k帧和n k-1帧隶属于同一个状态.D(n k-n k-1)>θ说明当前帧与前一帧的各维数据差异大,n k帧和n k-1帧不隶属于同一个状态,有状态的转移.这些状态表现都是由数据所体现出来的.根据εt(i,j)的定义,我们把εt(i,j)用贴近度表示成如下的形式:εt(i,j)=1-δ(n k-n k-1),D(n k-n k-1)≤θ,δ(nk-n k-1),D(n k-n k-1)>θ.(4) 当D(n k-n k-1)≤θ时,要特别说明的是当i和j是同一个状态,即都是前一帧所处的状态,未发生状态转移.而通过实验经验得知,当前帧与前一帧处于同一个状态,各维数据差异小,D(n i-m i)→0,所以δ(n k-n k-1)→1.根据εt(i,j)的定义和实际的意义,此时εt(i,j)→0,所以,εt(i,j)=1-δ(n k-n k-1).2.1.2　δ2ε算法为了得到HMM模型的状态和εt(i,j),我们采用前向算法的思想,结合式(3)(4)构造一个新的算法:δ2ε算法.算法1.δ2ε算法.①初始化.ε1(1,1)=0,i=1,j=1;②循环.if D(n k-n k-1)≤θt henδt(i,j)=1-δ(n k-n k-1),εt(i,j)=δ(i, j),O t=n k-1,j=i;elseδt(i,j)=δ(n k-n k-1),O t=n k-1,εt(i,j)=δ(i,j),j=i+1;num_i++;保存状态i,j,δt(i,j),εt(i,j),数据中所包含的状态总数N=num_i,其中1≤t≤T.③结束.得到状态序列i1≤i2≤…≤i N,εt(i, j),δt(i,j).此算法的时间复杂度为O(T),δt(i,j)的实际意义是第t-1帧处于i状态、第t帧处于j状态时两帧的贴近度,这样就使得我们假设的贴近度含有HMM的状态信息.通过该算法我们可以得到参考模板的状态序列和用贴近度表示的εt(i,j).n k-1在D TW算法中是模板帧,在HMM模型中就是我们803计算机研究与发展　2010,47(2)所说的观察帧O t,所以t与k-1的含义也是相同的.2.1.3　重估HMM模型参数利用式(2)并结合Baum2Welch算法的HMM 模型参数的公式,我们可以构建一个基于贴近度的HMM模型参数重估公式:εt (i)=∑Nj=1εt(i,j)=∑Nj=1δt(i,j),(5)πi=ε1(i),(6)a ij=∑T-1t=1εt(i,j)∑Tt=1εi(i),(7) b j(k-1)=∑Tt=1,O t=n k-1εt(j)∑Tt=1εt(j).(8)2.2　关于选取D(n k-n k-1)和H MM的一般性的贴近度表示2.2.1　D(n k-n k-1)的选取D(n k-n k-1)的选取是依赖于数据样本所服从的概率密度函数的,由于篇幅的限制和为了简单明了我们仅以一维的标准正态分布为例进行说明.一维的标准正态分布的概率密度函数如下所示:f(x)=12πδe-(x-μ)2δ2.(9) 从模糊贴近度的角度看,(x-μ)2δ2应该是当前测试样本与训练数据样本的模糊编码参数之间的距离.其中的x是测试样本,μ,δ在模糊论域上进行模糊运算所得到的编码参数.为了描述简单我们将(x-μ)2δ2记为D N,将两帧之间的距离|n k-n k-1| (注:仅在一维下的表示)记为D.下面的证明将说明D N与D的关系.定理2.一维正态分布下D N的最小值是D 2n2.证明.因为D N=(x-μ)2δ2,如果对于μ,δ不考虑估计量的评选标准,对μ,δ采用矩估计.我们将μ,δ的矩估计μ∧=x-=1n ∑ni=1x i,δ2∧=1n∑ni=1(x i-x-)2代入到D N=(x-μ)2δ2中,经过放缩和化简整理可以得到:D N≥∑ni=1x-x in2≥x i-x i-12n2=D2n2.证毕.在其他的各种分布已知的情况下,D N与D之间存在的最小值关系记为D min,故可以把式(2)简写成:δ(ni,m j)=e-D min.(10)2.2.2　HMM一般性的贴近度表示为了找到基于贴近度的HMM模型重估参数与HMM模型参数之间的联系,为简单起见,先对单高斯概率密度函数从模糊数学的角度进行分析.我们取基于倒谱系数的单高斯概率密度函数[33235]作为分析对象.基于倒谱系数的单高斯概率密度函数是连续HMM参数估计形式,其公式如下:b3j(O)=(2πΣj)-k2e-12O′Σ-1jO.(11) 从模糊数学的角度来看,e-12O′Σ-1j O应当是马氏距离的贴近度,Σj是一个模糊相似矩阵[31]目前,我们的识别系统采用的是混合高斯模型,混合高斯模型的概率密度如下:b3j(O)=∑Mm=1C jm b jm(O),(12)其中,∑Mm=1C jm=1.可以看出混合混合高斯模型是在单高斯模型基础上增加了一个模糊项,所以HMM的一般性贴近度表示应如下所示:δHMM=μe-D N,(13)这里μ泛指模糊项,它可以是在对模糊运算封闭的模糊论域上的一个或若干个隶属函数(或模糊相似矩阵)通过若干次模糊运算得到的.D min则泛指分布已知的情况下,D N是D所表示的最小距离或范数,并且0≤D min≤1,可以看出式(10)所定义的δ(n i,n i-1)是式(13)所定义的δHMM的上界.定理3.δ(n i,n i-1)是δHMM的上界.证明.因为μ是在对模糊运算封闭的模糊论域上的一个或若干个隶属函数(或模糊相似矩阵)通过若干次模糊运算得到的,所以‖μ‖≤1,又因为δHMM≤δ(n i,n i-1),D min是分布已知的情况下,D N是D所表示的最小距离或范数.且f(x)=e-x在定义域内是单调减函数,因而δ(n i,n i-1)是δHMM的上界.证毕.δ(ni,n i-1)是δHMM的上界,但不是δHMM的上确903倪训博等:Viterbi和D TW算法的关系分析———在非特定人手语识别中的应用界.δHMM 的上确界应是重估μ-和D -后所得到的δHMM .但是这个重估过程是复杂的,甚至要解更为复杂的微分方程.但是这种复杂的重估过程对于我们下面改进Viterbi 算法的意义并不很大,在此不作过多陈述.根据上述的证明和Baum 2Welch 算法的重估公式[36]的理论基础,我们可以明显地从式(6)(10)中看出我们设定的贴近度重估出来的π-一定是πHMM 的上界.另外,还需指出的是我们的重估度量是建立在模糊贴近度范畴之内的,是基于数据进行D TW 自我搜索来确定HMM 状态和参数的,并不是建立在连续或离散的HMM 的范畴之上的.我们更为关心的是基于模糊贴近度的重估参数与HMM 的重估参数之间的关系,是否模糊贴近度的重估参数是HMM 的重估参数的上界.这对我们后面改造搜索算法非常有用.定理4.模糊贴近度的重估参数是HMM 的重估参数的上界.证明.在Baum 2Welch 算法的重估公式的理论基础[26]中,有这样一个非常重要的结论:如果c i >0,i =1,…,T ,在∑Ti =1xi=1的约束条件下函数F (x )=∑Ti =1c ilnx i 的唯一最大值点为x i =c i∑Tk =1ck.(14) 令c i =εt (i ),x i =μi 且∑Ti =1μi=1,根据约束条件,函数F (μ)=∑Ti =1εt (i )ln μi 的最大值点为μi =εt (k )∑T i =1εt(i )=μmax .(15) 将式(15)带入到式(7)(8)后,其结果如下所示:a ij =∑T-Ni =1δt(n i ,n i-1)μmax ,(16)b j (k -1)=∑T-1t =1O t =n k-1εt(j )μmax.(17) 而我们识别系统所应用的是服从混合高斯分布的连续HMM 模型,因而连续HMM 模型参数的概率密度也应该是服从混合高斯分布的.所以其HMM 模型参数的概率密度的一般形式应如下所示:a 3ij =δHMM =μe -D=μδ(n i ,n i-1),(18)b 3j (O )=δHMM =μe -D=μδ(n i ,n i-1).(19) 我们取式(18)(19)的概率密度为如下两式:a ij =δt (n i ,n i-1)μmax ,(20)b j (k -1)=εt (j )μmax =∑Nj =1δt(i ,j )μmax.(21) 从式(18)与式(20),式(19)与式(21)的对比可以看出,a 3ij 与a ij 满足a 3ij ≤a ij .同样地b 3j (O )与b j (k -1)也满足:b 3j (O )≤b j k -1.结合Baum 2Welch 算法的重估公式理论基础中的很重要的结论POλ->POλ和定理3,可以得出模糊贴近度的重估参数是HMM 的重估参数的上界这一结论.证毕.3　改进的Viterbi 算法由经典的Baum 2Welch 算法的重估公式可以得到一个新的模型λ-=(π-,A -,B -),并且可以证明POλ->POλ,即由重估公式得到的λ-比λ在表示训练序列O 方面要好.在POλ->POλ的证明过程中有一个很重要的辅助函数Q λ,λ-,通过Q λ,λ-≥Q λ,λ也可以看到这一结论.通过P Oλ->POλ和定理3以及定理4,我们能够知道基于贴近度的HMM 模型重估参数a ij 应该是由经典的Baum 2Welch 算法重估出来的HMM 模型重估参数a 3ij 的上界,0作为a 3ij 下界是显然成立的.根据这个结论,我们就可以把D TW 算法的搜索策略引入到Viterbi 算法中去,从而得到一个新的算法Dtw 2Viterbi 算法.在得出这个算法之前首先要阐明Dtw 2Viterbi 算法的思想.3.1　Dtw 2Viterbi Ⅰ算法.1)Dtw 2Viterbi Ⅰ算法的思想我们的想法是,把当前的测试数据进行基于贴近度的模糊化的参数重估,得到由Baum 2Welch 算法重估得到的HMM 模型参数的上界.利用这个上界,把候选词集中大于这个上界的候选词,用类似于剪枝的策略从候选词集去除掉,达到减小搜索空间的目的.这样可以把那些由于词模型导致的大概率的易混词从候选词集中去除掉.再在经上述处理后减小的候选词集上应用Viterbi 算法.从而达到快速13计算机研究与发展　2010,47(2)准确的目的.我们所采取的剪枝策略是利用了π-一定是πHMM的上界这一结论.算法2.Dtw2ViterbiⅠ算法.①初始化对当前的测试数据利用δ2ε算法计算状态序列i1≤i2≤…≤i N,εt(i,j),δt(i,j),用δt(i,j)重估HMM参数λ3;②减小搜索空间　令训练后的候选词集的HMM参数为λ; { if(π->π3)t hen V=V-vλ3; }until(所有的V→λ→π-<π3) V3=V;③识别过程　对于新的候选词集V3应用Viterbi算法.2)Dtw2ViterbiⅠ算法的分析该算法的时间复杂度如果不包括Viterbi算法的时间复杂度,应当是O(V).由于我们只是利用了π-一定是πHMM的上界这一结论的结果,使得减小搜索空间的过程很快,但是缩减的精度不够.如果能证明出λ3是λ的上界,最好是上确界,那么缩减的精度将大幅度提高.3.2　Dtw2ViterbiⅡ算法.1)Dtw2ViterbiⅡ算法的思想该算法的基本思想与Dtw2ViterbiⅠ采用的策略是一致的,都是利用剪枝的策略.不过剪枝的阈值用的是λ3,理论依据就是λ3是λ的上界,即前面所描述的定理4.也就是把所有的HMM参数与测试重估参数进行比较,这可以使剪枝的阈值精度进一步加强,从而达到候选词集规模进一步的缩减.算法3.Dtw2ViterbiⅡ算法.①初始化　对当前的测试数据利用δ2ε算法计算状态序列i1≤i2≤…≤i N,εt(i,j),δt(i,j);　用δt(i,j)重估HMM参数λ3.②减小搜索空间　令训练后的候选词集的HMM参数为λ;　{ if(λ>λ3)t hen V=V-vλ3; }until(所有的λ<λ3)　V3=V.③识别过程对于新的候选词集V3应用Viterbi算法.比较λ>λ3的理论基础来源于文中的定理4,λ3是依照D TW搜索策略并结合糊贴近度的理论所得到的模型参数.定理4确保了λ3是一般HMM参数λ的上界.λ的获取应当满足D TW搜索策略.由于我们使用的手语数据是经过“归一化”处理[37239]的,经过参数训练后的参数λ与λ3是两个模糊集合,λ与λ3当中每个向量的元素个体的数值是在[0,1]范围内的,满足模糊集合的定义.比较λ>λ3是针对两个模糊集合隶属度所进行的比较,模糊集合之间的运算可以参考文献[31].λ>λ3的含义是将λ与λ3“不相似”,而λ3是依照D TW搜索策略并结合糊贴近度的理论所得到的模型参数,并不是以“大小”的概念来衡量的.2)Dtw2ViterbiⅡ算法的分析该算法剪枝部分的时间复杂度也应该是O(V),识别过程的时间复杂度是Viterbi算法在新的候选词集V3上的时间复杂度.Dtw2ViterbiⅡ算法与Dtw2ViterbiⅠ算法相比,在剪枝部分的比较运算的运算量Dtw2ViterbiⅡ算法更为大一些.3.3　Dtw2ViterbiⅢ算法.1)Dtw2ViterbiⅢ算法的思想D TW算法是基于数据帧的模板匹配算法,其本身是不含有HMM的状态信息的.D TW算法的搜索策略是通过限定路径中各通过点的路径平均斜率[15]来实现的,落实到数据帧上就是通过限定的路径平均斜率找到最小的累积距离来确定搜索路径的走向,从而达到了快速搜索的目的.对于Viterbi算法而言是基于HMM状态和训练模型的概率匹配算法,它是把所有候选词集模型化(或称编码)后,与当前的测试数据进行概率匹配得到识别结果的. Viterbi算法的搜索范围是整个候选词集(或称候选词空间).Dtw2ViterbiⅡ算法与Dtw2ViterbiⅠ算法可以在一定程度上快速地削减候选词集,它的削减精度只局限于候选词集中单词的HMM参数上.如果候选词集的规模十分庞大,达不到实时识别的规模,我们就需要进一步的提高削减精度.再提高削减精度就不能把思路停留在候选词集中单词的HMM参数上,我们必须在识别过程里去寻求思路.也就是说在Viterbi算法识别的过程里,引入D TW算法的搜索策略,通过模糊度量的转换,把与搜索策略相关的累计距离转化为贴近度(广义上的概率),作为剪枝的阈值(或称上界)进行词空间(候选词集)再削减.剪枝的阈值(或称上界)的正确性是由定理3和定理113倪训博等:Viterbi和D TW算法的关系分析———在非特定人手语识别中的应用。