基于神经网络的语音识别研究

中国传媒大学2011-2012 学年第3学期数字语音技术课程

题目基于神经网络的语音识别研究

学生姓名秦越

学号200910013126

班级电子信息工程3班

学生所属学院信息工程学院

任课教师戴志强

教师所属学院信息工程学院

成绩

摘要:本文主要提出了一种基于双权值神经网络的非特定人连续语音识别的新算法。这种算法可以不经过端点检测和分割,构建连续语音中各不同音节的特征空间覆盖区,可以避免因分割错误而带来的错误识别。

关键词：双权值神经网络连续语音语音识别

概述

语音是人类交流和交换信息中最便捷的工具和最重要的媒体。语音识别技术是集声学、语音学、语言学、计算机、信息处理和人工智能等诸领域的一项综合技术,应用需求十分广阔,在近半个多世纪以来一直是人们研究的热点。

语音识别系统可以依照语音识别的单元及语音识别系统是否依赖特定人而分成以下四类：

(1) 特定人,孤立词语音识别;

(2) 非特定人,孤立词语音识别;

(3) 特定人,连续语音识别;

(4) 非特定人,连续语音识别。

可以看出,这四类系统的难度是依次增加的。在语音识别系统的性能中,语音识别的正确率以及字表大小和内容是主要的,此外还有系统对发音的要求高低、系统的抗噪声能力、训练量的大小等等。目前常用的语音识别算法有动态时间规整法(DTW)、隐马尔可夫模型(HMM)和人工神经网络(ANN)等,其中基于统计的HMM算法可能是目前最为成功的一种语音识别模型和算法了。然而,HMM语音识别模

型也存在一些严重的缺陷,如:鲁棒性不够理想,抗噪音的能力比较弱以及需要大量的训练样本等等。另外,由于连续语音识别技术存在单词切分困难的特点,而单词切分错误又直接影响到语音识别的识别率。基于以上连续语音识别技术的难点,本文从双权值神经网络的结构出发,提出了一种基于双权值神经网络的非特定人连续语音识别的新算法。这种算法可以不经过端点检测和分割,构建连续语音中各不同音节的特征空间覆盖区,得到了较为满意的识别结果

1 双权值神经网络的结构

双权值神经元模型的结构图如图 1所示。双权值神经元的典型的特点就是它不仅有相当于前馈网络中的方向权值 w ,而且还有相对于RBF 径向基函数网络中的核心权值 z 。这样的双权值神经元是一个具有良好的局部反应性质、 各向异性的高阶神经元。

图1 双权值神经元模型 双权值神经元的基本算式为：0()[|()|]|()|s

M j j j p j j j f j j j W X W Y f W X W W X W θ=??'-'=-- ? ?'-??∑ 其中 Y 为神经元的输出, f 为神经元激励函数,θ为神经元的阈值, j W 为由第 j 个输入端接至神经元的方向权值, j W '为由第 j 个输入端接

至神经元的核心权值, j X 为第 j 个输入端 (正值) ,M 为输入空间维数,

S 为决定单项正负号方法的参数, S = 0时单项符号永为正,S =1时单项的符号与 Wj 的符号相同, P 为幂参数。

这种网络模型是一种通用的神经元网络模型 ,传统的通用前馈网络和径向基函数 (RBF)网络都是它的一种特例。如果核心权值W '全为 0, S = 1,p = 1,则 2 - 12式就是一个经典的神经元数学模型;如果核心权值W '全为 1, S = 0, p = 2,则 y 是一个径向基函数 (RBF)网络

的神经元。

2 构造双权值神经网络的学习算法

步骤 1: 设某类问候语单字所有的样本点集合为α= {1A ,

2A , …, N A } ,N 为样本点总数。

计算出这些点两两之间的距离 ,找到距离最小的两个点 ,记为1B 、2B ,计算其它点到这两点的距离和 ,将

距离和最小 ,且与11B 、12B 不共线的点记作13B 点 ,这样构成第一个平面

三角形111213B B B ,记作1θ ,用一个双权值神经元来覆盖 ,其覆盖范围为:

{}

()()[][]{}111211*********|h,;|[1]1,0,1,0,1n X P X T X R Y Y a a B a B a B a a θρθ=≤∈==+-+-∈∈

其中1

X θρ表示点 X 到空间1θ的距离。 步骤 2:对于前一个已构造好的几何形体 P1 ,判断剩余点是否被该形体包含,若在形体覆盖范围内,则排除该点。对于在形体之外的样本点,按照第 1步的方法,找出离111213B B B 三点距离和最小的点21B ,将111213B B B 三点中离21B 最近的两个点记作2223B B , 22B 与 构成第二个平

面三角形 ,记作θ, 111213B B B 三点中离21B 最近的两个点记作2223B B , 22B 23B 与21B 构成第二个平面三角形212223B B B ,记作2θ ,同样用一个双权

值神经元来覆盖,其覆盖范围为:

{}

()()[][]{}222212112222312|h,;|[1]1,0,1,0,1n X P X T X R Y Y a a B a B a B a a θρθ=≤∈==+-+-∈∈其中2X θρ表示点 X 到空间2θ的距离。

步骤 3: 在剩余点中排除包含在前面 ( i - 1)个双权值神经元覆盖体积内的样本点 ,在覆盖体积外的样本点中 ,找出离前面第 i - 1个三角形的顶点的距离和最近的点记作1i B ,同离其最近的第 i - 1个三角

形的两个顶点记作23i i B B ,构成第 i 个平面三角形123i i i B B B ,记作3θ ,同样用一个双权值神经元来覆盖 ,其覆盖范围为:

{}()()[][]{}23211122312|h,;

4|[1]1,0,1,0,1n i X i i i P X T X R Y Y a a B a B a B a a θρθ=≤∈==+-+-∈∈

步骤 4: 重复步骤 (3) ,直到处理完所有的样本点。最终共产生 m 个双权值神经元 ,每一类问候语单字的覆盖面积是这些神经元覆盖面积的并集:1m

i i P P == ，在识别时 ,取 Th = 0, pS i3神经元的表达式为

()123,,||||W W W X ρθ=-。神经元的输出ρ是点 X 到有限区域()123

,,W W W θ的距离 ,距离的计算采用的是近似算法。

待识样本 X 到第 i 类问候语单字的高维空间点覆盖神经网络覆

盖区的距离为1min ,1,...,11i

M i ij j i ρρ===其中 Mi 为第 i 类问候语单字的高维空间点覆盖神经网络的 pS i3神经元的个数。ρ ij 为待识样本待识样本 X 到第 i 类问候语单字的高维空间点覆盖神经网络中第 j 个神经元覆盖区域的距离。

将离开待识样本 X 距离最小的那一类问候语单字的高维空间点覆盖双权值神经元所属类别,作为待识样本 X 的所属问候语单字类别,

判别方法为:1min ,1,...,11i

M i ij j i ρρ=== 3 实验及分析

在问候语连续语音识别中 ,将待识别的问候语连续语音所提取的长度不等的特征向量 ( 128维 ×n)作为高维空间的 n 个点 ,求出这 n 个点中依次各点到每一类覆盖区的距离 ,然后找出每一点到各类覆盖区的最短距离 ,把最短距离所对应的那一类作为该点所属类别,最

短距离是随时间变化的曲线,取最小的几个极小值点对应的问候语单字类别作为最终识别结果。

下面以“ni hao zao shang hao ”的连续语音串为例( n = 113) ,图1为这n个点到18类问候语中的1类覆盖区的距离,横坐标为时间轴( n个点) ,纵坐标为各点( n个点)到各类高维空间点覆盖区的距离。

图2 “ni hao zao shang hao”到“shang ”的覆盖范围的距离

图3 连续语音到各类高维空间点覆盖区的最短距离

图2为离开“shang”覆盖范围的距离随时间的变化曲线,图中有1个极小点,它的距离值在50到100之间。通过这种方法找到这n个点到18类问候语中的每一类覆盖区的最小距离。由于最短距离是随时间变化的曲线,取最小的几个极小值点对应的问候语单字类别作为最终识别结果。图3就是连续语音“ni hao zao shang hao”到各类高维空间点覆盖区的最短距离。

据统计我们的识别系统最终达到字错误率为15.38% ,字正确率为84.62%。由于问候语语句受语法的限制程度较强,对于问候语语句的识别我们采用了关键字识别的方法,即在一个问候语语句中只要识别出它的关键字,我们就认为它识别出了这个句子。在我们的识别系统中,问候语语句的句识别正确率为93.50%。

4结论

由于连续语音的分割困难,而它又直接影响到语音识别的识别率,有实验考证如果将在前期的分割错误加以纠正,则系统的字错误率至少可以降低11.7%。因此可以说以外的系统对连续语音的识别率不高在很大程度上与连续语音端点检测的准确率不高密切相关。因此本文一改传统语音识别先切分后识别的模式,采用了动态搜索的算法,实现了不用切分的连续语音识别。本文从双权值复杂的几何形体出发,给出了双权值神经网络的学习算法在语音中的算法,今后希望能够应用的大词汇语音识别中去。

参考文献：

1张利平.汉语连续语音识别系统的研究与实现.西北大学硕士学位论文,2010

2张晓俊，基于听觉特性和神经网络的汉语数字语音识别研究.苏州大学硕士学位论文，2007

3徐霄鹏，吴及，刘庆升，黄文浩，中国科学技术大学精密仪器系，孤立词语音识别算法性能研究与改进。2007

4郭业晓，山东大学，硕士学位论文。基于RBF神经网络的语音识别方法的应用，2003

5邹超君，邓秋香等。基于HMM与神经网络的语音识别技术研究，2007.