语音转换关键技术研究

本栏目责任编辑：唐一东多媒体技术及其应用语音转换关键技术研究张照坤（南京邮电大学通信与信息工程学院，江苏南京２１０００３）摘要：语音转换技术在语音处理领域是一个比较新的研究方向，也是近年来语音领域的研究热点。语音转换技术是指改变源说话人的语音特征使之具有目标说话人特征的一项技术。本文说明了语音转换的定义，介绍了语音的个性特征，列举了频谱包络的几种主要的转换算法以及韵律转换的主要算法。最后说明了语音转换今后的研究方向。

关键词：语音转换；基音周期；频谱包络；韵律转换中图分类号：ＴＰ３９１文献标识码：Ａ文章编号：

１００９－３０４４（２００８）０７－１１３０９－０３

ＳｔｕｄｙｏｆＴｈｅＫｅｙＴｅｃｈｎｏｌｏｇｙｏｆＶｏｉｃｅＣｏｎｖｅｒｓｉｏｎＺＨＡＮＧＺｈａｏ－ｋｕｎ（ＣｏｌｌｅｇｅｏｆＣｏｍｍｕｎｉｃａｔｉｏｎａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ，Ｎａｎｊｉｎｇ２１００３，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｔｅｃｈｎｏｌｏｇｙｏｆｖｏｉｃｅｃｏｎｖｅｒｓｉｏｎｉｓａｎｅｗｄｏｍａｉｎｏｆｓｐｅｅｃｈｐｒｏｃｅｓｓｉｎｇｓｔｕｄｙ，ｉｔｉｓａｌｓｏｔｈｅｈｏｔｐｏｔｏｆｓｐｅｅｃｈｐｒｏｃｅｓｓｉｎｇｓｔｕｄｙ．Ｔｈｅｔｅｃｈｎｏｌｏｇｙｏｆｖｏｉｃｅｃｏｎｖｅｒｓｉｏｎｉｓａｔｅｃｈｎｏｌｏｇｙａｂｏｕｔｔｈａｔｃｈａｎｇｅｔｈｅｓｏｕｒｃｅｓｐｅａｋｅｒ＇ｓｖｏｉｃｅｃｈａｒａｃｔｅｒｓｔｏｔｈｅｔａｒｇｅｔｓｐｅａｋｅｒ＇ｓｖｏｉｃｅｃｈａｒａｃｔｅｒｓ．Ｉｎｔｈｉｓｐａｐｅｒ，ｆｉｒｓｔｇｉｖｅｔｈｅｄｅｆｉｎｉｔｉｏｎｏｆｖｏｉｃｅｃｏｎｖｅｒｓｉｏｎ，ｔｈｅｎｉｎｔｒｏｄｕｃｅｔｈｅｉｎｄｉｖｉｄｕａｌｉｔｙｆｅａｔｕｒｅｏｆｖｏｉｃｅ，ｔｏｅｘｐｌａｉｎｓｏｍｅｉｍ－ｐｏｒｔａｎｔｃｏｎｖｅｒｓｉｏｎｍｅｔｈｏｄｏｆｓｐｅｃｔｒａｌｅｎｖｅｌｏｐｅａｎｄｐｒｏｓｏｄｉｃ．Ｔｈｅｄｉｒｅｃｔｉｏｎｓｔｕｄｙｏｆｖｏｉｃｅｃｏｎｖｅｒｓｉｏｎｉｓｇｉｖｉｎｇａｔｌａｓｔ．

Ｋｅｙｗｏｒｄｓ：ｖｏｉｃｅｃｏｎｖｅｒｓｉｏｎ；ｐｉｔｃｈｐｅｒｉｏｄ；ｓｐｅｃｔｒａｌｅｎｖｅｌｏｐｅ；ｐｒｏｓｏｄｉｃｃｏｎｖｅｒｓｉｏｎ

１引言

语音转换是指改变一个说话人（源说话人，ｓｏｕｒｃｅｓｐｅａｋｅｒ）的语音个性特征，使之具有另外一个说话人（目标说话人，ｔａｒｇｅｔｓｐｅａｋｅｒ）的语音个性特征。语音包含很多信息，其中最主要的是语义信息，另外一个很重要的信息为语音的个性化信息。语音转换就

是要保留原有语义信息不变，而改变语音的个性化信息，使一个人的语音经语音转换后听起来象是另外一个人说的语音。语音转换技术在语音处理领域属于比较新的课题，同时语音转换技术有着良好的发展前景和巨大的应用价值。语音转换技术对说话人语音特征的转换主要体现在对语音频谱包络等音段特征和基音周期、时长、能量等韵律特征的转换上。

２语音特征参数及语音转换的系统

语音转换本质就是对语音特征参数的转换，因此首先是选取分析和合成语音的系统模型，提取好的语音特征参数。然后是采用合适的转换函数，最后是训练和转换以及语音合成处理。寻找和利用好的语音参数可以达到更好的语音个性转换的效果。现在常用的语音特征参数包括ＬＰＣ系数和由ＬＰＣ系数推演得到的包括ＬＳＰ参数在内的一系列推演参数，以及ＭＦＣＣ参数等。对于语音的分析和特征提取的模型，声源－滤波语音模型（ｓｏｕｒｃｅ－ｆｉｌｔｅｒ模型），即ＬＰＣ语音模型是应用比较多的模型。ＬＰＣ模型符合语音产生的原理，可以将语音有效分解为谱包络部分（由ＬＰＣ系数表示）和激励部分（由ＬＰＣ的残差表示）。用ＬＰＣ及其推演参数ＬＳＰ和ＰＡＲＣＯＲ等可以有效的实现频谱包络的转换。可以对ＬＰＣ残差进行韵律的转换，这样可以实现对声门波的转换，以达到高质量的语音转换。除了ＬＰＣ模型外，经常使用的语音模型还有谐波＋噪音模型和ＳＴＲＡＩＧＨＴ语音分析合成模型等。语音转换系统的工作流程主要有训练阶段和转换阶段，另外为了得到高质量的合成转换语音，最后还要加一个语音滤波处理阶段。训练阶段主要是通过语音分析模型提取语音特征，并对提取的语音特征参数进行对齐。然后通过使用的特征转换规则训练得出语音转换函数，并对存储起来。转换阶段则是对源语音进行分析和提取语音特征参数，根据训练阶段得到的转换函数进行语音特征参数的转换以得到转换的语音特征参数。最后由得到的语音特征参数合成出转换的语音。语音转换系统的工作过程表示如图１。

３频谱包络的转换

收稿日期：２００８－０１－１０作者简介：张照坤（１９８２－），男，山东潍坊人，硕士研究生，研究方向：语音信号处理。

１３０９多媒体技术及其应用本栏目责任编辑：唐一东

频谱包络的转换是语音转换的主要内容，频谱包络中包含共振峰频率、共振峰带宽、共振峰幅度和频谱倾斜等参数信息，因此转换后的得到的是语音的语义信息，即语音的主要内容。频谱包络转换的主要方法有说话人插值法、矢量量化法、高斯混合模型法等。其中高斯混合模型（ＧａｕｓｓｉａｎＭｉｘｔｕｒｅＭｏｄｅｌ，简称ＧＭＭ）法，是最近几年来语音转换领域使用最多的频谱包络的转换方法。相对于其他转换算法的对频谱特征进行量化然后对应，ＧＭＭ模型是基于对频谱包络特征采用概率的方法进行的软分类对应，所以克服了矢量量化的不连续性，可以得到比较好的语音转换质量，因此近年来在语音转换领域被广泛使用，也得到了比较好的性能。

４高斯混合模型ＧＭＭ模型的基本概念

一个Ｍ阶的混合高斯模型的概率密度函数可以表示如下式：（１）上式（１）中Ｘ为Ｐ维随机矢量，Ｐ（ωｉ），ｉ＝１，２…，Ｍ为混合加权重，且Ｍｉ＝１!Ｐ（ωｉ）＝１，Ｎ（Ｘ；μｉ；∑ｉ）为每个子分布的ｐ

维的联合高斯概率

分布，表示如下：

（２）

上式（２）中μｉ是均值矢量，∑ｉ是协方差矩阵，通常情况下完整的混合高斯模型由参数均值向量、协方差矩阵和混合权重组成，表示为：

（３）

例如对于给定的时间序列Ｘ＝｛Ｘｔ｝，ｔ＝１，２，…Ｔ，利用ＧＭＭ

模型求得的对数似然度可定义如下：

（４）４．１ＧＭＭ模型的参数估计

对于个人的ＧＭＭ模型参数集，所有的参数是通过参数估计求得的。ＧＭＭ模型的参数估计就是通过给定的一组语音训练数据，依据某种准则来求出模型的参数λ，从而使确定的ＧＭＭ模型能最佳的描述给定的语音训练数据的概率分布。最常用的估计方法是最大似然（ＭａｘｉｍｕｍＬｉｋｅｌｉｈｏｏｄ，简称ＭＬ）估计，设一组给定的用于训练的语音特征矢量序列为Ｘ＝｛ｘｔ，ｔ＝１，２…Ｔ｝，ＧＭＭ

的似然度可

以表示为：

（５）上式是关于λ的非线性函数，训练的目的就是找到一组参数λ，使得Ｐ（Ｘ／λ）最大，即：λ＝ａｒｇλｍａｘＰ（Ｘ／λ）（６

）

对于上式（６）的求解，常常采用ＥＭ（ＥｘｐｅｃｔａｔｉｏｎＭａｘｉｍｕｍｚａｔｉｏｎ）算法来估计λ的值。ＥＭ算法是一种递归最大似然＝算法，ＥＭ算法的计算是从参数λ的一个初值开始，采用ＥＭ算法估计出下一个新的参数λ，使得新的模型参数下的似然度Ｐ（Ｘ／λ）≥Ｐ（Ｘ／λ）。新的模型参数再作为新的初始模型参数进行训练，这样迭代运算再继续进行下去直到模型收敛。迭代过程（第ｎ＋１步）表示如下：

（１）混合权值的重估迭代公式如下：

（７）

（２）均值的重估公式：

图１语音转换系统１３１０本栏目责任编辑：唐一东多媒体技术及其应用（８）（９）

上面三式的条件Ｐ（ｎ）（ωｉ／Ｘｔ）由下式表示为：

（１０）

关于高斯混合模型参数迭代算法中几点问题的说明：（１）ＧＭＭ模型的高斯分量的个数Ｍ的确定：ＧＭＭ模型的高斯分量的个数Ｍ的选择是一个非常重要的问题。如果Ｍ取值太小，则训练出的ＧＭＭ模型不能有效的刻画语音的特征，使整个系统的性能下降。如果Ｍ值过大，模型参数会很多，则在迭代中得不到收敛的模型参数，使模型的参数误差很大。（２）模型初始参数的确定：ＥＭ算法是寻找局部最大概率模型。但是不同的初始条件导致产生不同的局部极值。通常采用Ｋ均值方法来获得模型的初值。（３）方差的限定：当训练数据不足时或存在噪声干扰时，方差的幅度会很小，这样会导致模型概率函数的非奇异性。为了避免出现这样的情况，在每一次ＥＭ迭代时，都需要对方差进行限定如下。或者进行迭代的次数的限定。

（１１）

４．２ＧＭＭ模型的语音转换系统

ＧＭＭ模型的每个概率密度分布可以表示出基本的声学类，如元音、鼻音，另外ＧＭＭ模型可以平滑逼近任意形状的概率密度函

数。系统的描述如下：基于ＧＭＭ模型的语音转换，就是对源输入矢量Ｘｔ，根据目标矢量Ｙｔ，训练出相应的转换函数Ｆ，使得满足式（１２）中ε最小。

（１２）以上Ｆ可通过下面方式解得，假设Ｆ是分段线形，形式如下：

（１３）式中λｉ（Ｘｔ）为条件概率下式（１４

）所示

（１４）式（１４）中Ｎ（Ｘｔ；μｊ；Σｊ）定义如式（２），式（１３）所需输入矢量Ｘｔ的ＧＭＭ模型参数可由前述ＥＭ算法得到，未知参数为νｉ，Γｉ，可通过

对式（１２）采用的ＭＭＳＥ准则得到。假定源和目标的相应的参数矢量分别为Ｘｔ，Ｙｔ，对于式（１４）ωｉ是联合高斯分布，转换函数有下面的最优形式：

（１５）

式（１５）中λｉ（Ｘｔ）定义为式（１４），μｉｙ，Σｉｙｘ，Σｉｘｘ－１为未知参数，这些参数可由训练的矢量Ｚｔ＝［ＸｔＴＹｔＹ］Ｔ的ＧＭＭ模型得到，对于新的矢量Ｚｔ其ＧＭＭ模型参数为式（１６）、（１７）：

（１６）（１７）从式（１６）、（１７）矩阵中我们可以直接提取转换函数所需的参数μｉｙ，μｉｘΣｉｙｘ，Σｉｘｘ－１。因此训练过程是通过对联合矢量Ｚｔ进行高斯模型的训练得到的转换函数（１５）需要的参数。整理可得转换函数参数集如式（１８）示：

（１８）（下转第１３１６页）

１３１１