基于稀疏非负矩阵分解的单通道语音分离方法研究

基于稀疏非负矩阵分解的单通道语音分离方法研究
基于稀疏非负矩阵分解的单通道语音分离方法研究

基于非负矩阵分解的单通道语音分离方法研究

专业:网络工程学号:6100408049

学生姓名:敖艳玲指导教师:梁声灼

摘要

这篇论文首先简单地介绍了一下非负矩阵分解和单通道语音分离。由于数据的非负性的要求,让其更能符合人类的认识思维习惯。非负矩阵分解具有速度快和占用存储空间小等优点,从而使得其得到了广泛的应用,其中包括语音分离。如果能找到一个快速的语音分离算法,它将会推动人工智能、自动音乐复制、声音特效、对象译码等的应用和研究。最后,本文展示了一个用于分离在单个通道记录中的两个讲话者的方法。这个分离实验是在一个代表语音最佳的低维特征空间中实施。对于每个讲话者,一个过完备基是采用稀疏非负矩阵分解评估的,同时语音混合物是通过将其映射到两个讲话者的联合基中分离的。我们采用语音分离竞赛数据集中的单词识别率来评估这个方法。

关键词:非负矩阵分解;单通道;语音分离;语音分离竞赛

Investigating Single-channel speech Source Separation Methods Based on Non-Negative Matrix

Factorization

Abstract

This paper introduce briefly about non-negative matrix factorization (NMF) and Single channel speech separation at first. Because of the requirement of non-negative,makes the NMF fits to the human habit of cognition.The NMF has the advantage of fast speed and low storage etc.,so,it attain a wide range of applications,which include the separation of speech.If we can find a high-effective speech separation algorithm,it will promote the application and research of artificial intelligence ,automatic music transcription, object coding, special sound effects and so on.Finally,this paper describes a method for separating two speakers in a single channel recording. The separation is performed in a low dimensional feature space optimized to represent speech. For each speaker, an overcomplete basis is estimated using sparse non-negative matrix factorization, and a mixture is separated by mapping the mixture onto the joint bases of the two speakers. The method is evaluated in terms of word recognition rate on the speech separation challenge data set.

Keywords:Non-negative Matrix Factorization;Single-channel;Speech Separation;speech separation challenge

目录

摘要 ............................................................................................................................................. I Abstract ............................................................................................................................................ II 第一章绪论 . (1)

1.1 选题依据 (1)

1.2 国内外研究状况 (1)

1.3主要研究内容 (2)

1.4 论文主要成果 (3)

1.5 论文结构 (3)

第二章语音分离及NMF背景知识 (5)

2.1 语音分离 (5)

2.2 非负矩阵分解(NMF) (6)

第三章NMF算法分析 (8)

3.1基本NMF算法 (8)

3.1.1目标函数 (8)

3.1.2 迭代函数 (8)

3.2 局部非负矩阵分解(LNMF) (9)

3.2.1 目标函数 (9)

3.2.2迭代函数 (9)

3.3 非负稀疏编码(NNSC) (10)

3.3.1目标函数 (10)

3.3.2迭代函数 (10)

3.4 稀疏非负矩阵分解(SNMF) (10)

3.4.1目标函数 (10)

3.4.2迭代函数 (11)

第四章实验 (12)

4.1非负特征 (13)

4.2语音分离 (14)

4.3 讲话者识别 (15)

4.4 重过滤 (16)

4.5语音识别 (17)

4.6讨论 (17)

第五章总结 (20)

5.1 论文总结 (20)

5.2 相关问题讨论 (20)

致谢 (21)

参考文献 (22)

第一章绪论

1.1 选题依据

自从非负矩阵分解(NMF)第一次由D.D.Lee和H.S.seung于1999年提出后,便表现出极大的魅力。由于NMF算法实现简便有效, 非负矩阵分解已成为模式识别研究领域中特征提取和数据降维的一种新方法, 在高维数据处理中有着

广泛的应用前景.NMF思想的提出迅速得到了很多人的重视,并有很多将这种思

想应用到实际中成功解决具体实际问题的例子。

语音的分离一直是计算机科学家努力的方向,也是未来智能应用实现的基础技术。语音同样包含大量的数据信息,分离语音的过程也是对这些信息处理的过程。NMF算法具有处理大规模数据的优势,在这方面NMF算法为我们提供了一种新方法,NMF算法成功实现了有效的语音特征分离,并且由于NMF算法的快速性和简单性等优势,对实现语音识别有着重大的意义。

NMF通过计算机与许多领域相结合,其应用均取得了令人瞩目的成果。NMF 的故事还在不断进行中,NMF 的应用领域还有待进一步的发掘,针对 NMF 的进一步研究也没有停止过,其中诸如分解的存在性、惟一性和收敛性以及收敛的速度等问题的深入探讨必将使该思想能更好地服务于人类[17]。

1.2 国内外研究状况

讨论利用矩阵分解来解决实际问题的分析方法很多,如PCA(Primary Complement Analysis ,主成分分析)、ICA(Independent Complement Analysis,独立成分分析)、SVD(Singular Value Decomposition,奇异值分解)、VQ(Vector quantization,矢量量化)等。在所有这些方法中,原始的大矩阵V被近似分解为低秩的V=WH形式。这些方法的共同特点是因子 W和 H中的元素可为正或负,即使输入的初始矩阵元素是全正的,传统的秩削减算法也不能保证原始数据的非负性。在数学上,从计算的观点看,分解结果中存在负值是正确的,但负值元素在实际问题中往往是没有意义的[17]。

NMF是一种新的矩阵分解算法,它克服了传统矩阵分解的很多问题,通过

寻找上下文有意义的解决方法,提供解释数据的更深看法。语音包含大量的数据信息,对语音进行识别的过程也是对这些信息进行处理的过程。选择一种恰当的

数据处理方法将会节省大量的时间和人力,多项试验明,NMF方法就是分析处理

此类数据的有效方法。

郭莉莉[23]等提出基于NMF的语音特征波形分解方法.利用NMF将幅度谱矩阵CW分解为r个基向量的叠加,提高了算法的灵活性。同时也提出了采用Mel刻度分带初始化的基于K-L散度的NMF方法,在分解精度和复杂度方面均优于其它特征波形分解方法,从而更适合实时通信[7] 。

Kaw T[26]等将NMF用于音乐信号分析中,将音乐的幅度谱进行NMF分解,得到具有单个音调的特征数据。

另外,Novak M[27]等将NMF用于自然语言的的处理中; F. Sha[28]等将NMF用于语音信号分析和处理中。

从算法优化的角度来看,非负矩阵分解是一种满足非负性约束下的优化问题。在非负性约束的基础上,人们提出了局部非负矩阵分解,稀疏非负矩阵分解,加权的(正)非负矩阵分解,多重线性引擎和正张量分解。Wang将 Fisher 约束引入到分解中, Ahn还将非负矩阵的单层神经网络表示推广到多层的情形。

1.3主要研究内容

从理论上研究将 NMF 作为大规模数据处理方法的优点,在此基础上将 NMF 运用于语音分离领域,分析基于 NMF 的语音分离方法。本文主要是将SNMF 运用于单通道语音分离方面的研究,对语音数据向量进行降维,设计获取高质量语音分离的方法。

论文将通过以下几步展开研究:

1)语音分离基本知识

研究将NMF应用于语音分离,先简单介绍有关语音分离的知识。传声器数多于或等于声源数时,不需要太多的限定及猜想就可以实现分离,因此称为盲源分离。而当传声器数少于声源数时,要实现分离就比较复杂,称为欠定模型,其中有一种极端情况,即当传声器数为1时,我们称此种情形下的语音分离为单通道语音分离。本文主要研究的是单通道语音分离的实现。

2)非负矩阵分解基本理论

研究当前非负矩阵分解的基本理论、现有主要分解算法以新的发展。总的来说非负矩阵分解算法的产生和发展与应用密切相关。非负矩阵分解的产生以及现有的

非负矩阵分解算法的各种变体都是为了适应应用需求而产生的。因此有必要对现有的非负矩阵分解算法进行总结分析和对比,为应用过程中非负矩阵分解算法的选取提供指导。

3)基本非负矩阵分解及其几种改进算法的研究

简单介绍有关基本非负矩阵分解(BNMF)的目标函数及迭代函数,介绍了一些在BNMF基础上因增加不同的限制条件而有所改进的算法,包括他们的目标函数及迭代函数。同时简单阐述了他们之间在意义、特点、算法及应用等方面的不同。

4)实验部分

本文主要借鉴语音分离竞赛的指示和Mikkel N. Schmidt的采用稀疏非负矩阵分解(SNMF)的语音分离的实验方法。本文描述的方法很大程度上依赖于对讲话者的识别(男或女)。如果一个语音分离系统是用于有着大量不认识的讲话者的情形,那么这个系统将无法依赖于本文前面描述的方法来训练讲话者。而实际生活中更多的情形是:语音分离系统中有着大量不认识的讲话者。采用SNMF的一个优点是它具有简单性,不需要符合语法规则的模式。但是,虽然分离过程能轻松地实时生效,它需要花大量的计算来估算讲话者依赖基。

1.4 论文主要成果

论文的主要研究成果表现在以下几个方面:

1)归纳了基本非负矩阵分解和其它几种改进的NMF算法的目标函数和迭代

算法,总结了他们在特点和应用等方面的不同;

2)参照语音分离竞赛的指示和Mikkel N. Schmidt的语音分离实验方法,

采用稀疏非负矩阵(SNMF)分解进行分离;

3)虽然NMF需要花费大量的计算,但是它能够轻松地实现实时生效。本文

的描述的方法对讲话者的识别有很大的依赖。对此需要进一步的研究。

1.5 论文结构

论文主要分为三个部分。

第一部分是第一章和第二章,综述全文,介绍非负矩阵分解的相关概念,总结非负矩阵分解的各种算法及其改进算法的特点和主要应用。

第二部分包括第三章,是本文方法的理论基础,它分析了 NMF 的目标函数和迭代算法。

第三部分包括第四章,它是本文的主要部分,在这一章中,结合 NMF 的特点,我们设计了基于 SNMF 的单通道语音分离算法,并用实验表明了新算法的优势和需要改进的地方。

论文各章节摘要如下:

第一章是论文的绪论。从选题背景开始,简述非负矩阵分解理论和应用的研究现状,提出课题研究思路和论文的主要内容,概要枚举论文的研究成果,描述论文结构。

第二章综述语音分离和非负矩阵分解理论。简述语音分离和非负矩阵分解理论的基本知识,让读者更轻松地进入本话题。

第三章研究了基本NMF及几种典型的改进NMF。归纳了基本非负矩阵分解和其它几种改进的NMF算法的目标函数和迭代算法,总结了他们在特点和应用等方面的不同;

第四章将 SNMF 运用于单通道语音分离,并进行试验,试验结果表明了新算法的优势和不足。

第五章对论文进行总结,探讨相关问题,展望今后工作。综述本文在非负矩阵分解方面所作的工作,指出现有工作的局限性和需要改进的方面。

第二章语音分离及NMF背景知识

第二章语音分离及NMF背景知识

本章介绍了有关单通道语音分离及非负矩阵分解NMF的一些基础架构知识。

2.1 语音分离

人类听觉系统一个显著的特征就是,完全有可能只用一只耳朵来从嘈杂的环境中获取所需要的声音,或者也可以这么说,能听出混合物中单独的一种记录。我们将在有多个相互干扰的讲话者中分离或辨别出单独一个个体的讲话称为鸡尾酒舞会问题。设计出一种能模拟这种功能的算法是一个有趣但目前还未解决的问题【1】。

如果将鸡尾酒会问题按照观测信号个数(M)与源信号个数(N)来划分,可以分为如下情形:

1)M>N,称之为过定问题(overdetermined);

2)M=N,称之为确定问题(evendetermined);

3)M

一般来说,对于过定和确定问题,不需要对源信号和混合过程作过多的假设就可以实现分离,这就是所谓的盲源分离(Blind Source Separation,BSS)方法。这一类方法一般在假设源信号独立的条件下基于独立分量分析(Independent Component Analysis,ICA),源信号可以通过最大化其相互独立性或非高斯性(non-Gaussianity)的度量函数(如峰值(Kurtosis)【2】或互信息(mutual information)【3】)实现分离。后来有不少学者提出许多改进的ICA算法。最初的ICA算法是针对瞬时混合模型的。而对于欠定问题相对困难的多,往往需要对源信号做更强的假设,使得这类病态问题有近似唯一解。

在欠定问题中,如果取观察信号M=1,这类语音分离问题则被称为单通道语音分离(single-channel speech separation,SCSS)【4】.单通道语音分离方法今年来受到研究人员的广泛关注,2006年Cooke等人【5】提出了语音分离竞赛(speech separation challenge)。许多学者和研究团队参与研究,取得了一定的进展。

如果能实现单通道语音的高质量分离,则可以实现机器听觉,能极大推进人工智能的研究。另一方面,还可以应用于语音/乐器鉴定、自动音乐复制、

第二章 语音分离及NMF 背景知识

对象译码和声音特效等。这些高科技技术进入商业化和民用,能极大丰富人们的

生活,为人民的生活提供精彩的便利。

2.2 非负矩阵分解(NMF )

1999年,两位科学家 D.D.Lee 和 H.S.Seung 在著名的科学杂志《Nature 》

上发表了其关于非负矩阵研究的成果。该文提出了一种新的矩阵分解思想——非

负矩阵分解(Non-negative Matrix Factorization ,NMF )算法【6】。由于NMF

算法的诸多优点,使得该论文的发表迅速引起了各个领域中的科学研究人员的重

视。

NMF 的思想可以简单描述为:

对于任意给定的一个非负矩阵 m n R X ?+

∈,NMF 算法能够寻找到一个非负矩阵r n R U ?+∈和一个非负矩阵m

r R V ?+∈,使得满足 X ≈U V , (1) 从而将一个非负的矩阵分解为两个非负矩阵的乘积。由于分解前后的矩阵中仅包

含非负的元素,因此,原矩阵X 中的一列向量可以解释为对左矩阵U 中所有列向

量(称为基向量)的加权和,而权重系数为右矩阵V 中对应列向量中的元素。这

种基于分量组合的表示形式和非负性的限制蕴含了很实际的语义印象,它反映了

人类认知思维中“部分组成整体”的概念。在此我们将U 称为基矩阵,V 称为系

数矩阵。

一般情况下,r 值选择比n 小的数字,r 、m 和n 之间的关系可表示为:

(m+n)*r<

此时,用系数矩阵代替原始数据矩阵,就可以对原矩阵实现非线性的维数约减【7】。

因此可以说,NMF 算法提供了基于简单迭代的求解U 、V 的方法,求解方法具有

收敛速度快、左右非负矩阵存储空间小的特点,它能将高维的数据矩阵降维处理,

适合处理大规模数据,较传统的处理算法速度更快、更便捷。NMF 思想的提出迅

速得到了很多人的重视,并有很多将这种思想应用到实际中成功解决具体实际问

题的例子。

正是由于NMF 在数据压缩、消除噪声、加速处理等方面有显著效果,NMF

在各领域各方面的应用研究在激烈,例如:人脸识别、图像融合、图像检索、图

像分类、图像压缩、文本聚类、数据挖掘、网络安全入侵检测、数字水印技术、

第二章语音分离及NMF背景知识

脑电信号处理、语音处理、生物医学工程、化学工程等。本文主要介绍其在语音分离方面的应用。

第三章 NMF 算法分析

第三章 NMF 算法分析

本章介绍了有关基本NMF 算法(basic NMF ,BNMF )及几种改进的NMF 算法

(improved NMF ,INMF ),并比较了这几种算法的意义、特点、算法及应用等方面的不同。

3.1基本NMF 算法

矩阵的非负分解实现的是维数约减,不能保证分解后的基矩阵U 和系数矩阵V 的乘积UV 完全等于X (如前所述X ≈UV )。所以在此需要定义一个函数来描述原数据矩阵分解前后的逼近程度,此函数称为损失函数。然后再在非负性的约束条件下求解符合条件的U 和V 。最早提出的正矩阵分解方法采用的是传统的梯度下降算法与加性迭代规则【9】,加性迭代规则不能保证后续的迭代中不出现负值,因此需要一个强制将负值转化为零的操作。文献【8,10】中采用乘性迭代规则,更适合非负数据的特点,只要保证初始矩阵为非负性,在迭代过程中能容易地保证非负性,不需要额外的转化操作。

3.1.1目标函数

我们可以把非负矩阵分解归结为求解如下带约束的非线性优化问题:

??

???≥≥.0,

0),,(min V U V U Q (3) 其中 Q( U, V)为某一损失函数.

3.1.2 迭代函数

在迭代中, 往往还要求对基矩阵的各列向量进行归一化【8】, 即对于j ?,都需保

证1=∑i

ij U .

从而得到如下的乘性迭代规则:

第三章 NMF 算法分析

;

)/(;;

)/(∑∑∑←←←i ij ij ik kj kj l lk ik ik j ij ij kj ik ik UV X V V V U U U UV X V U U (4)

3.2 局部非负矩阵分解(LNMF)

在BNMF 要求所分解的因子矩阵为非负的基础上,Li 等人【11】提出对分解的

因子矩阵增加更多的约束, 从而强化分解的结果.他们提出因子矩阵的如下 3 个方面的约束:

1) 一个基向量的每个成分不能被分解得太零碎, 但同时尽可能使得基向量的

成分数目少

2) 尽可能保证不同基向量之间的正交化;

3) 不能丢失含有关键信息的部分.

3.2.1 目标函数

在上面所论述的基础上, Li 等人提出了局部非负矩阵分解问题,可转化为如下带约束优化问题:【15】

.

,;

0,0;

,;))()(log

(),(min ∑∑∑∑?≥≥==-++-=i ij T T ik i

ii ik ik ik ik ik ik ik U j V U VV N U U M N M UV X UV X X V U L βα (5)

3.2.2迭代函数

其乘性迭代规则为:

.

;;)()(∑∑∑∑←←←i UV X U kj kj l lk ik ij j kj k ij ij

ik ij

ij ij ij ik V V U U U V UV X V U U (6)

第三章 NMF 算法分析

在求解迭代函数过程中进行了一些近似处理, 目标函数中的正则化参数α和β被略去,以至于在迭代函数中找不到α和β的身影.

3.3 非负稀疏编码(NNSC)

根据稀疏编码原则【12】,基于使得分解后的系数具有比较好的稀疏性考虑, Hoyer

【13】提出了一种非负稀疏编码(Non-Negative Sparse Coding ,NNSC).

3.3.1目标函数

此方法即为求解如下的约束优化问题:

,

0,0;

1,;

])([),(min 22≥≥=?+-=∑∑∑V U U k V UV X V U L i ik ij kj

kj ij ij λ (7)

3.3.2迭代函数

其迭代算法如下:

;)

().(*.;

;

0:,0:;

)(2λθ+←←←<--←∑UV U X U V V u u u u then u if V X UV U U T T i ik ik

ik ik ik T (8) 其中θ为学习速率. 从迭代算法中易知:这个迭代算法的是基基于加性迭代,在迭代过程中不能很好地保持非负特性,需要将负值强制转化为零。Hoyer 【14】]将此算法推广到视觉感知的建模研究中.

3.4 稀疏非负矩阵分解(SNMF)

稀疏非负矩阵分解是在BNMF 的基础上增加强制性要求:系数矩阵V 应具备稀疏性。采用NMF 近似估计讲话者的功率声谱图时,KL 散度是一个合理的成本函数,相当于Poisson 处理。

3.4.1目标函数

在此提出概率函数:

第三章 NMF 算法分析

)2exp(),(22n F UV X V U X p σ--

∝ (9) 其中F ?表示Frobenius 范数。D 行优先标志化得非负矩阵。为了获得稀疏性,

V 的优先级被假设为独立同分布的单侧指数 ,0),exp()(1≥-∝V V V p β 其中

∑=ji ji v V 1。这个对数后验可以表示成:

;21),(log 12V UV X X V U p F λ---

∝; (10) S.t. ;0,1,02

≥=≥V u U j 其中j u 是U 矩阵的第j 列向量。对数后验可以看做由一个在矩阵V 的系数中的

L1范数惩罚项增广的二次成本函数。超参2n βσλ=制约着稀疏度。极大后验估

(MAP )能通过关于矩阵U 和V 的最佳化计算出来。SNMF 问题可以用公式描述为:

)(),(min V UV X D β+ (11)

其中β是强制性实施稀疏性的惩罚项。

3.4.2迭代函数

Eggert 和Korner[16]提出了一种简单的用于计算极大后验估计(MAP )的算法,它采用交替乘法迭代方法:

[][]

;;

)(~)~(~∑∑?←?←++Λ+i j j T i i ji i j j T i i ji T T u u x x v u u x x v j j X U X U u u V V (12) 其中,U V U X ,~=是列优先标准字典矩阵,是带有元素λ的矩阵,黑体的操作表

示是逐点乘除的。

约束非负矩阵分解方法用于解决单通道语音分离问题。如不加任何条件限

制,非负矩阵分解直接用于求解欠定盲信号分离时,分解结果不唯一,无法正确分离源信号。在基本非负 矩阵分解算法基础上,对分解得到的混合矩阵施加行列式约束,保证分解结果的唯一性;对分解得到的源信号同时施加稀疏性约束,实现混合信号的高效率分解,提高源信号分离性能

第四章 实验

训练数据来自于GRID 语音库(Cooke 和Shao ),它由简单词汇的结构化语句组成。这个语音库有34个讲话者,一共有34,000句语音,它们当中的一半用作这个挑战中的训练数据。这个测试集由混合有不同target-to-masker ratios (TMR )的两个不同语句构成——其中一个目标人总是说“white ”这个单词。这个实验的任务就是识别由目标讲话者说的单词和数字[31] 。

这个实验的主要思路如下:

图1 实验流程图

1.采用短时傅里叶变换将混合信号转换到时频域上,并采用幅值平方取得功率声谱图。

2.降低功率声谱图的维度,通过将它映射到一个更低维度基上,这个基从采用NMF 的训练数据中学习而来。

x (t )

短时傅里叶变换 X 特征提取 分离 Y2 Y1 重建 21~X 2

2

~X 过滤 Y 1 STFT )(?1t x )(?2t x

4.1非负特征

在对声谱建模时,采用一个频率和幅度都考虑在内的人类感知的代表是明智的,这样一个代表可以是一个高度压缩的MEL 频率的光谱图。在这个实验中采用了不同的路径到达相同的目标。前面已经讨论过,KL 散度用于解释人类声觉系统中的振幅的相关感知。现在,不再在一个感知地触发的频率范围内计算声谱向量,而是计算线性的频率声谱向量并将它们映射到一个对于编码语音最佳的基向量集 中。将功率声谱图映射到这个特征空间有助于强调重要的频率和减少数据的维度。

连接来自于训练集中34个不同讲话者的10分钟语音,并计算STFT 的幅度平方2f X ,采用一个大小为20ms 的并且一半重叠,获得了一个257维的光谱特征。然后使用NMF 迭代更新计算出一个更底维的基,公式为(11),而公式: f f f Y U X ≈2

, (12)

中给出了我们特征基矩阵f U 。稀疏参数λ在这个计算中被设置为0,因为当使用NMF 降低数据维度时没有稀疏性的要求。为了将功率光谱图2X 映射到特征空间,我们采用公式12来计算Y,并: Y U X f ≈2 。 (13)

从特征空间映射回功率谱图,可以简单地由预叠加特征矩阵和f U 完成。

如图2所示,特征基f U 用于一个32维的分解。当这个基在一个对数频率轴

上绘制时似乎有恒定中心频率带宽比,虽然在中央频率范围内它稍微高的分辨率。用NMF 计算的32 维特征空间的基U 。为了使其形象化,基向量已根据中央频率被自动分类了。

图2 用NMF 计算的32维特征空间的基f U

4.2语音分离

假设特征空间代表Y ,有个两个讲话者的矩阵,我们现在考虑如何实现分离。目前我们假设讲话者是已知的,在下面我们将会讨论如何判断他们的身份。

第一步先为每个讲话者计算一个过完整基。我们连接来自每个讲话者的2.5

分钟训练语音并将它映射到特征空间。然后采用公式(11)计算过完整稀疏NMF 分解 :

train n train n train

n V

U Y ≈, (14) 根据经验选择λ=0.5.这样就有了一个对于每个讲话者的基矩阵train n U ,例子

在图3

中展示。为了形象化,基向量都排列成最大化相邻关联。

图3 两次过完整基,(a)为男性,(b )为女性

用公式11将矩阵的特征空间代表映射到讲话者的联合基中来计算V1和V2,

[]

??????≈2121,V V U U Y train train , (15)

最后,特征空间中的每个讲话者的评估为:

n train

n n V

U Y = , (16) 通过监听分离的语音波形,根据经验选择基向量的数目.采用在2到16倍过完备的基进行试验,发现从感知上看结果变化不大。

在图4中用图表示出了分解方法,不过只是在三维空间中,因为32维向量很难绘制。这两个点集代表了用于计算稀疏过完备基的训练数据,这个稀疏过完备基由两个射线集合表示。如前所述,由于稀疏限制,基向量将位于内部或者靠近训练数据集,另一方面,训练数据会位于基向量张成的凸锥的内部。来自两个讲话者的语音混合物的一个特征向量,△,位于两个讲话者的子空间外部,但可

以描述为来自各个子空间(□和◇)的一个向量的和,稀疏NMF 方法通过将一个混合的特征向量映射到声源的联合子空间,继而计算落于各自子空间的部分来分离混合物。

图4采用稀疏编码的信号分离图示 分离算法的输出是特征空间Yn 中分离的语音的估计,这个特征空间可以映射回功率声谱图代表,n f n Y U X 2~,现在剩下的就是计算分离的语音声波。

4.3 讲话者识别

目前这个语音分离架构的一个重要部分就是有效地评估混合物中的讲话者的识别,不过在这里只是提出一种类似于Kristjanssson 等人的方法。在这个方法和讲话者识别的oracle 知识的基础上提出这个结果。

为了评估混合物中的讲话者,假设在一个混合句子中各个讲话的声音在一小段时间内是隔离的。将混合物映射到34位讲话者的各自的过完备基中,并计算每个时间帧内的总误差(广义KL 散度)。由于不存在一个讲话者的模式和两个讲话者的混合物有着很好的匹配,所以除了一个时间帧中只有一个讲话者的情况外,误差通常都相对比较高。为每个讲话者计算了10次最小误差的平均值,来获得这个模式最佳匹配时的一个匹配度测量方法。

在语音分离竞赛测试集中,这个简单方法表明两个讲话者中至少有一个有98%的成功,当两个讲话者的性别相同时,这个方法能发现具有此性别的两个讲话者,然而,当一个混合物中有一个男性和一个女性讲话者时,这个方法通常错误地认为这两个讲话者是同性。

由此考虑,采用更先进的方法,有可能使得评估在挑战测试集中的讲话者的识别近乎完美,例如,采用组合搜索(Schmidt and Olssson,Kristjansson)。如果采用更粗略,更少运算量的方法,讲话者识别算法是否会显著差于语音分离算法的性能呢?

4.4 重过滤

在此提出一个简单的基于时变Wiener过滤器的补偿时延的方法。为每个时间帧设计一个因果线性相位FIR过滤器来匹配要求的频率响应。通过用重叠和相加过滤信号来避免循环卷积。为了消除音乐声影,将过滤系数放平滑。然而,消除音乐噪声仍然允许更多的相互干扰的讲话者的声音保留在结果信号中。平滑时变过滤器是一个为剩余的噪声交换工艺的有效方法。

当使用这个技术重过滤时,分离语音信号结果没有可听见的伪影,相互干扰的讲话者的声音有明显的衰减。在图5中展示了一个包括重过滤的语音分离方法的例子。其中,(a)左边为一男性讲话者说单词:soon。右边为一女性讲话者说单词:please。(b)为两个讲话者的混合。(c)为两个讲话者的评估声谱图。(d)为平滑时变Winer过滤器后的结果声谱图。

图5 语音分离方法的例子。

4.5语音识别

我们在如第一节中提到的语音分离竞赛数据集上采用由这个竞赛的组织者提供的相关HTK语音识别系统评估这个语音分离方法。结果在图6和图7中展示。

s

图6 两个讲话者问题在不同情形下的单词识别率

当讲话者身份预先已知,稀疏NMF将会显著提高除了相同讲话者情况的识别率。当使用讲话者识别方法,识别率仅仅在低TMR方面有着小小的提高,但和baseline(没有语音分离)相比更糟。

4.6讨论

可以说,正确的讲话者识别对于讲话者依赖的语音分离方法的性能至关重要。使用讲话者身份这一知识和使用有缺陷的讲话者识别方法获得的识别率有着非常大的区别。

NMF综述报告

人脸识别的非负矩阵分解(NMF)方法文献综述 摘要:人类对整体的感知是基于对部分的感知,NMF(非负矩阵分解,Non-negative matrix factorization)的思想正是源于此。通过对矩阵分解因子加入了非负性约束,使得对高维非负原始数据矩阵的分解结果不存在负值,且具有一定的稀疏性,因而得到了相对低维、纯加性、拥有一定稀疏特性的分解结果。与PCA(主成分分析,principal components analysis)等传统人脸识别方法相比,NMF的基图像就是人脸的各个局部特征,并且通过对经典算法的一系列优化,改进的NMF算法的识别率和鲁棒性较传统方法有着显著优势。此外,NMF在机器学习、语义理解等领域也有着重要应用。 关键词:非负矩阵分解(NMF)稀疏性改进的NMF 语义理解 一、引言 在实际中的许多数据都具有非负性,而现实中对数据的处理又要求数据的低秩性经典的数据处理方法一般不能够确保非负性的要求,如何找到一个非负的低秩矩阵来近似原数据矩阵成为一个关键问题。在这样的背景下,NMF方法应运而生。 NMF方法思想最早可以追溯到由Paatero和Tapper在1994年提出的正矩阵分解(Positive Matrix Factorization,PMF)[1];此后1999年,Lee和Seung提出了一个以广义KL散度为优化目标函数的基本NMF模型算法,并将其应用于人脸图像表示[2];2001年,Lee和Seung通过对基本NMF算法进行深入研究,又提出了两个经典的NMF算法,即基于欧氏距离测度的乘性迭代算法和基于广义KL散度的乘性迭代算法,并给出了收敛性证明[3],这两种算法称为NMF方法的基准算法,广泛应用于各个领域。 但是在实际应用中,由于经典的基准NMF算法存在收敛速度较慢,未利用统计特征,对光线、遮挡等敏感,以及无法进行增量学习等问题,各种改进的NMF算法被提出。其中包括Lin提出的基于投影梯度(Projected Gradient,PG)的NMF方法[3],该方法有着很高的分解精度;Berry提出的基于投影非负最小二乘(Projected Non-negative Least Square,PNLS)的NMF方法[5],通过这种方法得到的基矩阵的稀疏性、正交性叫基准NMF方法都更好;此外还有牛顿类方法[6]和基于有效集[7]的NMF方法等。 二、NMF的基准算法 1.NMF模型 给定一个非负矩阵(即),和一个正整数,求未知非负矩阵和,使得 用表示逼近误差矩阵。可以用下图表示该过程:

非负矩阵分解算法概述之Lee&Seung的世界

非负矩阵分解算法概述 (吴有光) NOTE:本文为科普文章,尽量做到通俗而不严格,比较适合理论小白补补NMF历史 第一部分Lee&Seung的世界 1 引言 现实生活中的数据,我们总是希望有个稀疏表达,这是从压缩或数据存储的角度希望达到的效果。从另一方面来讲,我们面对大量数据的时候,总是幻想能够发现其中的“规律”,那么在表示或处理的时候,直接操作这些提纲挈领的“规律”,会有效得多。这个事情,让很多的科学家都伤透脑筋,不过也因此有了饭碗。 1.1第一个例子 我们先来看一个简单的例子。在人文、管理或社会学里,实证研究方法是常用的方法。比如我们来考察大学生就业过程,对学生的选择工作类别的动机,我们常说“想吃劳保饭的同学铁了心要考公务员,喜欢轻松自由氛围的同学更趋向于外企,只想稳定的同学认为国企最好,富二代神马的最爱创业然后继承家产了”,这句话如果要严格来论证是不可能的,那么我们转而寻求“调查论证”,即通过设计问卷(问卷上设计了可能影响学生选择的因素,比如家庭情况、学业情况、性格取向、对大城市或家乡的热恋程度、以及人生观价值观等等各种我们可能会影响就业取向的因素)各种我们猜测会影响学生。 问卷上来后,我们通过统计得到如下的列表。 图1 第一个例子的统计表示例 表中的各个因素我们进行了量化,比如性格因素从完全内向到热情奔放分为5个等级(可以用一些问题来直接或间接获得这个等级)。那么剩下的问题就是回答开始的问题:

(1)是不是我们设计的每个因素都有效?(显然不是,之所以设计问卷就是要来解决这个问题的) (2)是什么因素影响了学生的最终选择?或者说,从统计上来看,每个因素占多大比重? 这时,用矩阵来表示可写为,其中就表示那个因素矩阵,表示最终取向,代 表我们要求的系数。我们把要求的用代替,写成矩阵形式为: (1) 更进一步,如果我们不仅调查学生的去向,还想同时调查很多事情,那么就会有 ,这样上面的式子改写为: (2) 此时问题转化为: Q1:已知,如何求解,使之满足上面的等式,其中具有初始值(就是我们设计的 一堆东西)。 如果我们让固定,这就是一个方程求解的过程。然而,当我们认为也可以缩减,即认为很少样本就足够表示我们真实取得的样本,那么问题进一步转化为:Q2:如何同时求解和,使之满足。 或者我们也可以只对因素矩阵进行分解,即直接对其进行消减: (3) 其中,为消减后因素矩阵,为在基底下的表示系数,这里要求列数要大大低于的列数,否则就没有实际意义。 上面这个过程,就类似Paatero&T apper于1994年提出的实矩阵分解(Positive Matrix Factorization, PMF)模型,此模型后来被Lee&Seung提出的非负矩阵分解(Nonnegative Matrix Factorization, NMF/NNMF)模型所取代。 1.2 第二个例子 第一个例子为了给非数学、非信号处理的同学一个印象,写的罗里吧嗦,那第二个例子我们就简单写。 给定一组信号,如何找到对其进行稀疏表示?即如何找到满足的和,因为,这里要求且。 这个问题对信号处理的同学来说,太熟悉了。因为我们毕生的精力都在干这件事情。 如果去掉的非负限制,是有很多现成且高效的方法的,比如主成分分析(Principle Component Analysis,PCA)、独立成分分析(Independent Component Analysis,ICA)、因子分析(Factor Analysis,FA)等。然而,施加了非负限制后,这些方法就不适用了。而为什么要施加非负限制,回想第一个例子就明白了,我们最终找的是“影响因子”,因子会有负的么? 于是,非负矩阵分解就出世了, 1.3 非负矩阵分解 非负矩阵分解(Non-negative Matrix Factorization,NMF)从1999年正式提出【1】至今,

基于约束非负矩阵分解的图像表示

对于图像的约束非负矩阵分解 摘要:非负矩阵分解(NMF)对于寻找非负数据的块基础和线性表示是一个常用的方法。它已经广泛的应用于各种应用,比如模式识别,信息检索,计算机视觉。但是,NMF本质上是一个非监督方法,不能利用标签信息。在本文中,我们提出一种新的半监督矩阵分解方法,叫约束非负矩阵分解(CNMF),将标签作为附加约束合并进来。特别地,本文显示出结合标签信息能非常简洁地提高矩阵分解的识别能力。我们利用两个函数公式和提供的相应优化问题的更新解决方法来研究所提出的CNMF方法。通过实际数据的评估,我们所提出的方法和最先进的方法相比更有效。 索引词:非负矩阵分解,半监督学习,降维,聚类

1.简介 许多数据分析中一个基础的问题就是寻找一个合适的表示数据[1],[2],[3],[4],[5],[6],[7],[8]。可以应用一个非常有效的方法表示数据之间的潜在结构。矩阵分解技术作为这类数据表示的基础工具已经得到越来越多的注意。运用不同的标准已经得到了大量不同的方法。最流行的技术包括主成分分析(PCA)[9],奇异值分解(SVD)[10],和向量量化[11]。矩阵分解的中心是找到两个或者更多的因子产生原始数据的一个好的逼近。在实际应用中,分解之后的矩阵维数通常远远小于原始数据的维数。这就引起了数据的压缩表示,促进了其他研究比如聚类和分类。 在矩阵分解方法中,非负矩阵分解(NMF)有一个限制即所有的矩阵因子都必须是非负的,即所有的因子必须大于等于零。这个非负性约束使NMF从感觉上只能对原始数据进行加操作不能减。因此,对于图像处理,人脸识别[2][12],文件聚类[13][14]是一个理想的降维方法,它们就是由部分组成整体的。 NMF是一个非监督学习方法。NMF不能应用于许多实际的问题当专家认为是可行的有限知识中。但是许多机器语言的研究发现未标签的数据当与一些少量的标签数据相结合时在研究精确度上会产生相当大的提高[15][16][17]。全标签训练集的处理过程可能会很昂贵,然而少量的标签数据的获得相对便宜。在这种情况下,半监督学习方法就有很大的实用价值。因此,用半监督学习方法研究NMF 很有意义。 最近,蔡登等人提出了一种图表正则化NMF(GNMF)方法来编码数据空间的几何信息。GNMF构建一个最近邻图表模拟多种结构。当标签信息可行时,它自然地应用到图表结构中。特别地,如果两个数据点使用同一个标签,大的权重会被分配到边缘连接它们。如果两个数据点使用不同的标签,相应的权重都是0。这就引起了半监督GNMF。这个方法的最大缺点是相同类别的数据点将会一起映射到一个新的表示空间,而且怎样有原则的选取权重并不清晰,这一观点没有理论保证。 本文中,我们提出一种新的矩阵分解方法,叫约束非负矩阵分解(CNMF),将标签信息作为附加的约束。我们算法的中心是相同类别的数据可以在一个新的表示空间中合并。这样,已经获得的部分表示就有和原始数据一致的标签,因此就有多的识别能力。我们方法的另一个优点是参数自由,避免了参数调试来获得更好的结果。这就使我们的算法更容易方便的应用于真实世界应用中。我们还讨论了怎样高效的解决相应的最优化问题。给出最优化收敛性证明。本文贡献如下:1.标准NMF是一个非监督学习算法不需要结合标签信息。本文中,我们将它扩展为半监督学习算法。此外,我们将标签信息作为约束;这样一来,有相同标签

基于矩阵分解的卡尔曼滤波技术分析及应用

基于矩阵分解的卡尔曼滤波技术分析及应用 【摘要】本文简要介绍了卡尔曼滤波研究的发展历程,重点对卡尔曼滤波及其在改善数值稳定性,提高计算效率等数值方面的研究与发展进行了综述,对Q-R 分解,U-D 分解,奇异值分解(SVD )等在卡尔曼滤波的应用进行了介绍。最后给出了一种基于Q-R 矩阵分解的自适应滤波方法,仿真验证了其有效性。 1 引言 1960年,美籍科学家卡尔曼(R. E. Kalman)在系统状态空间模型的基础上提出了著名的线性卡尔曼滤波器,它在线性的前提假设下是一个线性无偏、最小方差估计器,从而可以为线性滤波问题提供精确解析解。自该技术被提出以来,它已成为控制、信号处理与通信等领域最基本最重要的计算方法和工具之一,并已成功地应用到航空、航天、电力系统及社会经济等不同领域。随着微型计算机的普及应用,对卡尔曼滤波的数值稳定性、计算效率、实用性和有效性的要求越来越高.为此,人们在如何改善卡尔曼滤波的计算复杂性和数值稳定性方面作了大量的探索工作,各种基于平方根滤波与平滑,U-D 分解滤波与平滑,奇异值分解滤波与平滑,状态与偏差分离滤波以及并行与分散滤波等方法得到不断发展.本文给出了矩阵分解的一些基础知识,并着重从卡尔曼滤波数值计算方法入手,对现有的常规卡尔曼滤波、基于矩阵的因式分解滤波的数值计算方法进行了较系统的介绍和分析,并在第四章给出了一种基于Q-R 矩阵分解的自适应滤波算法。 2 常规卡尔曼滤波 2.1 协方差卡尔曼滤波 考虑如下线性离散系统 k k k k k w x A x Γ+=+1 (2.1.1) k k k k v x C z += (2.1.2) 式中n k R x ∈是状态向量,m k R z ∈是量测向量,p k R w ∈是系统噪声向量,m k R v ∈是量测噪声向量.假设系统噪声和量测噪声是互不相关的零均值高斯白噪声,方差阵分别为k Q ,k R ,则协方差卡尔曼滤波方程为: 111|??---=k k k k x A x (2.1.3) T k k k k T k k k k Q A P A P 1111111|-------ΓΓ+= (2.1.4)

矩阵分解在优化方法中的应用

矩阵分解以及矩阵范数在数值计算中的应用 张先垒 (自动化与电气工程学院 控制科学与工程 2012210186) 【摘要】矩阵的分解是将一个矩阵分解为较为简单的或具有某种特性的若干矩阵的和或 者乘积,这是矩阵理论及其应用中比较常见的方法。由于矩阵的这些特殊的分解形式,一方面反映了矩阵的某些数值特性,如矩阵的秩、特征值、奇异值等;另一方面矩阵的分解方法与过程往往为某些有效的数值计算方法和理论分析提供了重要的依据,它是应用于解最优化问题、特征值问题、最小二乘方问题的主要数学工具。 关键词 : 矩阵分解 对角化 逆矩阵 范数 条件数 1. 引言 矩阵分解在工程中的应用主要是在解线性方程组中,而这主要就是关系到储存和计算时间的问题上面,如何实现最小的储存和最少的计算时间是在工程计算中的头等问题。在这方年就牵涉到很多对矩阵进行怎样的分解,这篇文章介绍了基本的关于三角分解相关的内容以及关于界的稳定性的考虑。 2. 矩阵的三角分解求解线性方程组 数值求解线性方程组的方法中有一个主要是直接法,假设计算中没有舍入误差,经过有限次算术运算能够给出问题的精确解的数值方法。其中高斯消去法就是利用矩阵的分解实现的。矩阵论一种有效而且应用广泛的分解法就是三角分解法,将一个矩阵分解为一个酉矩阵(或正交矩阵)与一个三角矩阵的乘积或者三角矩阵与三角矩阵的乘积。(见课本P93例4.3)考虑一般的线性方程组,设其中的系数矩阵A 是可逆的, 1111 n m mn a a A a a ?? ? = ? ??? (1-1) 设矩阵A 的第一列中至少有一个是非零元素(否则A 就是奇异矩阵)不妨设为1i a 若一 般的记初等矩阵 [1] 如1-2式及矩阵论课本上的Givens 矩阵。

非负矩阵分解算法概述之Lee

非负矩阵分解算法概述 (吴有光 NOTE :本文为科普文章,尽量做到通俗而不严格,比较适合理论小白补补 NMF 历史第一部分 Lee&Seung的世界 1 引言 现实生活中的数据,我们总是希望有个稀疏表达,这是从压缩或数据存储的角度希望达到的效果。从另一方面来讲, 我们面对大量数据的时候, 总是幻想能够发现其中的“规律” , 那么在表示或处理的时候,直接操作这些提纲挈领的“规律” ,会有效得多。这个事情,让很多的科学家都伤透脑筋,不过也因此有了饭碗。 1.1第一个例子 我们先来看一个简单的例子。在人文、管理或社会学里,实证研究方法是常用的方法。比如我们来考察大学生就业过程, 对学生的选择工作类别的动机, 我们常说“ 想吃劳保饭的同学铁了心要考公务员, 喜欢轻松自由氛围的同学更趋向于外企, 只想稳定的同学认为国企最好,富二代神马的最爱创业然后继承家产了” ,这句话如果要严格来论证是不可能的,那么我们转而寻求“调查论证” ,即通过设计问卷(问卷上设计了可能影响学生选择的因素, 比如家庭情况、学业情况、性格取向、对大城市或家乡的热恋程度、以及人生观价值观等等各种我们可能会影响就业取向的因素各种我们猜测会影响学生。 问卷上来后,我们通过统计得到如下的列表。 图 1 第一个例子的统计表示例 表中的各个因素我们进行了量化,比如性格因素从完全内向到热情奔放分为 5 个等级 (可以用一些问题来直接或间接获得这个等级。那么剩下的问题就是回答开始的问题:

(1是不是我们设计的每个因素都有效?(显然不是,之所以设计问卷就是要来解决这个问题的 (2是什么因素影响了学生的最终选择?或者说,从统计上来看,每个因素占多大比重? 这时, 用矩阵来表示可写为 , 其中就表示那个因素矩阵, 表示最终取向, 代表我们要求的系数。我们把要求的用代替,写成矩阵形式为: (1 更进一步,如果我们不仅调查学生的去向,还想同时调查很多事情,那么就会有 ,这样上面的式子改写为: (2 此时问题转化为: Q1:已知 ,如何求解

超分辨率算法综述

图像超分辨率算法综述 摘要:介绍了图像超分辨率算法的概念和来源,通过回顾插值、重建和学习这3个层面的超分辨率算法,对图像超分辨率的方法进行了分类对比,着重讨论了各算法在还原质量、通用能力等方面所存在的问题,并对未来超分辨率技术的发展作了一些展望。 关键词:图像超分辨率;插值;重建;学习; Abstract:This paper introduced the conception and origin of image super resolu- tion technology. By reviewing these three kinds of methods(interpolation,reconstruct, study), it contrasted and classified the methods of image super-resolution,and at last, some perspectives of super-resolution are given. Key words: image super-resolution;interpolation;reconstruct;study;

1 引言 1.1 超分辨率的概念 图像超分辨率率(super resolution,SR)是指由一幅低分辨率图像(low resolution,LR)或图像序列恢复出高分辨率图像(high resolution, HR)。HR意味着图像具有高像素密度,可以提供更多的细节,这些细节往往在应用中起到关键作用。要获得高分辨率图像,最直接的办法是采用高分辨率图像传感器,但由于传感器和光学器件制造工艺和成本的限制[1],在很多场合和大规模部署中很难实现。因此,利用现有的设备,通过超分辨率技术获取HR图像(参见图1)具有重要的现实意义。 图1 图像超分辨率示意图 图像超分辨率技术分为超分辨率复原和超分辨率重建,许多文献中没有严格地区分这两个概念,甚至有许多文献中把超分辨率图像重建和超分辨率图像复原的概念等同起来,严格意义上讲二者是有本质区别的,超分辨率图像重建和超分辨率图像复原有一个共同点,就是把在获取图像时丢失或降低的高频信息恢复出来。然而它们丢失高频信息的原因不同,超分辨率复原在光学中是恢复出超过衍射级截止频率以外的信息,而超分辨率重建方法是在工程应用中试图恢复由混叠产生的高频成分。几何处理、图像增强、图像复原都是从图像到图像的处理,即输入的原始数据是图像,处理后输出的也是图像,而重建处理则是从数据到图像的处理。也就是说输入的是某种数据,而处理结果得到的是图像。但两者的目的是一致的,都是由低分辨率图像经过处理得到高分辨率图像。另外有些文献中对超分辨率的概念下定义的范围比较窄,只是指基于同一场景的图像序列和视频序列的超分辨处理,实际上,多幅图像的超分辨率大多数都是以单幅图像的超分辨率为基础的。在图像获取过程中有很多因素会导致图像质量下降,如传感器的形

线性规划问题的算法综述

线性规划问题的算法综述 本文从网络收集而来,上传到平台为了帮到更多的人,如果您需要使用本文档,请点击下载按钮下载本文档(有偿下载),另外祝您生活愉快,工作顺利,万事如意! 线性规划概念是在1947年的军事行动计划有关实践中产生的,而相关问题1823年Forier和口1911年PQusi就已经提出过,发展至今已有将近100年的历史了。现在已成为生产制造、市场营销、银行贷款、股票行情、出租车费、统筹运输、电话资费、电脑上网等等热点现实问题决策的依据。线性规划就是在满足线性约束下,求线性函数的极值。 毋庸置疑,数学规划领域的重大突破总是始于线形规划。提到线性规划算法,人们最先想到的是单纯形法和内点法。单纯形法是实际应用中使用最普遍的一种线性规划算法,而研究者们已证明在最坏的情况下单纯形法的计算复杂度是指数级的,内点算法的计算复杂度是多项式时间的。把两种算法相提并论,要么是这两种算法都已经非常完备,要么都有需改进之处。显然不属于前者,即两者都有需要改进之处。几十年来,研究者通过不断努力,在两种算法的计算上都取得相当的进展。 1数学模型

线性规划问题通常表示成如下两种形式:标准型、规范型。 设jj(2…,n)是待确定的非负的决策变量;认2…,n)是与决策变量相对应的价格系数;K2…mj=l2…n)是技术系数;b(i12…,m)是右端项系数; 线性规划是运筹学最基本、运用最广泛的分支,是其他运筹学问题研究的基础。在20世纪50年代到60年代期间,运筹学领域出现许多新的分支:非线性规划(nonlinearprogranming、商业应用(crnxmereialpplieation、大尺度方法(laresealemeh-Qd)随机规划(stochasticPKgiamniig)、整数规划(ntegerprogramming)、互补转轴理论(amplmentaiyPivotheor)多项式时间算法(polynomialtjneagatm)等。20世纪70年代末,上述分支领域都得到了极大发展,但是却都不完善。而且数学规划领域中存在许多Nfkhard问题,如TP问题,整数规划问题等。这些问题的基本模型都可以写成线性规划形式,因此通过对线性规划算法的进一步研究,可以进一步启发及推动数学规划领域内其他分支的发展。 2边界点算法 由于单纯形法与基线算法都是在可行集的边界上

矩阵分解及其简单应用

矩阵分解是指将一个矩阵表示为结构简单或具有特殊性质若干矩阵之积或之和,大体分为三角分解、分解、满秩分解和奇异值分解.矩阵地分解是很重要地一部分内容,在线性代数中时常用来解决各种复杂地问题,在各个不同地专业领域也有重要地作用.秩亏网平差是测量数据处理中地一个难点,不仅表现在原理方面,更表现在计算方面,而应用矩阵分解来得到未知数地估计数大大简化了求解过程和难度. 矩阵地三角分解 如果方阵可表示为一个下三角矩阵和一个上三角矩阵之积,即,则称可作三角分解.矩阵三角分解是以消去法为根据导出地,因此矩阵可以进行三角分解地条件也与之相同,即矩阵地前个顺序主子式都不为,即.所以在对矩阵进行三角分解地着手地第一步应该是判断是否满足这个前提条件,否则怎么分解都没有意义.矩阵地三角分解不是唯一地,但是在一定地前提下,地分解可以是唯一地,其中是对角矩阵.矩阵还有其他不同地三角分解,比如分解和分解,它们用待定系数法来解求地三角分解,当矩阵阶数较大地时候有其各自地优点,使算法更加简单方便.资料个人收集整理,勿做商业用途 矩阵地三角分解可以用来解线性方程组.由于,所以可以变换成,即有如下方程组:资料个人收集整理,勿做商业用途 先由依次递推求得,,……,,再由方程依次递推求得,,……,. 资料个人收集整理,勿做商业用途 必须指出地是,当可逆矩阵不满足时,应该用置换矩阵左乘以便使地个顺序主子式全不为零,此时有:资料个人收集整理,勿做商业用途 这样,应用矩阵地三角分解,线性方程组地解求就可以简单很多了. 矩阵地分解 矩阵地分解是指,如果实非奇异矩阵可以表示为,其中为正交矩阵,为实非奇异上三角矩阵.分解地实际算法各种各样,有正交方法、方法和方法,而且各有优点和不足.资料个人收集整理,勿做商业用途 .正交方法地分解 正交方法解求分解原理很简单,容易理解.步骤主要有:)把写成个列向量(,,……,),并进行正交化得(,,……,);) 单位化,并令(,,……,),(,,……,),其中;). 这种方法来进行分解,过程相对较为复杂,尤其是计算量大,尤其是阶数逐渐变大时,就显得更加不方便.资料个人收集整理,勿做商业用途 .方法地分解 方法求分解是利用旋转初等矩阵,即矩阵()来得到地,()是正交矩阵,并且(()).()地第行第列 和第行第列为,第行第列和第行第列分别为和,其他地都为.任何阶实非奇异矩阵可通过左连乘()矩阵(乘积为)化为上三角矩阵,另,就有.该方法最主要地是在把矩阵化为列向量地基础上找出和,然后由此把矩阵地一步步向上三角矩阵靠近.方法相对正交方法明显地原理要复杂得多,但是却计算量小得多,矩阵()固有地性质很特别可以使其在很多方面地应用更加灵活.资料个人收集整理,勿做商业用途 .方法地分解 方法分解矩阵是利用反射矩阵,即矩阵,其中是单位列向量,是正交矩阵,.可以证明,两个矩阵地乘积就是矩阵,并且任何实非奇异矩阵可通过连乘矩阵(乘积为)化为上三角矩阵,则.这种方法首要地就是寻找合适地单位列向量去构成矩阵,

文献综述部分参考写法

非负矩阵分解文献综述 一、国内外研究现状 近年来,技术传感器技术和计算机硬件的发展导致数据量的增加,许多经典数据分析工具被迅速压倒.因为信息采集设备只有有限的带宽,收集到的数据并不经常准确.其次,在很多情况下,从复杂现象观察到的数据,其往往代表几个相互关联的变量共同作用的综合结果.当这些变量更少的精确定义时,在原始数据中包含的实际信息往往是重叠的、模糊的.为了处理这些海量数据,科学家产生了新的关注. 1999年,在刊物Nature上,Daniel Lee 和Sebastian Seung开始的一系列新的NMF的研究,数以百计的论文引用Lee 和Seung的论文,但一些较不为人知的事实是,在Lee 和Seung 的论文发表之前,Pentti Paatero开始了相关的工作. 虽然Lee和Seung引用Paatero的论文,Lee和Seung将Paatero的工作称为正矩阵分解,然而,Paatero的工作很少被后来的作者所引用.这是因为Paatero 将其工作称为正矩阵分解,这是误导Paatero创建NMF算法。实际上Paatero年前发表了他最初的分解算法[1]. 2005年,Lin为了加速Lee和Seung的NMF迭代算法的收敛速度,最近提出使用投影梯度有约束的优化方法[2],该方法与标准的(乘法更新规则)的方法相比,计算似乎有更好的收敛性.使用某些辅助约束,可以降低分解有约束的优化假设,降低投影梯度方法的局限性. 2007年,V.Blondel等对标准NMF算法进行了加权改进,提出了加权NMF方法[3]。通过加权,更好的表述了数据中的重要区域.其加权方法是:首先,定义数据中的重要区域,然后,在优化过程中,如果在该重要区域中重建错误,就给他分配更多的权重. 国内对NMF的研究相对开始的较晚.2001 年,原微软中国研究院的李子青博士、张宏江博士等人发现Lee和Seung提出的经典NMF算法在人脸图像未得到配准的情况下,不能学习得到人脸的部件.并提出了局部非负矩阵分解来解决这个问题[4].Chen 等人将LNMF算法应用于人脸检测并取得了较好的效果.现为中科院自动化所生物识别与安全技术研究中心主任的李子青带领他的团队,于2009 年,提出了基于吉布斯随机场的 NMF 算法[4],该算法的收敛速度较快,并且得到的分解结果具有较好的稀疏性和可解释性.清华大学信息科学与技术国家实验室的章毓晋教授、李乐博士对非负矩阵分解的研究做了大量的工作,对 NMF 算法的研究现状进行了综述,对已有的NMF算法进行了很好的分类,指出各个NMF算法的缺点,并提出了改进的算.针对NMF的先天缺陷,即数据描述能不强、推广性差,提出了非负矩阵集分解的概念和相应的算法[4]. 浙江大学计算机学院的蔡登教授等人针对流形数据提出了图正则非负矩阵分

矩阵分解及其应用

《线性代数与矩阵分析》课程小论文 矩阵分解及其应用 学生姓名:****** 专业:******* 学号:******* 指导教师:******** 2015年12月

Little Paper about the Course of "Linear Algebra and Matrix Analysis" Matrix Decomposition and its Application Candidate:****** Major:********* StudentID:****** Supervisor:****** 12,2015

中文摘要 将特定类型的矩阵拆解为几个矩阵的乘机称为矩阵的分解。本文主要介绍几种矩阵的分解方法,它们分别是矩阵的等价分解、三角分解、谱分解、奇异值分解和 Fitting 分解等。矩阵的分解理论和方法是矩阵分析中重要的部分,在求解矩阵的特征值、解线性方程组以及实际工程中有着广泛的运用。因此,本文将介绍矩阵等价分解、三角分解、奇异值分解的理论运用以及三角分解的工程运用。 关键词:等价分解,三角分解,奇异值分解,运用

Abstract Many particular types of matrix are split into the product of a matrix of several matrices, which is called decomposition of matrix. In this paper, we introduce some methods of matrix decomposition, which are equivalent decomposition, triangular decomposition, spectral decomposition, singular value decomposition, Fitting decomposition and so on. The decomposition theory and method of matrix is an important part of matrix analysis, which is widely used in solving the characteristic value, solving linear equations and the practical engineering. In this paper, we will introduce the theory of matrix equivalence decomposition, triangular decomposition, singular value decomposition and the engineering application of triangular decomposition. Key words:Equivalent Decomposition, Triangular Decomposition, Singular Value Decomposition, Application

第四章 矩阵分解

矩阵分析
第四章 矩阵分解
§4.1: 矩阵的满秩分解 §4.2: 矩阵的正交三角分解 §4.3: 矩阵的奇异值分解 §4.4: 矩阵的极分解 §4.5: 矩阵的谱分解
矩阵分解前言
矩阵分解定义: 将一个已知矩阵表示为另一些较为简单或 较为熟悉的矩阵的积(或和)的过程称为矩阵分解. 例:(1)对任意n阶正规矩阵A,存在酉阵U∈Un×n使 A=Udiag(λ1,…,λn)U*, 其中λ1,…,λn为A的所有特征值的任一排列. (2)对任意n阶正定矩阵A,存在可逆阵Q∈Cnn×n使A=Q*Q,或存 在唯一正定阵B使A=BB. 矩阵分解意义:有利于研究已知的矩阵. 例如,利用正定阵A的平方根B为正定阵可证: 对任意Hermite阵H,AH或HA都有实特征值.
1
( AH~(A1/2)-1AHA1/2=A1/2HA1/2∈Hn×n )
2
初等变换与初等矩阵(p73)
三类初等变换: (行(列)变换←→左(右)乘) (1)将矩阵A的两行互换等价于用第一类初等矩阵P(i,j)左 乘A; (2)将矩阵A的第i行乘以k≠0等价于用第二类初等矩阵 P(i(k))=diag(1,…,1,k,1,…,1)左乘A. (3)将矩阵A的第j行乘以k≠0后再加到第i行等价于左乘第 三类初等矩阵P(i,j(k)).
P (i , j ) =
?1 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 1 0 1 1 1 0 1 1
初等变换与初等矩阵举例
?1 ?? 1 4 7 ? ? 1 4 7 ? ? 0 1 ?? 2 5 8 ? = ? 3 6 9 ? ; ? ?? ? ? ? ? 1 0 ?? 3 6 9 ? ? 2 5 8 ? ? ?? ? ? ? ?1 4 7??1 ? ? 1 7 4? ? 2 5 8?? 0 1? = ? 2 8 5? ? ?? ? ? ? ? 3 6 9?? 1 0? ? 3 9 6? ? ?? ? ? ?
?1 ??1 4 7? ? 1 4 7 ? ? ?? ? ? ? 0.2 ? ? 2 5 8 ? = ? 0.4 1 1.6 ? ; ? ? 1?? 3 6 9 ? ? 3 6 9 ? ? ?? ? ? ?
?1 4 7??1 ? ? 1 4 7 / 9? ? ?? ? ? ? ? 2 5 8?? 1 ? = ? 2 5 8/9? ? 3 6 9?? 1/ 9 ? ? 3 6 1 ? ? ?? ? ? ?
---- i ---- j
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 1?
P (i , j ( k )) =
?1 ? ? ? ? ? ? ? ? ? ?
1
k 1
? ? ? ? ---? ? ? ---? ? ? 1?
i j
3
?1 ?? 1 2 3? ? 1 2 3 ? ? ?? ? ? ? ? ?4 1 ? ? 4 5 6 ? = ? 0 ?3 ?6 ? ; ? 1?? 7 8 9? ? 7 8 9 ? ? ?? ? ? ?
?3 ? ? 1 2 0 ? ? 1 2 3??1 ? ?? ? ? ? ? 4 5 6?? 1 ? = ? 4 5 ?6 ? ?7 8 9?? 1 ? ? 7 8 ?12 ? ? ?? ? ? ?
4
初等变换与初等矩阵的性质
3类初等矩阵都是可逆的(行列式不为0). 将A依次作初等矩阵P1,…,Pr对应的行(列)初等变换等价 于左(右)乘A以可逆矩阵Pr…P1(P1…Pr). 可适当选第一类初等矩阵的乘积P使PA(AP)的行(列)是A 的行(列)的任意排列; 可适当选第三类初等矩阵 P(i,j(k))中的k使P(i,j(k))A的(i,j)元变为0; 可适当选第二类初等矩阵P(i(k))中的k使P(i(k))A的非 零(i,i)元变为1. 存在初等矩阵的乘积P和Q,使PAQ= ,其中r=rankA.
初等变换与初等矩阵的性质续
命题:设A∈Crm×n前r列线性无关,则用初等行变换可把A变为
? Er ? ? 0 ?1 ? ? D? ? = ? ? 0 ? ? ? ? ? ? 1 1 * * * * *? ? *? *? ? *? ? ? ? ?
一般地,?A∈Crm×n都存在m,n阶可逆阵P和Q使PAQ=
5
证:因前r列线性无关,故用第一类初等矩阵左乘可使A的 (1,1)元≠0. 再用第二类初等矩阵左乘可使a11=1; 最后用若干第三类初等矩阵左乘可使A的第一列=e1. 因前2列线性无关,故新的第2列与e1线性无关且≠0, 故用第一类行变换可使(2,2)元≠0,…可使A的第2列=e2. ….可使A的第r列=er.此时空白处必为0元.
安徽大学 章权兵
1

几种矩阵分解方法的对比

线性系统的求解是数值分析中的一个基本问题。线性系统的求解在电路分析中典型的应用就是用基尔霍夫电压定律和基尔霍夫电流定律求解电路。下面的五个方程组是对一个典型的电路系统的描述:5I1+5I2=V;I3-I4-I5=0;2I4-3I5=0;I1-I2-I3=0;5I2-7I3-2I4=0;当系统确定以后I1, I2,I3,I4,I5前面的系数就确定了。I1,I2,I3,I4,I5的具体数值将随输入电压值V5的变化而改变。求解线性系统解(也就是求解矩阵的解)常用的方法有Gaussian Elimination with Backward Substitution 法,LU Factorization法,LDL T Factorization 法和Choleski 法。其中Gaussian Elimination with Backward Substitution 法最为简单直接,它的思路就是将系数矩阵化简为一个上三角矩阵或者化简为一个下三角矩阵。但是它消耗的资源最多,以一个可描述为5*5矩阵的系统而言它需要5*5*5/3次乘法运算,即大约42次乘法运算。但系统大到100*100时这种方法的计算量非常可观。这种方法不适合处理很大的矩阵。作为Gaussian Elimination with Backward Substitution 法的改进LU Factorization(也叫LU分解法)法的思路是将系统矩阵分解成为一个上三角矩阵和一个下三角矩阵进行运算。这样的话极为方便求解迭代。假设系统为n*n的系统,那么LU分解的方法将计算量由n*n*n/3降低到2*n*n。对于一个100*100的系统LU分解法的计算量仅仅是Elimination with Backward Substitution 法的3%。尽管在决定L矩阵和U矩阵时依然需要n*n*n/3次运算但是系统一旦定下来后是不会有大的改动的,往往是外部条件改变也就是说5I1+5I2=V;I3-I4-I5=0;2I4-3I5=0;I1-I2-I3=0;5I2-7I3-2I4=0;这个系统的系数是不会经常变的,常变的只是外部条件V。LU分解法适应的范围极宽,他对系统没有特殊的要求。当描述系统的矩阵大于6*6时选用LU分解法会更为节省资源,当系统小于6*6时Elimination with Backward Substitution法效率会更高些。LDL T Factorization 法和Choleski 法和LU分解法很像似,基本思路也是将系统矩阵分解成上三角矩阵和下三角矩阵。但是这两种方法要求系统的矩阵必须是正定的,也就是说系统的任意阶行列式必需为正。这样对系统的要求就严格一些。LDL T Factorization 法需要n*n*n/6+n*n-7*n/6次乘法和n*n*n/6-n/6次加减法。Choleski 法则仅仅需要n*n*n/6+n*n/2-2*n/3次乘法和n*n*n/6-n/6次加减法。当系统较大时不失为两种很好的选择。

一种受限非负矩阵分解方法_黄钢石

第34卷第2期2004年3月  东南大学学报(自然科学版) JOURNA L OF S OUTHE AST UNIVERSITY (Natural Science Edition )   V ol 134N o 12Mar.2004 一种受限非负矩阵分解方法 黄钢石1 张亚非1 陆建江1,2,3 徐宝文2,3 (1解放军理工大学通信工程学院,南京210007) (2东南大学计算机科学与工程系,南京210096) (3江苏省软件质量研究所,南京210096) 摘要:提出一种获取潜在语义的受限非负矩阵分解方法.通过在非负矩阵分解方法的目标函数上增加3个约束条件来定义受限非负矩阵分解方法的目标函数,给出求解受限非负矩阵分解方法目标函数的迭代规则,并证明迭代规则的收敛性.与非负矩阵分解方法相比,受限非负矩阵分解方法能获取尽可能正交的潜在语义.实验表明,受限非负矩阵分解方法在信息检索上的精度优于非负矩阵分解方法. 关键词:非负矩阵分解;受限非负矩阵分解;潜在语义;信息检索中图分类号:TP18 文献标识码:A 文章编号:1001-0505(2004)022******* Constrained factorization method for non 2negative m atrix Huang G angshi 1 Zhang Y afei 1 Lu Jianjiang 1,2,3 Xu Baowen 2,3 (1Institute of C ommunication Engineering ,P LA University of Science and T echnology ,Nanjing 210007,China ) (2Department of C om puter Science and Engineering ,S outheast University ,Nanjing 210096,China ) (3Jiangsu Institute of S oftware Quality ,Nanjing 210096,China ) Abstract :A novel method ,constrained non 2negative matrix factorization ,is presented to capture the latent semantic relations.The objective function of constrained non 2negative matrix factorization is defined by im posing three additional constraints ,in addition to the non 2negativity constraint in the standard non 2negative matrix factorization.The update rules to s olve the objective function with these constraints are presented ,and its convergence is proved.In contrast to the standard non 2negative matrix factorization ,the constrained non 2negative matrix factorization can capture the semantic relations as orthog onal as possible.The experiments indicate that the constrained non 2negative matrix factorization has better precision than the standard non 2negative matrix factorization in in formation retrieval. K ey w ords :non 2negative matrix factorization ;constrained non 2negative matrix factorization ;latent semantic relations ;information retrieval 收稿日期:2003206213. 基金项目:国家自然科学基金青年科学基金资助项目(60303024)、国家973规划资助项目(G 1999032701)、国家自然科学基金资助项目 (60073012). 作者简介:黄钢石(1969— ),男,博士生,工程师,huang -gangshi @https://www.360docs.net/doc/5c11178036.html,;张亚非(联系人),男,博士,教授,博士生导师,y f zhang888@https://www.360docs.net/doc/5c11178036.html,.非负矩阵分解(non 2negative matrix factorization ,NMF )是一种新的矩阵分解方法,它将一个元素非负的矩阵分解为左右2个非负矩阵乘积[1,2].由于分解后的矩阵中仅包含非负元素,因此原矩阵中列向量可解释为对左矩阵中所有列向量(称为基向量)的加权和,而权重系数为右矩阵中对应列向量中的元素.这种基于基向量组合的表示形式具有直观的语义解释,反映了人们思维中“局部构成整体”的概念.NMF 已成功应用于多个领域[3,4],作者也已尝试将NMF 应用于从用户会话中发现典型用户文件[5,6]. NMF 算法也可以用于获取文本集中的潜在语义.由于NMF 算法得到的解是局部最优解,获取的潜在 语义之间往往存在冗余[2],为使潜在语义尽可能正交,提出一种受限的非负矩阵分解方法C NMF

相关文档
最新文档