第九章 矩阵分解

合集下载

矩阵分解及其应用

矩阵分解及其应用

《线性代数与矩阵分析》课程小论文矩阵分解及其应用学生姓名:******专业:*******学号:*******指导教师:********2015年12月Little Paper about the Course of "Linear Algebra and MatrixAnalysis"Matrix Decomposition and its ApplicationCandidate:******Major:*********StudentID:******Supervisor:******12,2015中文摘要将特定类型的矩阵拆解为几个矩阵的乘机称为矩阵的分解。

本文主要介绍几种矩阵的分解方法,它们分别是矩阵的等价分解、三角分解、谱分解、奇异值分解和 Fitting 分解等。

矩阵的分解理论和方法是矩阵分析中重要的部分,在求解矩阵的特征值、解线性方程组以及实际工程中有着广泛的运用。

因此,本文将介绍矩阵等价分解、三角分解、奇异值分解的理论运用以及三角分解的工程运用。

关键词:等价分解,三角分解,奇异值分解,运用AbstractMany particular types of matrix are split into the product of a matrix of several matrices, which is called decomposition of matrix. In this paper, we introduce some methods of matrix decomposition, which are equivalent decomposition, triangular decomposition, spectral decomposition, singular value decomposition, Fitting decomposition and so on. The decomposition theory and method of matrix is an important part of matrix analysis, which is widely used in solving the characteristic value, solving linear equations and the practical engineering. In this paper, we will introduce the theory of matrix equivalence decomposition, triangular decomposition, singular value decomposition and the engineering application of triangular decomposition.Key words:Equivalent Decomposition, Triangular Decomposition, Singular Value Decomposition, Application目录中文摘要 (1)ABSTRACT (1)1 绪论 (1)2 矩阵分解的常用方法 (1)2.1矩阵的等价分解 (1)2.2矩阵的三角分解 (2)2.2.1 矩阵的三角分解 (2)2.2.2 矩阵的正三角分解 (2)2.3矩阵的谱分解 (5)2.3.1 单纯形矩阵的谱分解 (5)2.3.2 正规矩阵与酉对角化 (6)2.3.3 正规矩阵的谱分解 (6)2.4矩阵的奇异值分解 (7)2.4.1 矩阵的奇异值分解(SVD分解) (7)2.5矩阵的FITTING分解 (7)3矩阵分解的理论应用 (8)3.1矩阵等价分解的理论应用 (8)3.2矩阵三角分解的理论应用 (8)3.3矩阵奇异值分解的理论应用 (9)4 矩阵分解在递推系统辨识中的应用 (10)4.1递推系统辨识中的困难 (10)4.1.1 病态问题 (10)4.1.2 效率和计算量问题 (10)4.2QR分解的实现方法 (11)4.2.1 GIVENS变换 (13)4.3递推算法 (13)5 结论 (18)6 参考文献 (18)1 绪论矩阵的分解是将一个矩阵分解为较为简单的或具有某种特性的若干矩阵的乘积,这是矩阵理论及其应用中比较常见的方法。

矩阵的分解

矩阵的分解

矩阵的分解矩阵的分解是一种数学方法,它把复杂的矩阵拆分成几个简单的子矩阵,以便能更好地理解和解决特定矩阵问题。

矩阵分解也可以用来提高现有计算机算法的效率。

它是一种重要的数学工具,常用于机器学习,信号处理,图像处理,信息论,控制工程,统计学,优化,数值分析,科学计算等。

矩阵分解可以把大的矩阵分解成小的子矩阵,以便更容易理解特定的矩阵问题。

典型的矩阵分解方法包括LU 分解,QR分解,SVD分解,Cholesky分解,Schur分解,病态分解,矩阵分解等。

LU分解是将一个矩阵分解成一个下三角矩阵和一个上三角矩阵的过程。

这种分解可以用于解决特定的线性方程组,以及求解矩阵的逆。

一般来说,LU分解具有非常高的计算效率,而且它不需要很多内存来存储矩阵。

QR分解是把一个矩阵分解成一个正交矩阵和一个上三角矩阵的过程。

这种分解可以用来求解矩阵的特征值和特征向量,以及求解线性方程组。

QR分解是一种非常有用的分解形式,因为它可以使用稠密矩阵和稀疏矩阵的快速算法。

SVD(奇异值分解)是将一个矩阵分解成两个正交矩阵和一个对角矩阵的过程。

SVD分解可以用来解决矩阵的秩、特征值、特征向量以及正交正则化问题。

一般来说,SVD 分解是一种非常有效的矩阵分解方法,并且它可以用来提高现有的计算机算法的效率。

Cholesky分解是一种分解矩阵的方法,它可以将一个对称正定矩阵分解成一个下三角矩阵和一个上三角矩阵的乘积。

Cholesky分解可以用来解决线性方程组、估计最小二乘解、求解矩阵的特征值等。

Cholesky分解的计算效率很高,并且它可以用来提高现有的计算机算法的效率。

Schur分解则是将一个实矩阵分解成一个可逆矩阵和一个上三角矩阵的乘积。

Schur分解可以用来解决矩阵的特征值和特征向量问题,以及求解线性方程组。

Schur分解也可以用来提高现有计算机算法的效率。

病态分解是将一个矩阵分解成一个低秩的正交矩阵和一个正定矩阵的乘积的过程。

矩阵分解——精选推荐

矩阵分解——精选推荐

矩阵分解矩阵分解矩阵分解是将矩阵拆解为数个矩阵的乘积,可分为三⾓分解、满秩分解、QR分解、Jordan分解和SVD(奇异值)分解等,常见的有三种.矩阵的三⾓分解、正交三⾓分解、满秩分解将矩阵分解为形式⽐较简单或性质⽐较熟悉的⼀些矩阵的乘积,这些分解式能够明显地反映出原矩阵的许多数值特征,如矩阵的秩、⾏列式、特征值及奇异值等. 另⼀⽅⾯, 构造分解式的⽅法和过程也能够为某些数值计算⽅法的建⽴提供了理论依据. 接下来就讨论⼀下矩阵的三⾓分解.1 矩阵的三⾓分解1.1 矩阵的三⾓分解基本概念与定理定义1.1[]5设m n∈和上三⾓矩L C?A C?∈,如果存在下三⾓矩阵m n阵n m∈, 使得A=LU, 则称A可作三⾓分解或LU分解.U C?定义1.2设A为对称正定矩阵, D为⾏列式不为零的任意对⾓矩阵,则T=成⽴:A A=, U为⼀个单位上三⾓矩阵, 且有A LDU1) 如果L是单位下三⾓矩阵, D是对⾓矩阵, U是单位上三⾓矩阵, 则称分解D=为LD U分解.A L U2) 如果L=LD是下三⾓矩阵, ⽽U是单位上三⾓矩阵, 则称三⾓分解A LUCrout分解;= 为克劳特()3) 如果U DU是单位下三⾓矩阵, U 为上三⾓矩阵, 则称三⾓=分解A LUDoolittle分解;= 为杜利特()U --=== , 称为不带平⽅根的乔累斯基()Cholesky 分解;5) 如果12L D L = , 12D U U= , 则1122A LD U LD D U LU=== , 由于T UL = , 则T A LL= , 称为带平⽅根的乔累斯基()Cholesky 分解. 定理 1.1 n阶⾮奇异矩阵A可作三⾓分解的充要条件是k 0A ≠()1,2,,1k n =- ,这⾥A k为A 的k 阶顺序主⼦阵, 以下同.证明必要性. 设⾮奇异矩阵A 有三⾓分解A L U=, 将其写成分块形式k12k122122212222A L 0U =A A 0U kA U L L这⾥A k ,k L 和k U 分别为A, L和U 的k 阶顺序主⼦阵. ⾸先由0⽽L 0k ≠,U 0k ≠; 因此A =L U0kkk ≠()1,2,,1k n =-.充分性. 对阶数n 作数学归纳法. 当n=1时, 1A =(11a )=(1)(11a ),结论成⽴. 设对n k =结论成⽴, 即k =k k A L U , 其中k L 和k U 分别是下三⾓矩阵和上三⾓矩阵. 若k 0A ≠,则由kA =L k k U 易知L k 和k U 可逆. 现证当1n k =+时结论也成⽴, 事实上-1k k k k1TT 1T 1-1k+1,1k 1,1k k k A c 0c A =10c kkk T kk k k k k L U L r a r U a r U L +--+++??= ? ?-.由归纳法原理知A 可作三⾓分解.定理 1.1 给出了⾮奇异矩阵可作三⾓分解的充要条件, 由于不满⾜定理1.1的条件, 所以它不能作三⾓分解. 但110000110011211011202A ?????????? ?===.上例表明对于奇异矩阵,它还能作三⾓分解未必要满⾜定理1.1的条件.⾸先指出,⼀个⽅阵的三⾓分解不是唯⼀的, 从上⾯定义来看,杜利特分解与克劳特分解就是两种不同的三⾓分解,其实,⽅阵的三⾓分解有⽆穷多, 这是因为如果D 是⾏列式不为零的任意对⾓矩阵, 有1()()A LU C D D U LU-== ,其中,LU 也分别是下、上三⾓矩阵, 从⽽A LU = 也使A 的⼀个三⾓分解. 因D 的任意性, 所以三⾓分解不唯⼀. 这就是A 的分解式不唯⼀性问题, 需规范化三⾓分解.定理 1.2 (LD U 基本定理)设A 为n 阶⽅阵,则A 可以唯⼀地分解为A =LD U(1.1)的充分必要条件是A 的前1n -个顺序主⼦式k 0A ≠()1,2,,1k n =- .其中L,U分别是单位下、上三⾓矩阵, D是对⾓矩阵D=diag ()12,,,n d d d ,1k k k A d A -=()1,2,,kn = , 01A =.证明充分性. 若k 0A ≠()1,2,,1k n =- , 则由定理1.1, 即实现⼀个杜利特分解A LU= , 其中L 为单位下三⾓矩阵, U 为上三⾓矩阵,记1112122==()()()()()()1111112122222n n n nn a a a a a a ??=()n A , 因为()u 0i ii ii a ≡≠()1,2,,1i n =- .下⾯分两种情况讨论:1) 若A ⾮奇异,由式(1)有n ?=()()() 121122n nn a a a =A ≠, 所以()n nn nna u =≠,这时令()()()()121122diag n nn D a a a = , 则() ()()1121122111,,,n nn D diag a a a -??= ?.LD D U LDU -=== (1.2)是A 的⼀个LD U 分解.2)若A 奇异,则()u 0i iiii a ≡=,此时令()()()12111221,1(,,,,0)n n n D diag a a a ---= ,()()()()121n-111221,1,,,n n n D diag a a a ---= , α=()1n1u,,,Tn u n - ,则10n T UU α-??≡ =1111110=DU 0001n n n n T T U D U D α------,因此不论哪种情况, 只要k0A ≠()1,2,,1k n =- , 总存在⼀个LD U分解式(1.1),1a kk k kk k A d A -==()1,2,,1kn =- ,01A =.均⾮奇异.若还存在另⼀个LD U 分解111A L D U =, 这⾥1L ,1D , 1U 也⾮奇异,于是有111L D U L D U =(1.3)上式两端左乘以11L -以及右乘以1U -和1D -, 得111111L L D U U D---=, (1.4)但式(1.4)左端是单位下三⾓矩阵, 右端是单位上三⾓矩阵, 所以都应该是单位阵, 因此1LL I-=,1111D U UDI--=,即1L L =,111--=. 由后⼀个等式类似地可得11U UI-=,11D D I-=,即有1U U=,1D D=.2) 若A 奇异, 则式(1.3)可写成分块形式1111100001000110001T T T T T L D U L D U ααββ= ? ? ? ? ? ???????????, 其中1L, 1L 是1n -阶单位下三⾓阵; U , 1U 是1n -阶上三⾓阵; D,1D 是1n -阶对⾓阵; α, 1α,β, 1β是1n -维列向量. 由此得出111111=D U D DUD ααββαββα???? ? ???, 其中1L, 1D , 1U 和L ,D, U均⾮奇异, 类似于前⾯的推理, 可得1L =L ,1D =D , 1U =U ,1=αα,T T1=ββ.必要性. 假定A 有⼀个唯⼀的LD U 分解, 写成分块的形式便是1111A 00=0101n n n n T T nn n x D L U ya d αβ----,(1.5)其中1n L -,1D n -, 1n U -, 1n A -分别是L,A的1n -阶顺序主⼦矩阵;x , y, α,β为1n -维列向量. 由式(1.5)有下⾯的矩阵⽅程:1111n n n n A L D U ----=, (1.6)11TTn n yD U β--=,(1.7)11n n x L D α--=, (1.8)1Tnn n na D d βα-=+. (1.9)否则, 若10n A -=, 则由式(1.6)有111110n n n n n A L D U D -----===.于是有1110n n n L D D ---==, 即11n n L D --奇异. 那么对于⾮其次线性⽅程组(1.8)有⽆穷多⾮零解, 不妨设有α', 使11n n L D x α--'=, ⽽α'=α.同理, 因11n n D U --奇异, ()1111TTT n n n n L D U D ----=也奇异,故有ββ'≠, 使11TTn n U D yβ--=, 或11TTn n D U yn nn n d a D βα-'''=-, 则有1111000101n n n n T T nn nA x D L U y a d αβ----'= ? ? ? ?'',这与A 的LD U 分解的唯⼀性⽭盾, 因此10n A -≠.考察1n -阶顺序主⼦矩阵1n A -由式(1.6)写成分块形式, 同样有2222n n n n A L D U ----=. 由于10n D -≠, 所以20n D -≠, 可得222220n n n n n A L D U D -----==≠, 从⽽20n A -≠. 依此类推可得0k A ≠()1,2,,1k n =- .综上所述, 定理证明完毕.推论 1[]3 设A 是n 阶⽅阵, 则A 可惟⼀进⾏杜利特分解的充分必要条件是A 的前1n -个顺序主⼦式11110k k k kka a A a a =≠,1,2,,1k n =- , 其中L 为单位上三⾓矩阵, 即有11121212223132121111n nnn n n n n u u u l u u l l A u l l l -=并且若A 为⾮奇异矩阵, 则充要条件可换为: A的各阶顺序主⼦式全不为零, 即:0k A ≠,1,2,,k n = .推论 2[]3 n 阶⽅阵A 可惟⼀地进⾏克劳特分解111212122212111n nn n nnl u u ll u A LUl l l==的充要条件为11110k k k kka a A a a =≠, 1,2,,1k n =- .若A 为奇异矩阵, 则0nn l =, 若A 为⾮奇异矩阵, 则充要条件也可换为0k A ≠, 1,2,,k n = .定理 1.3[]3 设A 为对称正定矩阵, 则A 可惟⼀地分解为T A LDL =, 其中L 为下三⾓矩阵, D 为对⾓矩阵, 且对⾓元素是L 对⾓线元素的倒数. 即2212n n nnl l l L l l l ?? ?=, 1122111nn l l D l ?? ? ? ? ?=. 其中11/j ijij ik jk kkk l a l l l -==-∑,1,2,,ni = , 1,2,,j i = .。

矩阵的分解毕业论文.

矩阵的分解毕业论文.

学士学位论文矩阵的分解学院、专业数学科学学院数学与应用数学研究方向代数学学生姓名林意学号200920134781指导教师姓名周末指导教师职称教授2014年4 月 16日矩阵的分解摘要众所周知,矩阵是代数学中的一个重要概念,它的出现促进了代数学的快速发展.矩阵分解作为矩阵理论中非常重要的一部分,是指将一个矩阵分解成一些特殊类型矩阵的乘积(或和)的形式.矩阵分解的内容丰富,形式多样,是解决某些线性代数问题的重要工具.本文主要从矩阵的QR分解、满秩分解、三角分解和奇异值分解等方面对矩阵的分解作了论述,首先给出了这几种分解形式的定义以及相关性质,然后给出了它们各自的具体的分解方法,最后通过例题的形式将各分解方法呈现出来.关键词:矩阵;分解;QR分解;三角分解;满秩分解The Decomposition of the MatrixABSTRACTAs everyone knows,matrix is one of the most important concepts in algebra,whose appearance promotes the development of algebra.While as a significant part of the theory of matrix,the decomposition of matrix aims at decomposing a matrix into the product(or sum) of several specific kinds of matrices.The decomposition of matrix not only concludes rich contents and forms,but also works as one of the significant methods in dealing with some linear algebra problems.In this paper,the decomposition of matrix is mainly introduced from the aspects mentioned below,such as QR decomposition,full rank decomposition,LU decomposition and so on.Firstly,the definitions and related properties of these forms of decomposition are given.And then,specific decomposition ways of theirs are illustrated.Finally,these decomposition methods are clearly presented by the forms of some examples.Keywords:Matrix;Decomposition;QR Decomposition;LU Matrix Decomposition;Full Rank Decomposition目录摘要 (I)ABSTRACT (II)目录 (III)一、引言 (1)二、矩阵的QR分解 (1)(一)矩阵QR分解的基本概念及定理 (1)(二)矩阵QR分解的常用方法及应用举例 (1)三、矩阵的三角分解 (8)(一)矩阵三角分解的基本概念及定理 (8)(二)矩阵三角分解的常用方法及应用举例 (9)四、矩阵的满秩分解 (15)(一)矩阵满秩分解的基本概念及定理 (15)(二)矩阵满秩分解的常用方法及应用举例 (15)五、矩阵的奇异值分解 (17)(一)矩阵奇异值分解的基本概念及定理 (17)(二)矩阵奇异值分解的常用方法及应用举例 (18)六、结论 (20)参考文献 (20)致谢................................................................................................................ 错误!未定义书签。

矩阵的奇异值分解

矩阵的奇异值分解

非对称矩阵分解
非对称矩阵的特征值分解
对于非对称矩阵,其特征值可能是复数,因此不能直接进行实数域上的特征值分 解。但是,可以通过引入复数域上的特征向量和特征值,将非对称矩阵分解为复 数域上的特征向量矩阵和特征值矩阵的乘积。
非对称矩阵的奇异值分解
对于任意实非对称矩阵,都可以进行奇异值分解,即$A = USigma V^T$,其中 $U$和$V$是正交矩阵,$Sigma$是对角矩阵,对角线上的元素是$A$的奇异值。 非对称矩阵的奇异值分解在数据降维、图像处理等领域有广泛应用。
通信信道均衡策略
信道均衡原理
在通信系统中,信道均衡是一种用于补偿信道失真、提高通信质量的技术。奇异值分解可用于信道均衡中的信道 矩阵分解,从而实现对信道特性的准确估计和补偿。
基于奇异值分解的信道均衡算法
利用奇异值分解对信道矩阵进行分解,根据得到的奇异值和左右奇异向量设计均衡器,实现对信道失真的有效补 偿。
3
个性化推荐
结合用户历史行为数据和相似度计算结果,为用 户推荐与其兴趣相似的物品或服务。
05 奇异值分解在信号处理和 通信中应用
信号降噪与重构技术
基于奇异值分解的信号降噪
利用奇异值分解能够将信号分解为多个独立成分的特点,对含噪信号进行降噪处理,提高信号质量。
信号重构技术
通过保留奇异值分解得到的主要成分,对信号进行重构,实现信号的压缩和恢复。
特殊类型矩阵分解
正定矩阵的Cholesky分解
对于正定矩阵,可以进行Cholesky分解,即$A = LL^T$,其中$L$是下三角 矩阵。Cholesky分解在求解线性方程组、最优化问题等场景中具有重要作用。
稀疏矩阵的分解
对于稀疏矩阵,可以采用特定的分解方法,如LU分解、QR分解等,以便更有效 地进行存储和计算。这些分解方法在数值计算、科学计算等领域有广泛应用。

矩阵分解法

矩阵分解法

矩阵分解法
矩阵分解法是一种被广泛应用于矩阵和数据分析领域的数学方法,它能够对复杂的数据集进行简单而有效的分解,为更深入的分析提供基础。

本文将详细介绍矩阵分解法的基本原理及各种应用,以及它能够解决的相关问题。

矩阵分解法的基本概念是使用矩阵的特定分解技术,将一个大的复杂的矩阵分解成若干较小的更简单的矩阵,这些矩阵之间可能存在一定的关系。

最常用的矩阵分解方法是奇异值分解(Singular Value Decomposition,SVD),它能够有效地将一个矩阵分解成三个矩阵,这三个矩阵可以用来描述矩阵的行、列和特征。

其中,最重要的矩阵是特征值矩阵,它能够描述矩阵中特征之间的关系,这些特征信息可以作为进一步分析的依据。

同时,这些特征也能够影响到矩阵的值,从而有助于解决机器学习和数据挖掘中的关系推断问题,从而获得新的结论。

此外,矩阵分解还可以用于对数据进行统计和预测,这是因为矩阵分解能够提取出高维数据中隐藏的模式,从而将复杂的数据集简化为易于理解的表示形式。

因此,矩阵分解法在实际的数据分析中有着重要的应用,如文本分类、推荐系统和图像识别等。

另外,矩阵分解法还能够帮助数据科学家们解决压缩和特征选择的问题。

首先,矩阵分解能够帮助我们压缩数据集,从而节省存储空间;其次,这种方法也可以帮助我们提取出有用的特征,从而达到减少计算负担的目的。

(尾)总之,矩阵分解法是一种极其重要的数学方法,它可以帮助我们对复杂的数据集进行分解,提取有用信息,从而为进一步分析提供基础,同时还可以用于压缩和特征选择等目的。

因此,矩阵分解法可以说是数据科学领域的一个重要的数学工具,值得进一步关注和研究。

矩阵的分解

矩阵的分解

§9. 矩阵的分解矩阵分解是将一个矩阵分解为比较简单的或具有某种特性的若干矩阵的和或乘积,这是矩阵理论及其应用中常见的方法。

由于矩阵的这些特殊的分解形式,一方面反映了原矩阵的某些数值特性,如矩阵的秩、特征值、奇异值等;另一方面矩阵分解方法与过程往往为某些有效的数值计算方法和理论分析提供了重要的依据,因而使其对分解矩阵的讨论和计算带来极大的方便,这在矩阵理论研究及其应用中都有非常重要的理论意义和应用价值。

这里我们主要研究矩阵的三角分解、谱分解、奇异值分解、满秩分解及特殊矩阵的分解等。

一、矩阵的三角分解——是矩阵的一种有效而应用广泛的分解法。

将一个矩阵分解为酉矩阵(或正交矩阵)与一个三角矩阵的乘积或者三角矩阵与三角矩阵的乘积,这对讨论矩阵的特征、性质与应用必将带来极大的方便。

首先我们从满秩方阵的三角分解入手,进而讨论任意矩阵的三角分解。

定义1 如果(1,2,,)ii a i n =均为正实数,()(,1,2,1;∈<=-ij a C R i j i n1,2,),=++j i i n 则上三角矩阵11121222000⎛⎫⎪ ⎪= ⎪⎪⎝⎭n n nn a a a a a R a 称为正线上三角复(实)矩阵,特别当1(1,2,,)ii a i n ==时,R 称为单位上三角复(实)矩阵。

定义2如果(1,2,,)ii a i n =均为正实数,()(,1,2,1;∈>=-ij a C R i j i n1,2,),=++j i i n 则下三角矩阵11212212000⎛⎫ ⎪ ⎪= ⎪⎪⎝⎭n n nn a a a L a a a称为正线下三角复(实)矩阵,特别当1(1,2,,)ii a i n ==时,L 称为单位下三角复(实)矩阵。

定理1设,⨯∈n nnA C 则A 可唯一地分解为 1=A U R其中1U 是酉矩阵,R 是正线上三角复矩阵;或者A 可唯一地分解为2=A LU其中2U 是酉矩阵,L 是正线下三角复矩阵。

矩阵分解的原理与应用

矩阵分解的原理与应用

矩阵分解的原理与应用矩阵是线性代数中最基本的数据结构,在机器学习,推荐系统,图像处理等领域都有广泛应用。

矩阵分解就是将一个大的矩阵分解成多个小的矩阵,通常用于降维、特征提取、数据压缩等任务。

我们现在就来详细探讨矩阵分解的原理和应用。

一、基本概念与背景1. 矩阵的基本概念矩阵是由多行和多列构成,每行和每列的数值称为元素。

用数的矩形阵列来表示的数学对象称为矩阵。

2. 矩阵的类型在数据分析中,矩阵有不同的分类,如稠密矩阵、稀疏矩阵、分块矩阵等。

3. 矩阵分解的背景通过矩阵分解,我们可以将一个大的矩阵分解成多个小的矩阵,这些小矩阵可以更方便的处理。

同时,矩阵分解也可以用来进行数据压缩、降维、特征提取等任务。

二、矩阵分解的基本思想矩阵分解的基本思想是将大的矩阵分解成多个小的矩阵,通常是将原始数据矩阵分解成两个或以上的低维矩阵。

其中,最基本的矩阵分解方法包括奇异值分解(Singular Value Decomposition,简称SVD)和QR分解(QR Decomposition)。

1. 奇异值分解(SVD)奇异值分解是将任意矩阵分解为三个矩阵之积的算法。

SVD可以分解任意的矩阵X为X=UΣV*的形式,其中U和V是两个矩阵,Σ是一个对角矩阵,其对角线上的元素称为奇异值。

这里,U、V都是酉矩阵,U、V*在原始矩阵的意义下构成一个对称双正交矩阵(或称为正交矩阵)。

其中,U是原始矩阵XXT的特征向量组成的矩阵,V是原始矩阵XTX的特征向量组成的矩阵。

奇异值则是U和V之间的关联,它是一个对角矩阵,其中的元素由矩阵的奇异值所组成。

SVD的一个重要应用是在推荐系统中的协同过滤算法中。

在协同过滤算法中,我们可以将用户-物品评分矩阵分解为两个矩阵,以此来实现推荐。

2. QR分解(QR Decomposition)QR分解是将矩阵分解为正交矩阵和上三角矩阵之积的算法。

将矩阵A分解为A=QR,其中Q是正交矩阵,R是上三角矩阵。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
* * 的任一解为 x0 有 Ax0 = x= 0 0 A Ax0
2013-12-02
于是 Ax0 = 0
从而知 x0 也是(6)的解。 1
引理2: 对任意复矩阵 Am× n , * A 和 AA* 都是 A 半正定H-矩阵(Hermite阵)。 证明一: 首先,A* A 显然为H-矩阵,我们来考虑 艾尔米特二次型 f ( x) = x* A* A x 。 对任意n维复向量 x0 , 有
其中是阶正线上三角矩阵 r U1 ∈U rm×r ,U 2 ∈U rr×n R L是阶正线下三角矩阵。 r
2013-12-02 1
,
求矩阵 例2:
1 1 0 A = 1 0 − 1 0 1 − 1
的 QR 分解。
记 解: A 的三个列向量依次为α1 , α 2 , α 3 , 用施密 特正交化方法得
从而 I 0 −1 −1 r A= P Q 0 0 I −1 r = P [ I r 0] Q −1 0
= BC
2013-12-02
其中
I −1 r B = P 0 C = I 0 Q −1 [r ]
定理1
设,则存在,满足 A ∈ Crm×n
2013-12-02 1
c1 n c2 n = UR c nn
唯一性证明
设有两个分解式为 A = UR UR A = 则 U −1U = RR −1
U −1U RR −1 由于是酉矩阵,是正线上三角矩阵, ⇒ U −1U = RR −1 = I U 从而, U R R = =
2013-12-02
1 0 0 3 0 0 − 2C1 + C2 1 − 2 γ2 +γ3 0 1 0 0 0 0
0 0 1 0 0 1 − 3 − 2 1 0 0 0 − 3 1 1 0 0 0 0 1 0 0 1
1 0 0 C 2 + C3 1 0 0 0
第九章 矩阵的分解
第一节 矩阵的满秩分解 第二节 矩阵的正交三角分解 第三节 矩阵的奇异值分解 第四节 矩阵的谱分解
2013-12-02
1
第一节 矩阵的满秩分解
满秩分解的基本思想 存在非奇异矩阵 P 和 Q 化矩阵 A 成为标准型,即
Ir PAQ = 0 0 0
证明
将按列向量分块,得 A A = (α1 ,α 2 ,,α n )
R1是正线下三角矩阵(主对角线上元素均为正)。
n 由于则线性无关α1 ,α 2 ,,α n A ∈ C n ×n ,
将正交化得,再单位化得 αi β1 , β 2 ,, β n
ν 1 ,ν 2 ,,ν n,并有
2013-12-02
(1)
其中 R1 = C1C * (CC * ) −1
= B1C1 (b) 因为,有 = B* B1C1 BC B* BC
= (= R2 C1 所以 C B* B ) −1 B* B1C1 其中 R2 = ( B* B ) −1 B* B1
2013-12-02 1
(2)
所以 BC B1 R1 R2C1 B1C1 = =
所以 B1* B1 R1 R2C1C1* = B1* B1C1C1* (3)
因为和分别是列满秩和行满秩矩阵 B1 C1 所以和均是可逆矩阵 B B1 C1C
* 1 * 1
所以由式(3)可得 R1 R2 = I
所以若令 R1 = R 则 R2 = R -1
1
因此,由式(1)和(2)可得定理2
2013-12-02
存在酉矩阵 U,使得
= (= diag{λ1 ,, λr ,0,,0} (8) U A AU AU ) AU
* * *
只需证非零特征值 λi > 0, i = , r 1,
λi
2013-12-02
(= AU ( i ) )* AU ( i )
1
( AU ( i ) , AU ( i ) ) > 0
例1:求矩阵
0 1 2 0 A = 2 7 1 − 3 的一种满秩分解。 1 −1 −1 3
解: 在用行、列初等变换化 A 为标准形式过 程中, 求出相应的初等变换矩阵 P 和 Q 具体变换过程如下:
0 1 0 0 0 0 1 0 0 1 2 0 1 2 1 − 3 − 2 1 0 2 7 1 − 3 0 1 0 0 3 0 − 3 −1 3 −1 0 1 A I 1 −1 −1 3 0 0 1 − 2r + r I 0 = 1 2 1 0 0 0 0 0 1 0 − r1 + r3 0 1 0 1 0 0 0 0 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 1
求出 P, Q 的逆矩阵为
1 0 0 P −1 = 2 1 0 1 −1 1
−1
B , 取Q −1的前两行为 C 取 P 的前两列为
2013-12-02
1 0 Q −1 = 0 0
2 3 1 0
0 0 1 −3 0 0 0 1
则得 A 的一种满秩分解
σ 1 σ2 Σ 0 S = σr 0 0 = 0 0
A
为 A 的奇异值矩阵。
2013-12-02 1
定理4:对于秩为 r 的复矩阵 Am×n , 必有 m 阶酉 矩阵U 及 n 阶酉矩阵 V 使得
β 1 = α 1 = (1,1,0 )T
β 2 = − β 1 + α 2 = − α 1 + α 2 = ,− ,1
1 2 1 2 1 2 1 2
T
1 1 1 1 2 2 2 β 3 = − β 1 + β 2 + α 3 = α 1 + α 2 + α 3 = ,− ,− 2 3 3 3 3 3 3
2 −1 T R=Q A=Q A= 0 0 便有 A = QR
2013-12-02
如何利用正交三角分解解线性方程组 Ax = b ?
A = QR ⇓ = QT QR R QT A =
(4)
Ax = b ⇓ QT Ax = QT b
(5)
将(4)代入(5)可得
Rx QT b ⇒ x R −1QT b = =
1 0 1 2 0 0 A = BC = 2 1 0 3 1 − 3 1 − 1
2013-12-02
1
第二节
定理1
矩阵的正交三角分解
A ∈ Cnn×n , A 设则可以唯一分解为
A = = UR 或 A RU1 ,R U ,U1 ∈U n×n 其中(酉阵)是正线上三角矩阵,
* 0 *
*
(
)
f ( x0 ) = x ( A A ) x0 = ( Ax0 ) ( Ax0 ) =
*
Ax0
2
≥0
A* A 为半正定H-矩阵。 故 f (x) 为半正定的, 从而
类似可证, AA 为半正定H-矩阵。
2013-12-02 1
证明二: 考虑 A A
* *
A A 是Hermite阵,即为正规矩阵,因此酉相似 * 于对角矩阵,且对角线元素为 A A 的特征值,即
T
2013-12-02
1
单位化得
2 2 = 2 , 2 ,0 ε1 = β1 = α1 2 2 2 2
T
6 ε2 = β 2 = − 6 α1 + 6 α 2 3 6 3
6 6 6 = 6 ,− 6 , 3
T
3 3 3 33 = ,− ,− 3 6 6 2 3 3 2
T
2013-12-02
1
求出
Q = (ε 1 , ε 2 , ε 3 )
=
2 2 2 2 0
6 6 6 − 6 6 3 2 2 6 2 0
3 3 3 − 3 3 − 3 − − 2 3 2 2 6 6 3
1
A ∈ Crm×n , A 定理3 设则可以分解为 A = U1 R1 L2U 2 其中,是阶正线上三角矩阵 r U1 ∈U rm×r ,U 2 ∈U rr×n R1 L2是阶正线下三角矩阵。 r
,
证明 根据满秩分解定理,有 A = BC 2 对、分别用定理和推论有 B C A = U1 R1 L2U 2
2013-12-02
1
定理2 设(列满秩)则可以唯一分解为 A ∈ Crm×r , A
A = UR U ∈U rm×r , R r 其中是阶正线上三角矩阵。
r ×n 推论 设(行满秩)则可以唯一分解为 A ∈ Cr , A
A = LU 其中是阶正线下三角矩阵。 U ∈U , L r
r ×n r
2013-12-02
2013-12-02
A* A 为半正定的H-矩阵, 由引理2知 则必有 n 阶酉矩阵 V 使得
Am×n , 称 A* A 的 n 个零特征值 对于复矩阵 定义1: = λi , i λi 的算术根 σ i = 1,, n 为 A 的奇异值。
若记 Σ = diag (σ 1 , σ 2 ,, σ r ) , 其中 σ 1 , σ 2 ,σ r 是 的全部非零奇异值, 则称 m × n 矩阵
B ∈ Crm×r C ∈ Crr×n , A = BC
定理2 设都是的满秩分解,则 = BC B1C1 A = A
R ∈ Crr×r,满足,= = B B1 R C R −1C1
(a) 因为,有 = B1C1C * BC BCC * 证明= B1C1 = B1C1C * (CC * ) −1 B1 R1 所以 B =
相关文档
最新文档