矩阵分析与计算--05-矩阵分解-02-Schur、SVD
矩阵的奇异值分解及其实际应用
矩阵的奇异值分解及其实际应用矩阵的奇异值分解（Singular Value Decomposition，SVD）是一种重要的矩阵分解方法，它在数据处理、信号处理、图像处理、自然语言处理等领域有广泛的应用。
一、SVD的定义和原理SVD是一种矩阵分解方法，把一个矩阵分解为三个矩阵的乘积，即：$A=U\Sigma V^T$其中，$A$为一个$m\times n$的矩阵，$U$为$m\times m$的酉矩阵，$\Sigma$为$m\times n$的对角矩阵，$V$为$n\times n$的酉矩阵，$T$表示转置。
$\Sigma$中的对角元素称为奇异值，是矩阵$A$的奇异值分解中的核心。
$\Sigma$中的奇异值按从大到小的顺序排列，它们可以用来表示原始矩阵$A$的主要特征。
在一些情况下，我们只需要保留前$k$个最大的奇异值对应的列向量组成的$\Sigma$和对应的$U$、$V$矩阵，即可以得到一个$k$维的近似矩阵，这种方法称为截断奇异值分解。
SVD的原理可以利用矩阵的特征值和特征向量的概念来解释。
对于一个$n\times n$的矩阵$A$，它可以表示为：$A=Q\Lambda Q^{-1}$其中，$Q$为特征向量矩阵，$\Lambda$为特征值矩阵，这里我们假设$A$是对称矩阵。
SVD可以看做是对非对称矩阵的特征值和特征向量的推广，它把矩阵$A$分解为$U\Sigma V^T$，其中，$U$矩阵的列向量为$AA^T$的特征向量，$V$矩阵的列向量为$A^TA$的特征向量，而$\Sigma$则由$AA^T$和$A^TA$的特征值的平方根构成。
二、SVD的应用SVD在数据处理、信号处理、图像处理、自然语言处理等领域都有广泛的应用。
1、数据处理在数据分析和数据挖掘中，我们常常需要对数据进行降维，以便于可视化和分析。
SVD可以对数据进行降维，并且保留了数据的主要特征。
例如，我们可以利用SVD对用户-物品评分矩阵进行降维，得到一个低维的用户-主题矩阵和一个低维的主题-物品矩阵，从而实现推荐系统。
矩阵分解及其应用
《线性代数与矩阵分析》课程小论文矩阵分解及其应用学生姓名：******专业：*******学号：*******指导教师：********2015年12月Little Paper about the Course of "Linear Algebra and MatrixAnalysis"Matrix Decomposition and its ApplicationCandidate:******Major:*********StudentID:******Supervisor:******12,2015中文摘要将特定类型的矩阵拆解为几个矩阵的乘机称为矩阵的分解。
本文主要介绍几种矩阵的分解方法，它们分别是矩阵的等价分解、三角分解、谱分解、奇异值分解和 Fitting 分解等。
矩阵的分解理论和方法是矩阵分析中重要的部分，在求解矩阵的特征值、解线性方程组以及实际工程中有着广泛的运用。
因此，本文将介绍矩阵等价分解、三角分解、奇异值分解的理论运用以及三角分解的工程运用。
关键词：等价分解,三角分解,奇异值分解,运用AbstractMany particular types of matrix are split into the product of a matrix of several matrices, which is called decomposition of matrix. In this paper, we introduce some methods of matrix decomposition, which are equivalent decomposition, triangular decomposition, spectral decomposition, singular value decomposition, Fitting decomposition and so on. The decomposition theory and method of matrix is an important part of matrix analysis, which is widely used in solving the characteristic value, solving linear equations and the practical engineering. In this paper, we will introduce the theory of matrix equivalence decomposition, triangular decomposition, singular value decomposition and the engineering application of triangular decomposition.Key words：Equivalent Decomposition, Triangular Decomposition, Singular Value Decomposition, Application目录中文摘要 (1)ABSTRACT (1)1 绪论 (1)2 矩阵分解的常用方法 (1)2.1矩阵的等价分解 (1)2.2矩阵的三角分解 (2)2.2.1 矩阵的三角分解 (2)2.2.2 矩阵的正三角分解 (2)2.3矩阵的谱分解 (5)2.3.1 单纯形矩阵的谱分解 (5)2.3.2 正规矩阵与酉对角化 (6)2.3.3 正规矩阵的谱分解 (6)2.4矩阵的奇异值分解 (7)2.4.1 矩阵的奇异值分解（SVD分解） (7)2.5矩阵的FITTING分解 (7)3矩阵分解的理论应用 (8)3.1矩阵等价分解的理论应用 (8)3.2矩阵三角分解的理论应用 (8)3.3矩阵奇异值分解的理论应用 (9)4 矩阵分解在递推系统辨识中的应用 (10)4.1递推系统辨识中的困难 (10)4.1.1 病态问题 (10)4.1.2 效率和计算量问题 (10)4.2QR分解的实现方法 (11)4.2.1 GIVENS变换 (13)4.3递推算法 (13)5 结论 (18)6 参考文献 (18)1 绪论矩阵的分解是将一个矩阵分解为较为简单的或具有某种特性的若干矩阵的乘积，这是矩阵理论及其应用中比较常见的方法。
矩阵的分解
矩阵的分解矩阵的分解是一种数学方法，它把复杂的矩阵拆分成几个简单的子矩阵，以便能更好地理解和解决特定矩阵问题。
矩阵分解也可以用来提高现有计算机算法的效率。
它是一种重要的数学工具，常用于机器学习，信号处理，图像处理，信息论，控制工程，统计学，优化，数值分析，科学计算等。
矩阵分解可以把大的矩阵分解成小的子矩阵，以便更容易理解特定的矩阵问题。
典型的矩阵分解方法包括LU 分解，QR分解，SVD分解，Cholesky分解，Schur分解，病态分解，矩阵分解等。
LU分解是将一个矩阵分解成一个下三角矩阵和一个上三角矩阵的过程。
这种分解可以用于解决特定的线性方程组，以及求解矩阵的逆。
一般来说，LU分解具有非常高的计算效率，而且它不需要很多内存来存储矩阵。
QR分解是把一个矩阵分解成一个正交矩阵和一个上三角矩阵的过程。
这种分解可以用来求解矩阵的特征值和特征向量，以及求解线性方程组。
QR分解是一种非常有用的分解形式，因为它可以使用稠密矩阵和稀疏矩阵的快速算法。
SVD(奇异值分解)是将一个矩阵分解成两个正交矩阵和一个对角矩阵的过程。
SVD分解可以用来解决矩阵的秩、特征值、特征向量以及正交正则化问题。
一般来说，SVD 分解是一种非常有效的矩阵分解方法，并且它可以用来提高现有的计算机算法的效率。
Cholesky分解是一种分解矩阵的方法，它可以将一个对称正定矩阵分解成一个下三角矩阵和一个上三角矩阵的乘积。
Cholesky分解可以用来解决线性方程组、估计最小二乘解、求解矩阵的特征值等。
Cholesky分解的计算效率很高，并且它可以用来提高现有的计算机算法的效率。
Schur分解则是将一个实矩阵分解成一个可逆矩阵和一个上三角矩阵的乘积。
Schur分解可以用来解决矩阵的特征值和特征向量问题，以及求解线性方程组。
Schur分解也可以用来提高现有计算机算法的效率。
病态分解是将一个矩阵分解成一个低秩的正交矩阵和一个正定矩阵的乘积的过程。
矩阵分解——精选推荐
矩阵分解矩阵分解矩阵分解是将矩阵拆解为数个矩阵的乘积，可分为三⾓分解、满秩分解、QR分解、Jordan分解和SVD（奇异值）分解等，常见的有三种.矩阵的三⾓分解、正交三⾓分解、满秩分解将矩阵分解为形式⽐较简单或性质⽐较熟悉的⼀些矩阵的乘积,这些分解式能够明显地反映出原矩阵的许多数值特征,如矩阵的秩、⾏列式、特征值及奇异值等. 另⼀⽅⾯, 构造分解式的⽅法和过程也能够为某些数值计算⽅法的建⽴提供了理论依据. 接下来就讨论⼀下矩阵的三⾓分解.1 矩阵的三⾓分解1.1 矩阵的三⾓分解基本概念与定理定义1.1[]5设m n∈和上三⾓矩L C?A C?∈,如果存在下三⾓矩阵m n阵n m∈, 使得A=LU, 则称A可作三⾓分解或LU分解.U C?定义1.2设A为对称正定矩阵, D为⾏列式不为零的任意对⾓矩阵,则T=成⽴：A A=, U为⼀个单位上三⾓矩阵, 且有A LDU1) 如果L是单位下三⾓矩阵, D是对⾓矩阵, U是单位上三⾓矩阵, 则称分解D=为LD U分解.A L U2) 如果L=LD是下三⾓矩阵, ⽽U是单位上三⾓矩阵, 则称三⾓分解A LUCrout分解;= 为克劳特()3) 如果U DU是单位下三⾓矩阵, U 为上三⾓矩阵, 则称三⾓=分解A LUDoolittle分解;= 为杜利特()U --=== , 称为不带平⽅根的乔累斯基()Cholesky 分解;5) 如果12L D L = , 12D U U= , 则1122A LD U LD D U LU=== , 由于T UL = , 则T A LL= , 称为带平⽅根的乔累斯基()Cholesky 分解. 定理 1.1 n阶⾮奇异矩阵A可作三⾓分解的充要条件是k 0A ≠()1,2,,1k n =- ,这⾥A k为A 的k 阶顺序主⼦阵, 以下同.证明必要性. 设⾮奇异矩阵A 有三⾓分解A L U=, 将其写成分块形式k12k122122212222A L 0U =A A 0U kA U L L这⾥A k ,k L 和k U 分别为A, L和U 的k 阶顺序主⼦阵. ⾸先由0⽽L 0k ≠,U 0k ≠; 因此A =L U0kkk ≠()1,2,,1k n =-.充分性. 对阶数n 作数学归纳法. 当n=1时, 1A =（11a ）=（1）（11a ）,结论成⽴. 设对n k =结论成⽴, 即k =k k A L U , 其中k L 和k U 分别是下三⾓矩阵和上三⾓矩阵. 若k 0A ≠,则由kA =L k k U 易知L k 和k U 可逆. 现证当1n k =+时结论也成⽴, 事实上-1k k k k1TT 1T 1-1k+1,1k 1,1k k k A c 0c A =10c kkk T kk k k k k L U L r a r U a r U L +--+++??= ? ?-.由归纳法原理知A 可作三⾓分解.定理 1.1 给出了⾮奇异矩阵可作三⾓分解的充要条件, 由于不满⾜定理1.1的条件, 所以它不能作三⾓分解. 但110000110011211011202A ?????????? ?===.上例表明对于奇异矩阵,它还能作三⾓分解未必要满⾜定理1.1的条件.⾸先指出,⼀个⽅阵的三⾓分解不是唯⼀的, 从上⾯定义来看,杜利特分解与克劳特分解就是两种不同的三⾓分解,其实,⽅阵的三⾓分解有⽆穷多, 这是因为如果D 是⾏列式不为零的任意对⾓矩阵, 有1()()A LU C D D U LU-== ,其中,LU 也分别是下、上三⾓矩阵, 从⽽A LU = 也使A 的⼀个三⾓分解. 因D 的任意性, 所以三⾓分解不唯⼀. 这就是A 的分解式不唯⼀性问题, 需规范化三⾓分解.定理 1.2 （LD U 基本定理）设A 为n 阶⽅阵,则A 可以唯⼀地分解为A =LD U(1.1)的充分必要条件是A 的前1n -个顺序主⼦式k 0A ≠()1,2,,1k n =- .其中L,U分别是单位下、上三⾓矩阵, D是对⾓矩阵D=diag ()12,,,n d d d ,1k k k A d A -=()1,2,,kn = , 01A =.证明充分性. 若k 0A ≠()1,2,,1k n =- , 则由定理1.1, 即实现⼀个杜利特分解A LU= , 其中L 为单位下三⾓矩阵, U 为上三⾓矩阵,记1112122==()()()()()()1111112122222n n n nn a a a a a a ??=()n A , 因为()u 0i ii ii a ≡≠()1,2,,1i n =- .下⾯分两种情况讨论：1) 若A ⾮奇异,由式(1)有n ?=()()() 121122n nn a a a =A ≠, 所以()n nn nna u =≠,这时令()()()()121122diag n nn D a a a = , 则() ()()1121122111,,,n nn D diag a a a -??= ?.LD D U LDU -=== (1.2)是A 的⼀个LD U 分解.2)若A 奇异,则()u 0i iiii a ≡=,此时令()()()12111221,1(,,,,0)n n n D diag a a a ---= ,()()()()121n-111221,1,,,n n n D diag a a a ---= , α=()1n1u,,,Tn u n - ,则10n T UU α-??≡ =1111110=DU 0001n n n n T T U D U D α------,因此不论哪种情况, 只要k0A ≠()1,2,,1k n =- , 总存在⼀个LD U分解式(1.1),1a kk k kk k A d A -==()1,2,,1kn =- ,01A =.均⾮奇异.若还存在另⼀个LD U 分解111A L D U =, 这⾥1L ,1D , 1U 也⾮奇异,于是有111L D U L D U =(1.3)上式两端左乘以11L -以及右乘以1U -和1D -, 得111111L L D U U D---=, (1.4)但式(1.4)左端是单位下三⾓矩阵, 右端是单位上三⾓矩阵, 所以都应该是单位阵, 因此1LL I-=,1111D U UDI--=,即1L L =,111--=. 由后⼀个等式类似地可得11U UI-=,11D D I-=,即有1U U=,1D D=.2) 若A 奇异, 则式(1.3)可写成分块形式1111100001000110001T T T T T L D U L D U ααββ= ? ? ? ? ? ???????????, 其中1L, 1L 是1n -阶单位下三⾓阵; U , 1U 是1n -阶上三⾓阵; D,1D 是1n -阶对⾓阵; α, 1α,β, 1β是1n -维列向量. 由此得出111111=D U D DUD ααββαββα???? ? ???, 其中1L, 1D , 1U 和L ,D, U均⾮奇异, 类似于前⾯的推理, 可得1L =L ,1D =D , 1U =U ,1=αα,T T1=ββ.必要性. 假定A 有⼀个唯⼀的LD U 分解, 写成分块的形式便是1111A 00=0101n n n n T T nn n x D L U ya d αβ----,(1.5)其中1n L -,1D n -, 1n U -, 1n A -分别是L,A的1n -阶顺序主⼦矩阵;x , y, α,β为1n -维列向量. 由式(1.5)有下⾯的矩阵⽅程:1111n n n n A L D U ----=, (1.6)11TTn n yD U β--=,(1.7)11n n x L D α--=, (1.8)1Tnn n na D d βα-=+. (1.9)否则, 若10n A -=, 则由式(1.6)有111110n n n n n A L D U D -----===.于是有1110n n n L D D ---==, 即11n n L D --奇异. 那么对于⾮其次线性⽅程组(1.8)有⽆穷多⾮零解, 不妨设有α', 使11n n L D x α--'=, ⽽α'=α.同理, 因11n n D U --奇异, ()1111TTT n n n n L D U D ----=也奇异,故有ββ'≠, 使11TTn n U D yβ--=, 或11TTn n D U yn nn n d a D βα-'''=-, 则有1111000101n n n n T T nn nA x D L U y a d αβ----'= ? ? ? ?'',这与A 的LD U 分解的唯⼀性⽭盾, 因此10n A -≠.考察1n -阶顺序主⼦矩阵1n A -由式(1.6)写成分块形式, 同样有2222n n n n A L D U ----=. 由于10n D -≠, 所以20n D -≠, 可得222220n n n n n A L D U D -----==≠, 从⽽20n A -≠. 依此类推可得0k A ≠()1,2,,1k n =- .综上所述, 定理证明完毕.推论 1[]3 设A 是n 阶⽅阵, 则A 可惟⼀进⾏杜利特分解的充分必要条件是A 的前1n -个顺序主⼦式11110k k k kka a A a a =≠,1,2,,1k n =- , 其中L 为单位上三⾓矩阵, 即有11121212223132121111n nnn n n n n u u u l u u l l A u l l l -=并且若A 为⾮奇异矩阵, 则充要条件可换为: A的各阶顺序主⼦式全不为零, 即:0k A ≠,1,2,,k n = .推论 2[]3 n 阶⽅阵A 可惟⼀地进⾏克劳特分解111212122212111n nn n nnl u u ll u A LUl l l==的充要条件为11110k k k kka a A a a =≠, 1,2,,1k n =- .若A 为奇异矩阵, 则0nn l =, 若A 为⾮奇异矩阵, 则充要条件也可换为0k A ≠, 1,2,,k n = .定理 1.3[]3 设A 为对称正定矩阵, 则A 可惟⼀地分解为T A LDL =, 其中L 为下三⾓矩阵, D 为对⾓矩阵, 且对⾓元素是L 对⾓线元素的倒数. 即2212n n nnl l l L l l l ?? ?=, 1122111nn l l D l ?? ? ? ? ?=. 其中11/j ijij ik jk kkk l a l l l -==-∑,1,2,,ni = , 1,2,,j i = .。
矩阵分析与计算--05-矩阵分解-02-Schur、SVD
A1 11
由于 1 1, 故1可扩展成C n空间的一组标准正交基，令
U1 1 , 2 ,
,n
则U1为酉矩阵，并且
AU1 A 1 , 2 , 11 , A 2 ,
, n A1 , A 2 , , A n
, A n
设A (aij ) C nn 为Hermite矩阵
a11 a12 Ak a1k a12 a22 a2 k a1k a2 k akk
k det Ak
(k 1,
, n)
（4）A是Hermite正定矩阵 分别称为A的k阶顺序主子阵和顺序主子式，则 k det Ak 0 (k 1, , n)
线性代数中的矩阵分解方法
线性代数中的矩阵分解方法矩阵分解方法是线性代数中的关键概念之一，它通过将一个矩阵分解为多个简化的矩阵形式，从而简化计算和分析。
在本文中，我们将介绍线性代数中常见的矩阵分解方法，并讨论它们的应用和优势。
一、LU分解LU分解是将一个方阵分解为一个下三角矩阵L和一个上三角矩阵U的过程。
通过LU分解，我们可以方便地求解线性方程组，计算逆矩阵等操作。
LU分解的过程可以通过高斯消元法来实现，如下所示：[ A ] = [ L ] [ U ]其中，[ A ]是需要分解的方阵，[ L ]是下三角矩阵，[ U ]是上三角矩阵。
二、QR分解QR分解是将一个矩阵分解为一个正交矩阵Q和一个上三角矩阵R 的过程。
QR分解广泛应用于最小二乘拟合、信号处理和图像处理等领域。
QR分解的过程可以通过Gram-Schmidt正交化方法来实现，如下所示：[ A ] = [ Q ] [ R ]其中，[ A ]是需要分解的矩阵，[ Q ]是正交矩阵，[ R ]是上三角矩阵。
三、奇异值分解（SVD）奇异值分解是将一个矩阵分解为一个正交矩阵U、一个对角矩阵Σ和一个正交矩阵V的过程。
SVD广泛应用于图像压缩、降噪和数据降维等领域。
奇异值分解的过程可以通过特征值分解和奇异值分解算法来实现，如下所示：[ A ] = [ U ] [ Σ ] [ V ]^T其中，[ A ]是需要分解的矩阵，[ U ]是正交矩阵，[ Σ ]是对角矩阵，[ V ]是正交矩阵。
四、特征值分解特征值分解是将一个方阵分解为一个特征向量矩阵P和一个特征值对角矩阵D的过程。
特征值分解广泛应用于谱分析、动力系统和量子力学等领域。
特征值分解的过程可以通过求解特征值和特征向量来实现，如下所示：[ A ] = [ P ] [ D ] [ P ]^(-1)其中，[ A ]是需要分解的方阵，[ P ]是特征向量矩阵，[ D ]是特征值对角矩阵。
五、Cholesky分解Cholesky分解是将一个对称正定矩阵分解为一个下三角矩阵L和其转置矩阵的乘积的过程。
矩阵奇异值分解具体计算过程_解释说明以及概述
矩阵奇异值分解具体计算过程解释说明以及概述1. 引言1.1 概述矩阵奇异值分解（Singular Value Decomposition，简称SVD）是一种重要的矩阵分解方法，广泛应用于数据降维、图像处理、推荐系统和信号处理等领域。
通过将一个矩阵分解为三个独特的部分，即原始矩阵的奇异向量和奇异值，SVD 可以提供有关原始数据的宝贵信息。
本文旨在详细介绍矩阵奇异值分解的具体计算过程，并对其应用领域以及算法优化和改进方向进行探讨。
首先，我们将给出该方法的定义和基本原理，并描述其计算方法和数学推导。
接着，我们将深入探究矩阵奇异值分解在图像压缩与降维、推荐系统和数据挖掘以及信号处理和模式识别等方面的应用。
然后，我们将讨论近似求解算法、加速技术以及大规模矩阵奇异值分解算法的最新进展。
最后，我们还将探索结合其他矩阵分解技术发展方向。
1.2 文章结构本文共包含五个主要部分。
第一部分是引言，主要概述了本文的目的和结构。
第二部分将详细介绍矩阵奇异值分解的具体计算过程，包括定义、基本原理、计算方法和数学推导。
第三部分将解释说明矩阵奇异值分解在不同领域中的应用，如图像压缩与降维、推荐系统和数据挖掘以及信号处理和模式识别。
第四部分将讨论矩阵奇异值分解算法的优化和改进方向，包括近似求解算法、加速技术以及结合其他矩阵分解技术的发展方向。
最后一部分是结论，总结文章的主要内容和贡献，并对未来研究方向进行展望。
1.3 目的本文旨在通过详细讲解矩阵奇异值分解的具体计算过程，深入理解其原理和应用，并探讨其改进方向。
通过对该方法进行全面系统地介绍，希望能够增加读者对矩阵奇异值分解有关知识的了解，并为相关领域的研究者提供参考和启示。
同时，本文也为后续相关领域深入研究和应用提供了理论基础和开发方向。
2. 矩阵奇异值分解具体计算过程2.1 矩阵奇异值分解定义和基本原理矩阵奇异值分解（Singular Value Decomposition，简称SVD）是一种常用的矩阵分解方法。
矩阵的分解
§9. 矩阵的分解矩阵分解是将一个矩阵分解为比较简单的或具有某种特性的若干矩阵的和或乘积，这是矩阵理论及其应用中常见的方法。
由于矩阵的这些特殊的分解形式，一方面反映了原矩阵的某些数值特性，如矩阵的秩、特征值、奇异值等；另一方面矩阵分解方法与过程往往为某些有效的数值计算方法和理论分析提供了重要的依据，因而使其对分解矩阵的讨论和计算带来极大的方便，这在矩阵理论研究及其应用中都有非常重要的理论意义和应用价值。
这里我们主要研究矩阵的三角分解、谱分解、奇异值分解、满秩分解及特殊矩阵的分解等。
一、矩阵的三角分解——是矩阵的一种有效而应用广泛的分解法。
将一个矩阵分解为酉矩阵（或正交矩阵）与一个三角矩阵的乘积或者三角矩阵与三角矩阵的乘积，这对讨论矩阵的特征、性质与应用必将带来极大的方便。
首先我们从满秩方阵的三角分解入手，进而讨论任意矩阵的三角分解。
定义1 如果(1,2,,)ii a i n =均为正实数，()(,1,2,1;∈<=-ij a C R i j i n1,2,),=++j i i n 则上三角矩阵11121222000⎛⎫⎪ ⎪= ⎪⎪⎝⎭n n nn a a a a a R a 称为正线上三角复（实）矩阵，特别当1(1,2,,)ii a i n ==时，R 称为单位上三角复（实）矩阵。
定义2如果(1,2,,)ii a i n =均为正实数，()(,1,2,1;∈>=-ij a C R i j i n1,2,),=++j i i n 则下三角矩阵11212212000⎛⎫ ⎪ ⎪= ⎪⎪⎝⎭n n nn a a a L a a a称为正线下三角复（实）矩阵，特别当1(1,2,,)ii a i n ==时，L 称为单位下三角复（实）矩阵。
定理1设,⨯∈n nnA C 则A 可唯一地分解为 1=A U R其中1U 是酉矩阵，R 是正线上三角复矩阵；或者A 可唯一地分解为2=A LU其中2U 是酉矩阵，L 是正线下三角复矩阵。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1
酉矩阵： U U
H
1
U 为酉矩阵 U的列(行)向量为C n的标准正交基
任意复方阵都可以酉相 似于一个上三角矩阵
U AU R=+N
H
定理证明：对n作数学归纳法
当n =1，结论显然成立。 假设结论对n-1的矩阵成立，下面考虑A为n方阵 取矩阵A的一个特征值为 1 ，设其对应的单位特 征向量为 1 ，则有
2.概念：酉相抵
1. 酉相抵：
酉
F 上的m n矩阵A与B称为酉相抵，如果有m阶 和n阶酉方阵U 和V , 使UAV B, 记为A B
酉相抵关系是一种等价关系！也称为“酉等价”
酉相抵标准型定理：
酉相抵标准型定理
定理3
设A F mn ,rankA = r ,记
2 specAH A 12 , 2 ,
i Ai
T i
Ai 为A的 投影阵
单纯矩阵的 谱分解
三、矩阵的奇异值分解
Singular value decomposition
(SVD)
1.概述
前面介绍的Jordan分解、Schur分解、谱分解 只适用于方阵。 对角矩阵比上三角矩阵更容易计算 奇异值分解把矩阵分解称为酉矩阵与对角矩阵 的乘积 奇异值分解基本适用于内积空间中与矩阵秩相 关的问题 A的奇异值分解依赖于正规矩阵A HA的酉相似 分解的。
Matrix Analysis and Computations
矩 阵 分 析 与 计 算 ——矩阵分解（二）
Matrix Decomposition 理学院 2011年10月
本讲主要内容 Schur分解、谱分解与奇异值分解
Schur分解 • 分解定理 • 定理的应用 谱分解
奇异值分解
一、矩阵的Schur分解
T
( n 1)( n 1)
由归纳假设，有 2 3 H
U 2 TU 2
1 0 令U =U1 , 则U 为一酉矩阵 0 U2 1 0 H 1 0 H U AU U AU1 H 1 0 U2 0 U2 1 0 H 1 1 0 U U1 0 U H 1 0 U 0 T 2 2
A Pdiag{1 , 2 , 1T
, n }P1
A i i iT
i 1
n
记i iT Ai，则
则{Ai }满足 A2 A i i Ai Aj 0, i j n A E i i 1
T A i i i i A i i 1 i 1 n n
n
则 RR H U H AU (U H AU ) H U H AU (U H AHU )
U H AUU H AHU U H AAHU U H AH AU H H H U A UU AU (U H AU ) H U H AU R H R
故R是正规矩阵，由于R是上三角矩阵，故R为对角阵
n n j 1
A i C A i tij j
则T C
n n 11 , t2 j j , , tnj j j 1 j 1 tn1 1 t21 0 t22 tn 2 1 1 , 2 , , n U1 0 tnn 0 t2 n
推论: Hermite正定矩阵的行列式大于零
13
结论2
设 AC
mn
，则AHA和AAH 是半正定矩阵 的特征值全为非负实数；
H H A A AA 1） 和
（2）AAH 与AH A 的非零特征值相同
3) rank( AH A) rank( AAH ) rank A
14
结论3 正规矩阵
A A AA A为正规矩阵
H
, , 0,
2 r
, 0},
i i 1 0, i 1, 2, , r 1
则称 1 , 2 , , r 为矩阵A的非零奇异值
由酉相抵标准型定理，则有
对任意矩阵A F
mn
, 总可以取A的如下分解
矩阵的 奇异值分解
A U m A VnH
其中U、V 为酉矩阵， 1 A 0
n
1 AU1 U1 0 T
1 0 1 1 0 U AU 0 U H 0 U 0 T 2 2
H
1 H 0 U TU 2 2
1 2 H U AU
1 0 U =U1 0 U 2
U H AU R
问题：U1,U2能否为Householder变换阵？
Ax1 1 x1 H H AH 1 1 H1 x1 1 H1 x1 H1 x1 1e1 1 * H H1 AH1 0 T
正规矩阵的特征值位置决定矩阵的类型
二、谱分解
定理2：设A C nn , 则A为正规矩阵 A酉相似于对 角阵，且对角线上元素为A的特征值
对正规矩阵A，有
U H AU U 1 AU diag{1 , 2 , 设U （u1 , u2 , , un）,则 A Udiag{1 , 2 , , n }U
由于反Hermite矩阵为正规矩阵，有
A为反Hermite矩阵 A酉相似于对角阵，对角线上元 素为A的特征值，特征值或为0或为纯虚数
结论4
定理2：设A C nn , 则A为正规矩阵 A酉相似于对 角阵，且对角线上正规矩阵，有
A为酉矩阵 A为特征值均落在单位圆周上的 正规矩阵 A为酉矩阵 A酉相似于对角阵，且对角线 上元素为A的特征值，特征值的模均为1
1
, n }
i ui uiH
n
记uiuiH Ai，则
i 1
则{Ai }满足 AH A 0，A2 A i i i i Ai Aj 0, i j n A E i i 1
A i ui uiH i Ai
设A (aij ) C nn 为Hermite矩阵
a11 a12 Ak a1k a12 a22 a2 k a1k a2 k akk
k det Ak
(k 1,
, n)
（4）A是Hermite正定矩阵 分别称为A的k阶顺序主子阵和顺序主子式，则 k det Ak 0 (k 1, , n)
矩阵的Schur分解在理论上很重要，是很多重 要定理证明的出发点 矩阵的Schur分解是一种理论上的存在，而实 际上通常不方便通过有限次运算而获得，通常 用迭代方法进行逼近的矩阵分解 在内积空间中讨论问题，涉及： – 空间 Cn、 Cnn，
1.Schur定理
设矩阵A的特征值为1，2， ，n ,则总存在相似酉 矩阵U ,将A化为上三角阵。即U AU R，且R的对 角线元素为1，2， ，n
2.有关结论与应用
• Hermite矩阵正定性的定义 设 A C nn ，且 AH A ，即A是 Hermite矩阵。如果对任意 0 x C n 都有
x Ax 0 ( 0)
H
则称A是Hermite正定矩阵（半正定矩阵）
f ( x) x Ax
H
Hermite二次型
11
结论1
n
为上三角形矩阵，从而结论成立
问题
Schur定理：U AU R
H
2 U TU 2 0 T 2
H 2
证明Schur定理的关键步骤：
1 1 H AU1 U1 U1 AU1 , 0 T 0 T
A Udiag{1 , 2 , AH Udiag{1 , 2 , , n }U 1 , n }U 1
于是 AAH Udiag{1 1 , 2 2 , , n n }U 1 AH A 于是A是正规矩阵
必要性 由Schur定理，
1 2 H U AU R
H1 AH1H e1 1e1
Schur定理：U AU R N
H
推论1 如果矩阵A 为Hermite矩阵,则总存在酉矩阵U ,使得 U H AU diag(1，2， ，n )
概念：A为厄米特矩阵
A A H A为反厄米特矩阵 A A
H
推论2 如果矩阵A 为实对称矩阵,则存在正交矩阵Q,使得 U T AU diag(1，2， ，n )
r
AA
酉
矩阵U，V的空间性质:右左奇异向量
将矩阵A的奇异值分解A U AV H 进行移项
AV U AV HV U A
A1 11
由于 1 1, 故1可扩展成C n空间的一组标准正交基，令
U1 1 , 2 ,
,n
则U1为酉矩阵，并且
AU1 A 1 , 2 , 11 , A 2 ,
, n A1 , A 2 , , A n
, A n
结论4
定理2：设A C nn , 则A为正规矩阵 A酉相似于对 角阵，且对角线上元素为A的特征值
由于Hermite矩阵为正规矩阵，有
A为Hermite矩阵 A酉相似于对角阵，对角线上元 素为A的特征值，所有特征值均为实数
结论4
定理2：设A C nn , 则A为正规矩阵 A酉相似于对 角阵，且对角线上元素为A的特征值
A为Hermite矩阵 A酉相似于对角阵，对角线上元 素为A的特征值，所有特征值均为实数 A为反Hermite矩阵 A酉相似于对角阵，对角线上元 素为A的特征值，特征值或为0或为纯虚数