12.第十二讲 矩阵分解之二
矩阵理论课件-第二章 矩阵的分解
故xH AH Ax=xH x= 2 xH x，因为AH A=I，所以 2 =1.
(因为xH x= x 2 0)
:由条件UHAU=diag{1, , n}共轭转秩得UHAHU=
diag{1,
, n}，所以UHAAT U=diag{ 1 2 ,
,
n
2
}=I
，
n
所以AAT =In .
注1：设A Cnn ,则
Cmr r
,
C
Ir
D
Crn r
.
下设A的前r个列向量线性相关,只需先做列变换，变成
线性无关，
因此存在P
Cmmm，Q
Cnn n
,
满足
PAQ=
Ir 0
D 0
或A=P-1
Ir 0
D 0
Q-1
=P-1
Ir 0
I
r
=BC
D Q-1
其中B=P-1
Ir 0
Cmr r
,C
Ir
D
讨论知AH x1, , AH xp为AH A属于i 0的特征向量，只要证明
AH x1, , AH xp线性无关，就证明了AAH的p重特征值也是AH A 的p重特征值.
下证AH x1, , AH xp线性无关.
设k1AH x1
k p AH xp 0.则( AH x1,
,
AH
xp
)
k1
0
kp
H
=
1 2
11，可知|I-A|无重根，
A为单纯矩阵，但AAH AH A.
推论1：A为正规矩阵,当且仅当A有n个特征向量构成Cn的一组 标基，且A的不同特征值的特征向量正交.
推论2：设A R nn ,则
矩阵论之矩阵的分解
矩阵的分解一、矩阵的三角分解 定义 3.1 设.n nA F⨯∈(1) 若,n n L U F ⨯∈分别为下三角矩阵和上三角矩阵，,A LU =则称A 可作LU 分解。
(2) 若,n n L U F ⨯∈分别是对角线元素为1的下三角矩阵和上三角矩阵，D 为对角矩阵。
,A LDU = 则称A 可作LDU 分解。
用Gauss 消去法，一个方阵总可以用行初等变换化为上三角矩阵，若只用第i 行乘以数k 加到第j 行（i j <）型初等变换就能把A 化为上三角矩阵U ，则有下三角形可逆矩阵,P 使,PA U =从而有LU 分解：1.A P U -=例1 设223477245A ⎡⎤⎢⎥=⎢⎥⎢⎥-⎣⎦，求A 的LU 分解和LDU 分解。
解 为求,P 对下面的矩阵做如下行初等变换：3223100223100()477010031210245001068101223100031210006521A I ⎡⎤⎡⎤⎢⎥⎢⎥=→-⎢⎥⎢⎥⎢⎥⎢⎥-⎣⎦⎣⎦⎡⎤⎢⎥→-⎢⎥⎢⎥-⎣⎦因此 100223210,031521006P PA ⎡⎤⎡⎤⎢⎥⎢⎥=-=⎢⎥⎢⎥⎢⎥⎢⎥-⎣⎦⎣⎦. 令1100223210,031121006L P U -⎡⎤⎡⎤⎢⎥⎢⎥===⎢⎥⎢⎥⎢⎥⎢⎥-⎣⎦⎣⎦则223031.006A L LU ⎡⎤⎢⎥==⎢⎥⎢⎥⎣⎦再利用初等变换，有31121002121030131216001A ⎡⎤⎢⎥⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥-⎢⎥⎣⎦⎣⎦⎢⎥⎢⎥⎣⎦就得到A LDU =其中 311210021210,3,0131216001L D U ⎡⎤⎢⎥⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥===⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥-⎢⎥⎣⎦⎣⎦⎢⎥⎢⎥⎣⎦一般来说，,LU LDU 分解一般不是惟一的。
下面讨论方阵的LU 和LDU 分解的 存在性和唯一性。
定理 3.1 设(),n nij n n A a F ⨯⨯=∈ 则A 有惟一LDU 分解A LDU =的充分必要条件是A 的顺序主子式1112121222012......0,1,2,...,;1,...............k k k k k kka a a a a a k n a a a ∆=≠=∆=其中 121,;1,2,...,...k k k n d d D d k n d -⎡⎤⎢⎥∆⎢⎥===⎢⎥∆⎢⎥⎣⎦证明：只证充分性：对A 的阶数n 进行归纳证明11111111,()(1)()(1)n A a a L DU ==== 所以定理对1n =成立，设定理对1n -成立，即 (1)(1)111()ij n n n n n A a L D U -⨯----== 则对,n 将A 分块成1n n Tnnn A A u a τ-⎡⎤=⎢⎥⎣⎦其中 121,12,1(,,...,),(,,...,),TTn n n n n n n n n n a a a u a a a τ--==设111100,1001n n n n n n T T n nn nn A L D V v u a l d τ----⎡⎤⎡⎤⎡⎤⎡⎤=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦ 比较两边，则有1111,n n n n A L D U ----= (3.1)11n n n n L D v τ--= (3.2)11T Tn n n n u l D U --= (3.3) 1T nn n n n n a l D v d -=+ (3.4)由归纳假设（3.1）式成立。
矩阵分解——精选推荐
矩阵分解矩阵分解矩阵分解是将矩阵拆解为数个矩阵的乘积，可分为三⾓分解、满秩分解、QR分解、Jordan分解和SVD（奇异值）分解等，常见的有三种.矩阵的三⾓分解、正交三⾓分解、满秩分解将矩阵分解为形式⽐较简单或性质⽐较熟悉的⼀些矩阵的乘积,这些分解式能够明显地反映出原矩阵的许多数值特征,如矩阵的秩、⾏列式、特征值及奇异值等. 另⼀⽅⾯, 构造分解式的⽅法和过程也能够为某些数值计算⽅法的建⽴提供了理论依据. 接下来就讨论⼀下矩阵的三⾓分解.1 矩阵的三⾓分解1.1 矩阵的三⾓分解基本概念与定理定义1.1[]5设m n∈和上三⾓矩L C?A C?∈,如果存在下三⾓矩阵m n阵n m∈, 使得A=LU, 则称A可作三⾓分解或LU分解.U C?定义1.2设A为对称正定矩阵, D为⾏列式不为零的任意对⾓矩阵,则T=成⽴：A A=, U为⼀个单位上三⾓矩阵, 且有A LDU1) 如果L是单位下三⾓矩阵, D是对⾓矩阵, U是单位上三⾓矩阵, 则称分解D=为LD U分解.A L U2) 如果L=LD是下三⾓矩阵, ⽽U是单位上三⾓矩阵, 则称三⾓分解A LUCrout分解;= 为克劳特()3) 如果U DU是单位下三⾓矩阵, U 为上三⾓矩阵, 则称三⾓=分解A LUDoolittle分解;= 为杜利特()U --=== , 称为不带平⽅根的乔累斯基()Cholesky 分解;5) 如果12L D L = , 12D U U= , 则1122A LD U LD D U LU=== , 由于T UL = , 则T A LL= , 称为带平⽅根的乔累斯基()Cholesky 分解. 定理 1.1 n阶⾮奇异矩阵A可作三⾓分解的充要条件是k 0A ≠()1,2,,1k n =- ,这⾥A k为A 的k 阶顺序主⼦阵, 以下同.证明必要性. 设⾮奇异矩阵A 有三⾓分解A L U=, 将其写成分块形式k12k122122212222A L 0U =A A 0U kA U L L这⾥A k ,k L 和k U 分别为A, L和U 的k 阶顺序主⼦阵. ⾸先由0⽽L 0k ≠,U 0k ≠; 因此A =L U0kkk ≠()1,2,,1k n =-.充分性. 对阶数n 作数学归纳法. 当n=1时, 1A =（11a ）=（1）（11a ）,结论成⽴. 设对n k =结论成⽴, 即k =k k A L U , 其中k L 和k U 分别是下三⾓矩阵和上三⾓矩阵. 若k 0A ≠,则由kA =L k k U 易知L k 和k U 可逆. 现证当1n k =+时结论也成⽴, 事实上-1k k k k1TT 1T 1-1k+1,1k 1,1k k k A c 0c A =10c kkk T kk k k k k L U L r a r U a r U L +--+++??= ? ?-.由归纳法原理知A 可作三⾓分解.定理 1.1 给出了⾮奇异矩阵可作三⾓分解的充要条件, 由于不满⾜定理1.1的条件, 所以它不能作三⾓分解. 但110000110011211011202A ?????????? ?===.上例表明对于奇异矩阵,它还能作三⾓分解未必要满⾜定理1.1的条件.⾸先指出,⼀个⽅阵的三⾓分解不是唯⼀的, 从上⾯定义来看,杜利特分解与克劳特分解就是两种不同的三⾓分解,其实,⽅阵的三⾓分解有⽆穷多, 这是因为如果D 是⾏列式不为零的任意对⾓矩阵, 有1()()A LU C D D U LU-== ,其中,LU 也分别是下、上三⾓矩阵, 从⽽A LU = 也使A 的⼀个三⾓分解. 因D 的任意性, 所以三⾓分解不唯⼀. 这就是A 的分解式不唯⼀性问题, 需规范化三⾓分解.定理 1.2 （LD U 基本定理）设A 为n 阶⽅阵,则A 可以唯⼀地分解为A =LD U(1.1)的充分必要条件是A 的前1n -个顺序主⼦式k 0A ≠()1,2,,1k n =- .其中L,U分别是单位下、上三⾓矩阵, D是对⾓矩阵D=diag ()12,,,n d d d ,1k k k A d A -=()1,2,,kn = , 01A =.证明充分性. 若k 0A ≠()1,2,,1k n =- , 则由定理1.1, 即实现⼀个杜利特分解A LU= , 其中L 为单位下三⾓矩阵, U 为上三⾓矩阵,记1112122==()()()()()()1111112122222n n n nn a a a a a a ??=()n A , 因为()u 0i ii ii a ≡≠()1,2,,1i n =- .下⾯分两种情况讨论：1) 若A ⾮奇异,由式(1)有n ?=()()() 121122n nn a a a =A ≠, 所以()n nn nna u =≠,这时令()()()()121122diag n nn D a a a = , 则() ()()1121122111,,,n nn D diag a a a -??= ?.LD D U LDU -=== (1.2)是A 的⼀个LD U 分解.2)若A 奇异,则()u 0i iiii a ≡=,此时令()()()12111221,1(,,,,0)n n n D diag a a a ---= ,()()()()121n-111221,1,,,n n n D diag a a a ---= , α=()1n1u,,,Tn u n - ,则10n T UU α-??≡ =1111110=DU 0001n n n n T T U D U D α------,因此不论哪种情况, 只要k0A ≠()1,2,,1k n =- , 总存在⼀个LD U分解式(1.1),1a kk k kk k A d A -==()1,2,,1kn =- ,01A =.均⾮奇异.若还存在另⼀个LD U 分解111A L D U =, 这⾥1L ,1D , 1U 也⾮奇异,于是有111L D U L D U =(1.3)上式两端左乘以11L -以及右乘以1U -和1D -, 得111111L L D U U D---=, (1.4)但式(1.4)左端是单位下三⾓矩阵, 右端是单位上三⾓矩阵, 所以都应该是单位阵, 因此1LL I-=,1111D U UDI--=,即1L L =,111--=. 由后⼀个等式类似地可得11U UI-=,11D D I-=,即有1U U=,1D D=.2) 若A 奇异, 则式(1.3)可写成分块形式1111100001000110001T T T T T L D U L D U ααββ= ? ? ? ? ? ???????????, 其中1L, 1L 是1n -阶单位下三⾓阵; U , 1U 是1n -阶上三⾓阵; D,1D 是1n -阶对⾓阵; α, 1α,β, 1β是1n -维列向量. 由此得出111111=D U D DUD ααββαββα???? ? ???, 其中1L, 1D , 1U 和L ,D, U均⾮奇异, 类似于前⾯的推理, 可得1L =L ,1D =D , 1U =U ,1=αα,T T1=ββ.必要性. 假定A 有⼀个唯⼀的LD U 分解, 写成分块的形式便是1111A 00=0101n n n n T T nn n x D L U ya d αβ----,(1.5)其中1n L -,1D n -, 1n U -, 1n A -分别是L,A的1n -阶顺序主⼦矩阵;x , y, α,β为1n -维列向量. 由式(1.5)有下⾯的矩阵⽅程:1111n n n n A L D U ----=, (1.6)11TTn n yD U β--=,(1.7)11n n x L D α--=, (1.8)1Tnn n na D d βα-=+. (1.9)否则, 若10n A -=, 则由式(1.6)有111110n n n n n A L D U D -----===.于是有1110n n n L D D ---==, 即11n n L D --奇异. 那么对于⾮其次线性⽅程组(1.8)有⽆穷多⾮零解, 不妨设有α', 使11n n L D x α--'=, ⽽α'=α.同理, 因11n n D U --奇异, ()1111TTT n n n n L D U D ----=也奇异,故有ββ'≠, 使11TTn n U D yβ--=, 或11TTn n D U yn nn n d a D βα-'''=-, 则有1111000101n n n n T T nn nA x D L U y a d αβ----'= ? ? ? ?'',这与A 的LD U 分解的唯⼀性⽭盾, 因此10n A -≠.考察1n -阶顺序主⼦矩阵1n A -由式(1.6)写成分块形式, 同样有2222n n n n A L D U ----=. 由于10n D -≠, 所以20n D -≠, 可得222220n n n n n A L D U D -----==≠, 从⽽20n A -≠. 依此类推可得0k A ≠()1,2,,1k n =- .综上所述, 定理证明完毕.推论 1[]3 设A 是n 阶⽅阵, 则A 可惟⼀进⾏杜利特分解的充分必要条件是A 的前1n -个顺序主⼦式11110k k k kka a A a a =≠,1,2,,1k n =- , 其中L 为单位上三⾓矩阵, 即有11121212223132121111n nnn n n n n u u u l u u l l A u l l l -=并且若A 为⾮奇异矩阵, 则充要条件可换为: A的各阶顺序主⼦式全不为零, 即:0k A ≠,1,2,,k n = .推论 2[]3 n 阶⽅阵A 可惟⼀地进⾏克劳特分解111212122212111n nn n nnl u u ll u A LUl l l==的充要条件为11110k k k kka a A a a =≠, 1,2,,1k n =- .若A 为奇异矩阵, 则0nn l =, 若A 为⾮奇异矩阵, 则充要条件也可换为0k A ≠, 1,2,,k n = .定理 1.3[]3 设A 为对称正定矩阵, 则A 可惟⼀地分解为T A LDL =, 其中L 为下三⾓矩阵, D 为对⾓矩阵, 且对⾓元素是L 对⾓线元素的倒数. 即2212n n nnl l l L l l l ?? ?=, 1122111nn l l D l ?? ? ? ? ?=. 其中11/j ijij ik jk kkk l a l l l -==-∑,1,2,,ni = , 1,2,,j i = .。
12 特征值估计、广义特征值与极大极小原理
第十二讲 矩阵特征值估计特征值计算较困难，希望找到简便的特征值界限或分布范围的估计方法。
一、 特征值界的估计定理1. 设n n A R ⨯∈，λ为A 的任意特征值，则有()Im Mλ≤其中，ij ji1i ,j na a Mm a x2≤≤-=证明：设x 为A 的属于特征值λ的单位特征向量，即A xx=λ，Hx x 1=，则 Hx A xλ=→()()HHHH Hx A x xA x x A xλ===()()()HHHT2jIm xAAxxAAx λ-λ=λ=-=-将x 写成[]T12n x,,,=ξξξ()()nnHTi ij ji ji 1j 1xAAx a a ==-=ξ-ξ∑∑()()()n ni ij ji ji 1j 1nn i ij ji ji 1j 12I m a a a a ====λ=ξ-ξ≤ξ-ξ∑∑∑∑n'i j ij jii ,j 1a a ==ξξ-∑（'∑表示不含i ＝j ）n'i ji ,j 12M=≤ξξ∑()2n22'i j i ,j 1I m M=⎛⎫λ≤ξξ ⎪⎝⎭∑()n22'i ji ,j 1M n n 1=≤-ξξ∑()n222'iji ,j 1M n n 1==-ξξ∑nnnnn2222424'ijijiiii ,j 1i ,j 1i 1i 1i 1=====ξξ=ξξ-ξ≤ξ-ξ∑∑∑∑∑()n22iii 11==ξ-ξ∑不妨写为： ()()()n2222221122ii i 3111==ξ-ξ+ξ-ξ+ξ-ξ∑()()()222222n112222iii 311122=⎛⎫⎛⎫ξ+-ξξ+-ξ ⎪⎪≤++ξ-ξ ⎪ ⎪⎪ ⎪⎝⎭⎝⎭∑12≤取等号的条件为221212ξ=ξ=，但2x1=，所以其它2iξ=∴()Im Mλ≤定理2. 设n n A R ⨯∈，λ为A 的任意特征值，则有 n λ≤ρ()R e n λ≤τ ()I m n sλ≤其中，ij1i,j nm a x a ≤≤ρ=，ij ji1i,j nm a x a a ≤≤τ=+，ij ji1i,j nsm a x a a ≤≤=-二、 盖尔圆法定义：设()n nijn nAa C⨯⨯=∈,由方程nii i ijj 1i jz a R a =≠-≤=∑所确定的圆称为A 的第i 个盖尔圆，i R 称为盖尔圆的半径。
线性代数中的矩阵分解方法
线性代数中的矩阵分解方法矩阵分解方法是线性代数中的关键概念之一，它通过将一个矩阵分解为多个简化的矩阵形式，从而简化计算和分析。
在本文中，我们将介绍线性代数中常见的矩阵分解方法，并讨论它们的应用和优势。
一、LU分解LU分解是将一个方阵分解为一个下三角矩阵L和一个上三角矩阵U的过程。
通过LU分解，我们可以方便地求解线性方程组，计算逆矩阵等操作。
LU分解的过程可以通过高斯消元法来实现，如下所示：[ A ] = [ L ] [ U ]其中，[ A ]是需要分解的方阵，[ L ]是下三角矩阵，[ U ]是上三角矩阵。
二、QR分解QR分解是将一个矩阵分解为一个正交矩阵Q和一个上三角矩阵R 的过程。
QR分解广泛应用于最小二乘拟合、信号处理和图像处理等领域。
QR分解的过程可以通过Gram-Schmidt正交化方法来实现，如下所示：[ A ] = [ Q ] [ R ]其中，[ A ]是需要分解的矩阵，[ Q ]是正交矩阵，[ R ]是上三角矩阵。
三、奇异值分解（SVD）奇异值分解是将一个矩阵分解为一个正交矩阵U、一个对角矩阵Σ和一个正交矩阵V的过程。
SVD广泛应用于图像压缩、降噪和数据降维等领域。
奇异值分解的过程可以通过特征值分解和奇异值分解算法来实现，如下所示：[ A ] = [ U ] [ Σ ] [ V ]^T其中，[ A ]是需要分解的矩阵，[ U ]是正交矩阵，[ Σ ]是对角矩阵，[ V ]是正交矩阵。
四、特征值分解特征值分解是将一个方阵分解为一个特征向量矩阵P和一个特征值对角矩阵D的过程。
特征值分解广泛应用于谱分析、动力系统和量子力学等领域。
特征值分解的过程可以通过求解特征值和特征向量来实现，如下所示：[ A ] = [ P ] [ D ] [ P ]^(-1)其中，[ A ]是需要分解的方阵，[ P ]是特征向量矩阵，[ D ]是特征值对角矩阵。
五、Cholesky分解Cholesky分解是将一个对称正定矩阵分解为一个下三角矩阵L和其转置矩阵的乘积的过程。
南航《矩阵论》矩阵的因子分解-2省公开课金奖全国赛课一等奖微课获奖PPT课件
0
1
0
0
2
1
0
0 0 0 0 3 1 1
3c2 c3 3c2 c4
1 0
0 0
2 1
0 0
0 1 3 3
0 0 0 1
1 0 0 0 1 0 0
0
1
3
3
2
1
0
0 0 0 0 3 1 1
c2 c3
1
0
2
0
0 0 1 0
0 1 0 0
0 0 0 1
13/72
到此知 A秩为2， 行、列变换矩阵分别为：
0.8 0.2
Q
( 1 ,
2,3
)
0.4 0.4
0.4 0.4
0.2 0.8
5 2 1
R
QT
A
0
2
1
0 0 2
0
2 2 2 2
0
37/72
Gram-Schmidt方法实质上是一个投影类方法，
它将 C m 正交投影到空间 span(1,2, , j1 )。 在标准Gram-Schmidt方法中，1,2, ,n 是逐 步计算出来，需要计算 时j ，才用到 ，j 以 前不需要改动 值j 。
71/72
• 存放矩阵Ak只需要存放k个奇异值，k个m维向 量ui和n维向量vj全部分量，共计k（m+n+1）个 元素。
• 假如m=n=1000，存放原矩阵A需要存放 1000×1000个元素。取k=100时，图象已经非 常清楚了，这时存放量是100（+1）=00个数。
39/72
第二步，对 An1 [2, , n] ，当 2 时，
存在Householder 矩阵 H2 ，使得
矩阵分解总结
矩阵分解总结
矩阵分解总结：
矩阵分解是一种被广泛应用于各个领域的数学方法，它将一个复杂的矩阵表示
为几个简化的矩阵相乘的形式。
矩阵分解在数据压缩、机器学习、信号处理等领域中具有重要的作用。
一种常见的矩阵分解方法是奇异值分解（SVD），它将一个矩阵分解为三个矩
阵的乘积，分别是左奇异向量矩阵、奇异值对角矩阵和右奇异向量矩阵。
SVD在
图像处理、推荐系统等领域中得到了广泛的应用。
另一种常见的矩阵分解方法是QR分解，它将一个矩阵分解为一个正交矩阵和
一个上三角矩阵的乘积。
QR分解在线性回归、最小二乘法等问题中起到了重要的
作用。
矩阵分解还有其他多种方法，如LU分解、Cholesky分解等。
它们各自在不同
领域具有独特的优势和应用。
矩阵分解的目标是将一个大型、复杂的问题简化为多个小型、简单的问题，进而提高计算效率和问题求解的准确性。
通过矩阵分解，我们可以发现矩阵中的隐藏模式、结构和特征，从而更好地理
解和处理数据。
无论是在科学研究、工程技术还是商业应用中，矩阵分解都起到了重要的作用，为进一步的数据分析和决策提供了有力支持。
总结起来，矩阵分解是一种重要的数学方法，它将复杂的矩阵拆解为简单的因子，以便更好地分析和处理数据。
不同的矩阵分解方法在不同领域有着广泛的应用，为数据科学和工程技术领域带来了重要的进展。
2024年度矩阵分析课件精品PPT
2024/3/24
6
矩阵性质总结
01
结合律
02
交换律
03 分配律
04
数乘结合律
数乘分配律
05
2024/3/24
(A+B)+C=A+(B+C)，(AB)C=A(BC)。 A+B=B+A，但AB≠BA。 (A+B)C=AC+BC，C(A+B)=CA+CB。 λ(μA)=(λμ)A，(λ+μ)A=λA+μA。 λ(A+B)=λA+λB。
12
03
线性方程组与矩阵解法
2024/3/24
13
线性方程组表示形式
80%
一般形式
Ax = b，其中A为系数矩阵，x为 未知数列向量，b为常数列向量 。
100%
增广矩阵形式
[A|b]，将系数矩阵A和常数列向 量b合并为一个增广矩阵。
80%
向量形式
x = Ab，表示通过矩阵A的逆求 解未知数列向量x。
04
典型例题解析
10
秩及其求法
2024/3/24
01
矩阵秩的定义与性质
02
利用初等变换求矩阵秩的方法
03
利用向量组的极大无关组求矩阵秩的方法
04
典型例题解析
11
典型例题解析
01 02 03 04
2024/3/24
初等变换与初等矩阵相关例题 矩阵等价性判断相关例题 秩及其求法相关例题 综合应用相关例题
矩阵分析课件精品PPT
2024/3/24
1
目
CONTENCT
录
2024/3/24
• 矩阵基本概念与性质 • 矩阵变换与等价性 • 线性方程组与矩阵解法 • 特征值与特征向量 • 相似对角化与二次型 • 矩阵函数与微分方程求解
矩阵理论中的矩阵分解算法
矩阵理论中的矩阵分解算法矩阵是线性代数中的重要概念，常被用于描述线性映射、线性变换、方程组等问题。
在矩阵运算中，矩阵分解是一种常见的方法，它将一个大型复杂的矩阵分解成一些维度更小、结构更简单的矩阵，使得问题的解决更加高效。
在矩阵计算、数据分析、信号处理、图像处理等领域中，矩阵分解算法被广泛应用。
本文将简要介绍几种经典的矩阵分解算法。
1. LU分解LU分解是最基本的矩阵分解算法之一。
对于一个$n\times n$的矩阵$A$，如果可以将其分解为一个下三角矩阵$L$和一个上三角矩阵$U$的积，即$A=LU$，则称$A$可以进行LU分解。
其中下三角矩阵$L$的对角线元素全为1，上三角矩阵$U$的对角线元素即为矩阵$A$的主元，即$A_{ii}=U_{ii}$。
LU分解可以在$O(n^3)$的时间内完成，是一种较为简单和实用的矩阵分解算法。
LU分解可用于求解线性方程组、求行列式和矩阵的逆矩阵等问题。
2. QR分解QR分解是一种将矩阵分解为正交矩阵和上三角矩阵的积的方法，即$A=QR$。
对于一个$n\times n$的矩阵$A$，$Q$是一个正交矩阵，即$Q^TQ=I_n$，$R$是一个上三角矩阵。
QR分解可以在$O(n^3)$的时间内完成。
QR分解可以用于计算线性最小二乘问题、求解特征向量和特征值等问题。
3. SVD分解SVD分解全称奇异值分解（Singular Value Decomposition），是一种将矩阵分解为三个矩阵乘积的方法：$A=U\Sigma V^T$，其中$U$是一个正交矩阵，$\Sigma$是一个对角矩阵，$V$也是一个正交矩阵。
其中，$\Sigma$的对角线上的元素称为奇异值，它们是矩阵$A$奇异值分解的重要参数，反映了矩阵$A$的性质。
SVD分解可以在$O(n^3)$的时间内完成。
SVD分解常常用于图像处理、数据降维、矩阵压缩等问题。
4. Cholesky分解Cholesky分解是一种将对称正定矩阵分解为一个下三角矩阵和其转置矩阵的积的方法。
矩阵的分解
§1 矩阵的三角分解
一、n 阶方阵的三角分解
定义 1
正线上三角阵
a11 a12 0 a 22 R 0 0
a1n a2 n ann
单位上三角阵
1 a12 0 1 R 0 0
a1n a2 n 1
( i 1,2,, k )
的解空间Vi 称为A的对应于特征值 i的特征
空间，则Vi 的维数称为 A的特征值i的
几何重复度 定义 3 若矩阵A的每个特征值的代数重 复度
与几何重复度相等，则 称矩阵A为单纯矩阵
定理6 设 A C nn是单纯矩阵，则 A可分解
为一系列幂等矩阵 Ai (i 1,2,, n)的加权和，
a1 , a2 , , an 线性无关
正交化、单位化
a1 1 || a1 || i 1 ai ( ai , j ) j j 1 i i 2, 3, , n i 1 || ai (ai , j ) j || j 1
9 16 5 16
§2 矩阵的谱分解
一、单纯矩阵的谱分解
定义 1 设 1 , 2 ,, k 是 A C nn 的相异特征值，
其重数分别为 r 1 , r 2 ,, rk , 则称 ri 为矩阵A的特
征值i的 代数重复度
定义 2 齐次方程组 Ax i x
的最大秩分解 .
~
2 1 3 4
2 1 3 4
解:
A
1 0 0 0
3 9 0 16 16 7 5 1 16 16 0 0 0 0 0 0
9 16 5 ~ A 16 0 0
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
= x − 1× ( x − x z) = x z
2006-12-12
1 例2：x = 2 , 求H-矩阵H 使得 Hx = x e1 2 −2 1 −1 解： x = 3, x − x e1 = 2 , u = 1 3 2 1
I − 2uuT 0 uT 1
2006-12-12
=
I 2u = −1 T 0 −1
定理4： R n 中 ( n > 1) , ∀x ≠ 0, ∀ 单位列向量 z
⇒ ∃H u , st H u x = x z
证明：(1) x = x z : n > 1 时，取单位向量u使得 u ⊥ x , 于是 H u = I − 2uuT : H u x = Ix − 2uuT x = x = x z x− x z , 有 (2) x ≠ x z : 取 u = x− x z
2006-12-12
奇异值分解
一、预备知识
2006-12-12
必要性．左乘即得； 充分性
2006-12-12
二、正交对角分解 定理15： An×n 可逆
⇒ ∃ 酉矩阵 Un×n ,Vn×n ，使得
证：A H A 是Hermite正定矩阵，ⅳ酉矩阵 Vn×n ，使得 改写为 令 U = AVD−1 , 则有 U HU = I , 从而U是酉矩阵。 由此可得 U H AV = U HUD = D
2 −1 1 1 2 2 H = I − 1 [ −1 1 1] = 2 1 −2 3 1 3 2 −2 1
Hx = 3e1
2006-12-12
G矩阵与H-矩阵的关系 定理5：G-矩阵 Tij ( c, s) ⇒ ∃ H-矩阵H u 与Hv ,st Tij = Hu Hv
y = x − 2u uT x
(
)
(
)
= I − 2uuT x = Hx
(
)
显然，H是正交矩阵 定义：设单位列向量 u ∈ R
n
，称 H = I − 2uu
T
为Householder矩阵(初等反射矩阵)，由H矩阵确定 的线性变换称为Householder变换。
2006-12-12
Householder矩阵
2006-12-12
a1 = b1 a2 = k21b1 + b2 − kn1b1 an = kn1b1 + + kn,n−1bn−1 + bn
( a1 , a2 ,
, an ) = ( b1 , b2 ,
, bn ) K 1 k21 1 bn kn1 kn2 1 1 k21 1 bn kn1 kn2 1
2006-12-12
三、奇异值分解
An×n ∈Crm×n (r ≥ 1) ⇒ AH A∈Crn×n 半正定
AH A 的特征值：λ1 ≥ λ2 ≥
≥ λr ≥ λr+1 =
= λn = 0
A的奇异值： σi = λi , i = 1,2, n 特点：（1）A的奇异值个数等于A的列数 （2）A的非零奇异值个数等于 rank A
2006-12-12
定理7： Am×n 列满秩
H Q Q ⇒ ∃ 矩阵 m×n 满足 Q = I ,
可逆上三角矩阵 Rn×n ，使得A=QR。
证明：同定理6
2006-12-12
2. G-变换方法
定理8： An×n 可逆
⇒ ∃ 有限个G-矩阵之积T，使得TA
为可逆上三角矩阵。 证明：略
2006-12-12
⑶ 称U的列为A的左奇异向量，称V的列为A的右 奇异向量．
2006-12-12
1 0 1 例10：称 A = 0 1 1 , 求 A = UDV T 0 0 0
1 0 1 解： AA = 0 1 1 = B, λ I − B = λ ( λ − 1)( λ − 3) 1 1 2
−1 0 1 2 1 −1 0 1 2 1 解（1）( A | I ) = 1 2 −1 1 1 → 0 2 0 3 1 1 1 2 2 −2 −1 0 0 0 0 1 −1 1
1 0 0 − 1 1 0 0 1 0 P = 1 1 0 , P = − 2 1 0 , F = − 1 1 1 − 1 1 −2 1 1 −2 1 G = −1 0 1 2 0 2 0 3
矩阵分析与应用
第十二讲 矩阵分解之二
2006-12-12
本讲主要内容
矩阵的QR分解 矩阵的满秩分解 矩阵的奇异值分解
2006-12-12
Householder矩阵
在平面 R 2 中，将向量 x 映射为关于 e1 对称的 向量y的变换，称为是关于 e1轴的镜像(反射)变换 设
ξ1 x= ，有 ξ 2
2006-12-12
满秩分解
m×r m×r m×r A ∈ C ( r ≥ 1), F ∈ C , G ∈ C 目的：对 求 及 使 A = FG r r r
分解原理：
2006-12-12
−1 0 1 2 例9: A = 1 2 −1 1 , 求A=FG 2 2 −2 −1
2006-12-12
1 0 1 例8: 用H-变换化 A = 0 1 2 正交相似于“三对角矩阵” 1 2 1
解: β
(0)
1 −1 0 1 − (0) (0) : β − β e1 = ,u = = 1 1 1 2
1 1 0 1 0 1 QA = 1 2 1 , QAQT = 1 1 2 0 1 2 0 1 0
2. H-变换方法
定理10：An×n 可逆 ⇒ ∃ 有限个H-矩阵之积S， 使得SA为可逆上三角矩阵。 证明：略
2006-12-12
五、化方阵与Hessenberg矩阵相似
定理11： An×n ，则存在有限个G-矩阵之积Q，使得 定理12： An×n ，则存在有限个H-矩阵之积Q，使得 推论： An×n 实对称 ⇒∃存在有限个H-矩阵(G-矩阵) 之积Q，使得
Q=
1 1 1 6 3 2 2 1 0 − 6 3 1 1 1 − 6 3 2
1 1 6 1 R= 3 1 2
7 6 6 7 6 6 1 1 3 = 3 3 1 1 2
2006-12-12
而 det G = 1
0 T (0,1) = 例3：G-矩阵 ij −1
1 c = 0, s = 1 ⇒ θ = π 2 中， 0
1 −1 −1 1 1 −1 , Hv = Hu = −1 1 −1 −1 2 2 ⇒ Hu Hv = 0 1 −1 0
s 证明： c + s = 1 ⇒ 取 θ = arctan , 则 cosθ = c,sinθ = s c
2 2
I sinθ (i) cosθ Tij (c, s) = I cosθ ( j ) − sinθ I
v = 0
2006-12-12
0 sin
θ
4
0
0 cos
θ
4
0
0
T
I Hv = I =
2006-12-12
O θ θ 2θ sin sin cos 1 4 4 4 I O − 2 1 θ θ 2θ sin cos cos I 4 4 4 O θ θ − sin cos 2 2 I θ θ − sin − cos 2 2 I
2006-12-12
四、QR分解
1. Schmidt正交化方法 定理6： An×n 可逆
⇒ ∃ 正交矩阵Q，可逆上三角
矩阵R，使得A=QR。 证明：A = (a1 , a2 , , an ) 可逆 ⇒ a1 , a2 , , an 线性无关， 正交化后可得：
b1 = a1 b2 = a2 − k21b1 b =a −k b − n n n,n−1 n−1
2006-12-12
满秩分解为A=FG
−1 0 1 2 例9: A = 1 2 −1 1 , 求A=FG 2 2 −2 −1
−1 0 1 2 1 1 0 −1 −2 −1 解（2） ( A| I ) = 1 2 −1 1 1 → 0 1 0 3/21 2 1 2 1 2 2 −2 −1 0 0 0 0 1 −1 1
2006-12-12
σ1 m×n A C ∈ 定理16： n×n r (r ≥ 1), Σr =
⇒ σr
存在酉矩阵 Um×m 及 Vn×n ，使得 [注]：称 A = UDV H 为A的奇异值分解 ⑴ U与V不唯一；
H A ⑵ U的列为 AA 的特征向量，V的列为 A的特征向量 H
b1 b2 = (q1 , q2 , , qn )
b1 b2 令 Q = (q1 , q2 , , qn ), R = bi 则A=QR，其中 qi = bi
2006-12-12
(i = 1,2, , n)
1 2 2 例4：求 A = 2 1 2 的QR分解。 1 2 1 1 1 12 1 7 b1 = a1 = 2 , b2 = a2 − 1× b1 = −1 , b3 = a3 − b2 − b1 = 2 解： 3 6 1 1 −1 2