5.4矩阵三角分解法
矩阵分解
2 1 1 0 1 2 2 5
Department of Mathematics
1 0 2 1 A 1 2 4 5
2 1 6 5 1 2 2 8
1 0 0 01 0 0 01 0 2 1
1 2
1 1
0 1
0 0 00
2 0
0 1
0 0 00
1 0
然后求解Ux y ,
从而达到求解线性方程组 Ax b的目的.
Department of Mathematics
定义：设 A C nn若 L C nn U C nn
使得:A LU 称 A可以作三角分解
其中: l11
L
l21
l22
ln1 ln2
u11 u12 u1n
U
u22
l32u24
1
l42 a42 u12l41 2
l43 a43 u13l41 u23l42 2 l44 5
Department of Mathematics
1 0 2 1 1 0 0 01 0 2 1 A 1 2 4 5 1 2 0 00 1 1 2 LU~
2 1 6 5 2 1 1 00 0 1 1 1 2 2 8 1 2 2 50 0 0 1 1 0 0 0
其中, D 为对角阵
定理:(Cholesky分解 )
正定的Hermite矩阵 A 可唯一的分解为:
A LLH
其中, L 为正线下三角,即对角线的元素均为正的
Department of Mathematics
例1:求A的Crout分解和 L~DU~分解
1 0 2 1
解答:设 A LU%,即:
A 1 2 4 5 2 1 6 5 1 2 2 8
矩阵的三角分解
例题
解： 1、分解LU A，令 5 6 1 0 2 4 13 19 l 21 1 6 3 6 l31 l32 k 1 0 u11 u12 0 u22 1 u13 u23 u33
0 0 0 1
(1 a11) 0 0 ... 0
2 ai(2 ) li 2 ( 2 ) a22
(i 3,4,...,n)
左乘A( 2 )，即有 : L2 A( 2 )
(1 a12) (2 a22 ) 0
... 0
(1 a13) ... a1(1) n ( 2) ( 2) a23 ... a2 n ( 3) (3 ( a33) ... a33) A n ... ... ... ( (3 an3) ... ann) 3
u11 2，u12 5，u13 6；
4 6 l21 2，l31 3。 u11 2
例题
k 2时：u22 a22 l21u12 13 2 5 3， u23 a23 l21u13 19 2 (6) 7 l32 (a32 l31u12 ) / u22 4 k 3时：u33 a33 l31u13 l32u23 4 1 2 5 6 所以A 2 1 3 7 LU 3 4 1 4
t 1 k 1
Doolittle分解
计算lk 1k ,...,lnk 由于i k，于是由 u1k ukk k 1 aik [li1...,lik 1 ,1,0...0] lit utk lik ukk 0 t 1 0 得 lik (aik lit utk ) / ukk （i k 1,...n）
矩阵论中不同形式的三角分解的优缺点
矩阵论是数学领域中的一个重要分支，它研究的是矩阵和线性方程组的理论和方法。
在矩阵论中，三角分解是一种常见的矩阵分解方法，它可以将一个复杂的矩阵分解为一个或多个简单的三角形矩阵的乘积。
不同形式的三角分解有着各自的优缺点，本文将从几种不同的角度来讨论这些优缺点。
一、LU分解LU分解是将一个矩阵分解为一个下三角矩阵L和一个上三角矩阵U的乘积，即A=LU。
LU分解的优点是计算简单，因为它只需要进行一次分解即可得到L和U两个矩阵，后续的线性方程求解可以直接使用LU 分解后的矩阵进行计算。
然而，LU分解的缺点是当原始矩阵A的某些主对角线元素接近于零时，LU分解可能会失效，需要采取一些特殊的技巧来解决这个问题。
二、Cholesky分解Cholesky分解是将一个对称正定矩阵分解为一个下三角矩阵L和其转置矩阵的乘积，即A=LL^T。
Cholesky分解的优点是计算量较小，而且分解出的L矩阵的元素都是实数，因此在存储和计算上都有一定的优势。
然而，Cholesky分解的缺点是它只适用于对称正定矩阵，对于非对称矩阵或不正定矩阵是无法进行Cholesky分解的。
三、QR分解QR分解是将一个矩阵分解为一个正交矩阵Q和一个上三角矩阵R的乘积，即A=QR。
QR分解的优点是适用范围广，对于任意矩阵都可以进行QR分解，并且分解出的Q和R矩阵都具有一些良好的性质，比如Q是正交矩阵，R是上三角矩阵。
然而，QR分解的缺点是计算量较大，尤其是对于大型矩阵来说，QR分解的计算时间会比较长。
不同形式的三角分解都有各自的优缺点，选择合适的分解方法需要根据具体的问题来决定。
在实际应用中，可以根据矩阵的特点和计算需求来选择最合适的三角分解方法，以达到最优的计算效果。
研究和探索更加高效的矩阵分解方法也是矩阵论研究的重要方向之一。
四、SVD分解SVD分解是将一个矩阵分解为三个矩阵的乘积，即A=UΣV^T，其中U和V分别是正交矩阵，Σ是对角矩阵。
SVD分解的优点是适用于所有的矩阵，无论是否为方阵，而且SVD分解是唯一的，即对于每一个矩阵都存在唯一的SVD分解。
三角分解法
ai j =
min( i , j ) k =1
∑l
ik
uk j
ai j =
min( i , j )
一般采用列主元 对换, 将 i ,j 对换,对 j = i, i+1, …, n 有 一般采用列主元 ii a ji = ∑ l jk uki + l ji u k= k =1 法增强稳定性. 法增强稳定性.但注意 v i 1 b 也必须做相应的 l ji = ( a ji ∑ l jk uki ) / uii b 行交换. 行交换. k =1
=I
Upper-triangular
Lower-triangular With diagonal entries 1
注: L 为一般下三角阵而 U 为单位上三角阵的分解称为 单位上三角阵的分解称为 Crout 分解. 分解. ~~ 分解, 实际上只要考虑 A* 的 LU 分解,即A* = L U ,则 ~ ~ A= U * L* 即是 A 的 Crout 分解. 分解. =
(
)
n1 Step 6 Set l = 运算量为2 O(n3/6), 比普通 ann ∑ k =1 lnk ; , 比普通LU nn Step 7 Output ( lij for j = 1, …, i and i = 1, …, n );A = LDLT 分解少一半, 次开方. 分解少一半,但有 n 次开方.用
mn1
v A b
( 2) (2)
(1 (1 ( a11) a12) ... a11) n Step n 1: (2 ( v a22) ... a22) n Ln1Ln2 ... L1 A b = ... . . . (n ann)
(完整word版)矩阵分解及其简单应用
对矩阵分解及其应用矩阵分解是指将一个矩阵表示为结构简单或具有特殊性质若干矩阵之积或之和，大体分为三角分解、QR 分解、满秩分解和奇异值分解。
矩阵的分解是很重要的一部分内容，在线性代数中时常用来解决各种复杂的问题，在各个不同的专业领域也有重要的作用。
秩亏网平差是测量数据处理中的一个难点，不仅表现在原理方面，更表现在计算方面，而应用矩阵分解来得到未知数的估计数大大简化了求解过程和难度。
1. 矩阵的三角分解如果方阵A可表示为一个下三角矩阵L和一个上三角矩阵U之积，即A=LU 则称A可作三角分解。
矩阵三角分解是以Gauss消去法为根据导出的，因此矩阵可以进行三角分解的条件也与之相同，即矩阵A的前n-1个顺序主子式都不为0, 即?k工0.所以在对矩阵A进行三角分解的着手的第一步应该是判断是否满足这个前提条件，否则怎么分解都没有意义。
矩阵的三角分解不是唯一的，但是在一定的前提下，A=LDU勺分解可以是唯一的，其中D是对角矩阵。
矩阵还有其他不同的三角分解，比如Doolittle 分解和Crout 分解，它们用待定系数法来解求 A 的三角分解，当矩阵阶数较大的时候有其各自的优点，使算法更加简单方便。
矩阵的三角分解可以用来解线性方程组Ax=b。
由于A=LU，所以Ax=b可以变换成LU x=b，即有如下方程组：Ly = b{{Ux = y先由Ly = b依次递推求得y i, y2, ........ ，y n，再由方程Ux = y依次递推求得X n，x n-1 ， ... ，X1 .必须指出的是，当可逆矩阵A不满足?k工0时，应该用置换矩阵P左乘A以便使PA 的n个顺序主子式全不为零，此时有：Ly = pb{{ Ux = y 这样，应用矩阵的三角分解，线性方程组的解求就可以简单很多了。
2. 矩阵的QF分解矩阵的QR分解是指，如果实非奇异矩阵A可以表示为A=QR其中Q为正交矩阵，R为实非奇异上三角矩阵。
QR分解的实际算法各种各样，有Schmidt正交方法、Give ns方法和Householder方法，而且各有优点和不足。
矩阵论4-1.三角分解
~ 思 L 和 U 的计算公式。 的计算公式。 路 通过比较法直接导出
a11 a12 a a 21 22 A= M M an1 an2
L a1n 1 u11 u12 L a2n l21 1 u22 = O M M M O L ann ln1 L L 1
其中, 其中
D为对角阵
定理:(Cholesky分解 ) 分解 定理 正定的Hermite矩阵 A 可唯一的分解为 矩阵 可唯一的分解为: 正定的
A = LL
H
其中, 为正线下三角,即对角线的元素均为正的 其中 L 为正线下三角 即对角线的元素均为正的
Department of Mathematics
∃L∈C
n×n
U ∈C
n× n
可以作三角分解 LU 称 A可以作三角分解
u11 u12 L u1n l11 u22 L u2n l21 l22 U= L= O M M M O L unn ln1 ln2 L lnn
由此: 由此 l11 = 1, l 21 = 1, l 31 = 2, l 41 = 1
l11u12 = 0 ⇒ u12 = 0 , u13 = 2, u14 = 1 l 21 u12 + l 22 = 2 ⇒ l 22 = 2 − l 21u12 = 2
4 − u13 l 21 u23 = =1 l 22
1 u12 1 ~ U=
L u1n L u2n O M L 1
Department of Mathematics
~ 则 A = L U 为 Crout 分解 ~ 而 A = L U 为 Doolittle 分解
数值分析(05)矩阵的三角分解
一、初等变换阵 二、矩阵的三角分解
三、矩阵的正交分解
一、初等变换阵 1、初等变换阵的一般定义
定义 设U ,V R , R是实常数,
n
I 是n阶单位阵, 形如 E (U ,V ; ) I UV T 称为初等变换阵(初等矩阵).
（单位阵和一个秩1的矩阵之差 ）
2 1 2 w1 2 w2 w1 H 2 wn w1
2 w1 w2 2 w1 w n 2 1 2 w2 2 w2 w n 2 2 wn w2 1 2 wn
(1)三角阵A R nn 当i j 时, aij 0, A为上三角阵; 当i j 时, aij 0, A为下三角阵. 若A为 上(下)三 角 阵 则A1是 上(下)三 角 阵 ;
反 证 法 ： 若 奇 异 ， 则 0有 非 零 解 A Ax 设 为x ( x1 , x2 ,..., xn )T 0 不 妨 设 i 0， 且xi 1, x j 1, j 1,...n, x
则aii aij x j 0
0 0 1 解：L2 0 2 0 3 1 0 0 1 L2 x 0 2 0 3 0 0 1 0 0 0 1 0 0 0 0 1 0 1 1 0 3 3 0 6 0 1 9 0
数值分析
（3）初等反射阵(Householder变换阵) 是初等变换阵
定义 设非零向量W R n ,W ( w1 , w2 , , wn )T , 且满足条件 W 2 1, 形如 H E (W ,W , 2) I 2WW T 的n阶方阵称为初等反射阵, 或称为Householder 变换阵.
矩阵的三角分解及其应用
矩阵的三角分解及其应用作者：王焕庭来源：《教师·上》2010年第08期一、矩阵的三角分解1.定义如果方阵A可分解成一个下三角矩阵L和一个上三角矩阵U的乘积,则称A可作三角分解或LU分解。
如果方阵A可分解成A=LDU (1.1),其中L是单位下三角矩阵,D是对角矩阵,U是单位上三角矩阵,则称A可作LDU分解。
2. A的LDU分解和 LU分解求法(1)A的LDU分解求法: 取A的一阶主子式,作LDU分解A1=(1)(a11)(1),L1=(1),D1=(a11),U1=(1), 用(1)式-(4)式确定v1,l1,从而L2=,D2=,U2=,A2=L2D2U2。
然后重复使用(1)-(4)式得到A的顺序主子式的LDU分解。
Ak=LkDkUk,k=1,2,…,n,当k=n时,即完成A的LDU分解。
(2)A的LU分解求法:先按照(1)的步骤求出A的LDU分解,再令DU的乘积为U’,即求出 A 的LU分解。
3.LU分解的推广和改进矩阵A的LU与LDU分解都需要假设A的前n-1阶顺序主子式非零。
如果这个条件不满足,可以给A左或右乘以置换矩阵,就把A的行或列的次序重新排列,使这个条件满足,从而就有如下的带行交换的矩阵分解定理。
定理1设A是n阶非奇异矩阵,则存在置换矩阵P使PA的n个顺序主子式非零。
该定理的证明可在矩阵论教科书中查到。
4. LU分解在解方程组中的应用设A是n阶非奇异矩阵,则存在置换矩阵P使PA=LDU=LU’(1.3)。
其中L是单位下三角矩阵,D是对角矩阵,U是单位上三角矩阵, U’ 是上三角矩阵。
如果方程组AX=b(1.3),系数矩阵 A是n阶非奇异矩阵且△k≠0,(k=1,2,…,n-1), 则存在三角分解A=LU.于是得到与原方程组同解的以三角矩阵为系数矩阵的方程组Ly=b(1)Ux=y(2), 方程组的(1)式解出代入(2)式解出,这就是线性方程组的三角分解法。
如果方程组的系数矩阵A的某个顺序主子式△k=0 ,(k=1,2,…,n-1),可用定理1的推论考虑与其同解的方程组PAX=Pb(1.4),即也可用三角分解法求解。
数值分析5-3 矩阵的三角分解法
b1 c1
a2 b2 c2
A a3
cn1
an bn
1
1 1
a 22 2
1 2
a 33
•
n1
ann n
1
通过比较可得各参数，注意γi的取值。
注：追赶法的基本思想与高斯消去法及三角 分解法相同，只是由于系数矩阵中出现 了大量的零，计算中可以将它们撇开， 从而使计算公式简化。
u1n u11
un1,n
DU 0
un1,n1
1
其中D为对角阵，U0为单位上三角阵，于是
A LU LDU0
又
A
AT
U
T 0
(
DLT
)
由分解的唯一性得
L
U
T 0
即
A LDLT
原理2 (对称正定阵的三角分解定理)
设A为n阶对称阵，且A的所有顺序主子式均
大于零，则存在一个非奇异下三角阵 L 使
1 1 m32 (4) / 4
4 1 1 4 1 故由高斯消去法可得A
1 1
4 1 0 2
1 0 0 1 1 1
0
1
0 • 0
4
1
LU
2 1 1 0 0 2
则求解原方程组可转化为如下两个三角形方
程组：
1 0 0 y1 6
0
1
0
•
y2
5
2 1 1 y3 1
解 得
l22 ...
0
...
ln1
ln2
...
lnn
比较A与LLT的相应元素，可得计算公式。
三、追赶法
1. 初步介绍 追赶法适用于系数矩阵为三对角阵的方程组 的求解。其利用系数矩阵的特点，可以将A 分解为两个三角阵的乘积，A=LU，其中L为 下三角矩阵，U为单位上三角矩阵。
矩阵的三角分解
1
L11
l21 ...
1
ln1 ... ... 1
L21
1 l32 1 ... ln2
1
所以 A (Ln1Ln2...L2 L1)1U L11L21...Ln12 Ln11U
1
l21 1
3 4 1 y3 30
得y1 10, y2 19 20 1, y3 34 30 4
即 y (10,1,4)T
例题
(2) 解Ux y
2 5 6 x1 10
3
7
x2
1
i 1
yi bi lij y j i 1,2,...,n j 1 n
xi ( yi uij x j ) / uii i n, n 1,...1 j i 1
x 可获解 (x1, x2,...,xn )T。
例题
例1.试用Doolittle分解求解方程组.
2 5 6 x1 10
lit utk
t 1
lik ukk
0
k 1
得 lik (aik litutk ) / ukk （i k 1,...n） t 1
Doolittle分解
即
ukj
akj
k 1
lktutj
t 1 k 1
( j k,...,n;i k 1,...,n)
l11 u12 ... u1n
l21
l22
...
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
b2 b3 b4
r
2
l21 l31 l41
u22 l32 l42
u23 a33 a43
u24 a34 a44
y2
b3 b4
u11 u12 u13 u14
r
3
l21 l31 l41
u22 l32 l42
u23 u33 l43
u24 u34 a44
y1 y2 y3 b4
r
4
一、直接法概述
直接法是将原方程组化为一个或若干个三角形 方程组的方法，共有若干种．
对于线性方程组
Ax b
其中
a11
A
a21
an1
a12 a22
a1n a2n
an2
ann
x1
x
x2
xn
b1
b
b2
bn
系数矩阵
未知量向量 常数项
根据Cramer(克莱姆)法则,若
2
解Ux y
3 2 1
2
2
U
10 0 3 10
11 3
11 6
11
12 3
11 9
17 2 2 11 4
20
y
17
11
16
10 0 3 1
11 3
11
12 3
11
17 2 2 11
2
所以
3
x
6 9 11
4 4
x1 1
x2
2
x
x3
3
ann
ln
1
lrr
lnr
lnn
lrr
llnnnr
a11 l11 l11 a21 l21 l11 ai1 li1 l11 i 1,2, , n
L的第一列元素 li1可以求出 假设L的第1 ~ r 1列已求出, 考察A的第r列元素air
r
r 1
arr lrk lrk lr2k lr2r
则方程组 A(n)x b(n) 的解不难得到
即 Ax b
A(n) x b(n)
同解
以上求解线性方程组的方法称为Gauss消去法
如果将线性方程组 Ax b 的系数矩阵 A分解成
两个三角形矩阵 L和U ,即 A LU
都是三角 形方程组
则 Ax b
LUx b
Ly b Ux y
上述方法称为直接三角形分解法
det( A) 0
determinantal
det( A) |A|
行列式的记号
则方程组 Ax b 有唯一解
若用初等变换法求解,则对其增广矩阵作行初等变换:
A ( A, b) ( A(1) , b(1) )
( A(2) , b(2) )
经过n-1次 ( A(n) , b(n) ) 目标：A(n)为上三角阵
U
u22 u23 u2n
u33
u3n
unn 1 u12 u13
u1n
u11
u22
u33
u11 u11 1 u23
u22
u11
u2n u22
ˆ DU 0
unn
1
un1,n
un1,n 1
1
D diag(u11, u22 , , unn ) [diag( u11 , u22 , , unn )]2
11
U DU 0 D 2 D 2U 0
Diagonal:对角
11
1
1
A LU LD 2 D 2U 0 (LD 2 )( D 2U0 )
由于 A LU LDU0 唯一，
U
0是单位上三角阵，U
T 0
是单位下三角阵
而 A 为对称正定阵 , AT A
因此
AT
(LDU 0 )T
U
T 0
DT
3 2 1
4 2
12 3
13 4
5
2
2
2
14
9
13
7
u1 j a1 j
li 1
ai 1 u11
r 1
urj arj lrkukj k 1
r 1
air likukr
lir
k 1
urr
2 10 0 3 10
r
2
3 2 1
11 3
12 3
2 11
17 2 4
20
y1
b1 l11
i1
bi lik yk
yi
k 1
lii
2. 解 LT x y
xn xi
yn lnn
yi
n
lki
k i1
lii
xk
l11
L li1 lii
ln1
lni
lnn
i 2,3, , n
l11 li1 ln1
LT
lii
llnnni
对称正定方程 i n 1, ,2,1 组的平方根法
i 1
一、对称正定矩阵的三角分解(Cholesky分解)
若n阶矩阵A为对称正定矩阵 则det( A) 0, AT A
且A的顺序主子式 det Ak 0, k 1,2, , n 因此A可以进行 LU分解(或Doolittle分解)
记为
A LU
其中, L为单位下三角阵 ,U为上三角阵
u11 u12 u13 u1n
解:
a11
A
a21 a31 a41
a12 a22 a32 a42
a13 a23 a33 a43
a14 a24 a34 a44
a15 a25 a35 a45
2 3 1 4
10 4 2 14
0 12
3 9
3 13 4 13
10 5 2 7
2 10 0 3 10
r
1
...
an1 ...
…a1...…n
...
ann
1
l
21
ln...1
1 ... ...
u11 ...
...
1
u1n
...
...
unn
min( i , j )
ai j
li k uk j
k 1
§2 Matrix Factorization – Doolittle
固定 i :
lir
k 1
lrr
r 2, ,n i r 1, , n
二、对称正定线性方程组的解法
线性方程组
Ax b
其中A为n阶对称正定矩阵 则存在主对角元为正数的下三角阵L, 使得
A LLT
则线性方程组(10)可化为两个三角形方程组
L(LT x) b
Ly b LT x y
1. 解 Ly b
i 1
对 j = i, i+1, …, n 有 aij lik ukj uij
k 1
i 1
uij aij lik ukj
a
k 1
lii = 1
固定 j ，对 i = j, j+1, …, n 有
j 1
lij (aij lik ukj ) / u jj k 1
j 1
aij lik ukj liju jj k 1
a21 a31 a41
a22 a32 a42
a23 a33 a43
a24 a34 a44
b2
b3 b4
存储单元(位置)
u11 u12 u13 u14 y1
u11 u12 u13 u14 y1
r
1
l21 l31 l41
a22 a32 a42
a23 a33 a43
a24 a34 a44
k 1
k 1
r
r 1
air lik lrk lik lrk lir lrr
k 1
k 1
i r, r 1, , n
由(6) ~ (8)式可得L的元素的计算公式
l11 a11
li 1
ai 1 l11
i 2,3, , n
r 1
lrr arr lr2k k 1
r 1
air lik lrk
LT
LDLT
所以
L
U0T
,
1
(LD2
)T
1
D
U 2 0
综合以上分析,
若n阶矩阵A为对称正定矩阵，令L1
1
LD2
则有
A L1LT1
定理1. (Cholesky分解) 设A为对称正定矩阵,则一定存在一个主对角元全是 正数的下三角阵L, 使得
A LLT 且该分解式唯一
这种关于对称正定矩阵的分解称为Cholesky分解
bi yi , i 1,2, , n
直接三角分解的Doolittle法可以用以下过程表示:
a11 a12 a13 a14 a15 a11 a12 a13 a14 b1
a21
a31 a41
a22 a32 a42
a23 a33 a43
a24 a34 a44
a25
a35 a45
定义 一个矩阵 A 称为正定阵，如果 xT Ax 0 对任意非
零向量 x都成立。ຫໍສະໝຸດ 回顾：对称正定阵的几个重要性质
A1 亦对称正定，且 aii > 0
称AAA 正的 的 的定顺特全若序征部不A主值顺然设对即xAxkT子序，x对/T对任A1因*yAk阵主e则为应x称x意为iIgk子A特e/性,A，*d0xn0e1式l存x征xtxe显(v则(。TaA0aA在dx值Ad然,l)uxTia1ex存n0Te)i非Ati。TgA存*x(在An/p零0对的Ax1Tr在,xTikyi解nix任其A非>)非cTxI。i>意中零y00p零xT,a00A使特lxx解As其k第得u征。，1b中i(Ax向m0x0位AA即kyxay量21tR)rTiy0kc(xT0有e,A.s.R.Ay1*n.。/.1.A00)kT 亦对