第4章 矩阵的分解
矩阵分析第4章课件
矩阵满秩分解不唯一;但同一矩阵的两个满
秩分解的因式矩阵之间存在密切的关系( 见P153,定理4.1.2).
ACrmn r=rank A min{m,n} A的秩等于它的行秩、列秩或行列式秩。A的行( 列)秩是它的最大线性无关组的行(列)数；A 的行列式秩是它的非0子式的最大阶数。 A=BC rank A rank B & rank A rank C
1
初等变换与初等矩阵性质
①3类初等矩阵都是可逆的(行列式不为0). ②将A依次作初等矩阵P1,…,Pr对应的行(列)初等变
换等价于左(右)乘A以可逆矩阵Pr,…,P1(P1,…,Pr).
③可适当选第一类初等矩阵的乘积P使PA(AP)的 行(列)是A的行(列)的任意排列.可适当选第三类 初等矩阵P(i,j(k))中的k使P(i,j(k))A的(i,j) 元变为0.可适当选第二类初等矩阵P(i(k))中的k 使P(i(k))A的非零(i,i)元变为1.综合起来推出: Er 0 存在初等矩阵的乘积P和Q,使 PAQ= 0 0 m n 其中r=rank A.一般地,ACr 都 Er 0 存在m,n阶可逆阵P和Q使 PAQ=
a11 a1n AB ann
b11 b1n a11b11 * bnn annbnn
a11 a1n 1/ a11 * 1 1 A , aii 0 det A 0 A det A a 1/ a nn nn
1 C11 1 2 C21 1 C22 2 n Cn1 1 Cn 2 2 ... Cnn n
第4章_矩阵的分解 2 矩阵分析简明教程 曾祥金 张亮
➢ U1 的列向量是R（A）的标准正交基。 右奇异向量 ➢ U2的列向量是R （A）的标准正交基。
例题：图像的数字化技术与矩阵的奇异值分解
计算机处理图像技术的第一步是图像的数字化 存储技术，即将图像转换成矩阵来存储。
转换的原理是将图形分解成象素（pixels）的一
个矩形的数阵，其中的信息就可以用一个矩阵
矩阵的分块
常见的矩阵标准形与分解
常见的标准形
等价标准形 相似标准形 合同标准形
本节分解：
Amn
pmm
Ir
0
0 0Qnn
Ann PJAP1
Ann CCT
AT=A
三角分解
满秩分解
等价标准形
可对角化矩阵的谱分解
相似标准形
4.1 LU分解(图灵Turing, 1948)
LU分解：AFnn， 存在下三角形矩阵L ， 上三角形矩阵U ，使得A=LU。
Remark: 这样的分解称之为QR分解。
Application: 可以求最小二乘解
实施步骤
A (1,2,...,n) 1, 2 ,..., n 1, 2,..., n
G-S正交化 单位化
1
A
(1,2
,...,
n
)
(
1,
2
,...,
n
)
QR
(1, 1 ) 2
... ...
( n , ( n ,
Problem: 矩阵的奇异值分解是酉等价型的分
解: AC m×n，酉矩阵UC m×m, VC
n×n ,使得A=U VH。
d1
矩阵A等价于=
D
0
0 0mn
D
d2
d
r
矩阵分析引论--第四章--矩阵的奇异值分解-向量范数、向量范数
n
定义 E
xi2 .
证明
a,
都与
b
E 等价.
i 1
利用 a
x11 xn n
( x1 ,, xn )连续，
在单位球面
S
y
(
y1 ,,
yn
n
)
i 1
yi2
1
上
取得最大值M与最小值m.
目录 上页 下页 返回 结束
第四章第一二节 向量范数、矩阵范数
第二节 矩阵范数
定义4-2 设A P nn ,定义非负实数 A， 满足下列条件: (1) 正定性：当A 0时，A 0; (2) 齐次性：kA k A (k P); (3) 三角不等式： A B A B . (4) AB A B . 则称非负实数||A||为n×n方阵的范数.
则称非负实数||||为向量 的范数.
此时称线性空间V 为线性赋范空间.
目录 上页 下页 返回 结束
第四章第一二节 向量范数、矩阵范数
设V是内积空间， V ,定义： ( , ),
则 • 是V上的一个范数，称为由内积引出的范数.
向量范数的性质：
P124, 1
(1) 0 0 ;
(2) 0时， 1 1 ;
A F
n
2
aij
tr( AH A）
i , j1
是与 2相容的方阵范数. 称为 F 范数.
注：当U为酉矩阵时，有
F范数的优点
A的酉相似矩阵的F 范数相同.
目录 上页 下页 返回 结束
第四章第一二节 向量范数、矩阵范数
常用的矩阵范数
n
(1)
A
1
max
1 jn i 1
aij
第四章 矩阵
Ch5 P234 习题4（1）
13.正交矩阵
定义7：P370CH9
1.正交矩阵的充要条件
A
（a
）正交（A是实矩阵）
ij
A为正交阵
A1为正交阵
A为正交阵
A*为正交阵
A1 A
2）A正交，则A的特征值的模为1；
3）A正交，则 A 1； 4） A、B正交，则AB正交.
,A )为准对角阵，则 S
秩A=秩A +秩A
1
2
L
秩AS
4）A=diag(A1,A 2 ,L
,A ) S
B=diag(B ,B 1
2
,L
,B ) S
那么 AB diag( A1B1,L , AS BS )
5）A=diag(A1,A 2 ,L
,A ) S
B=diag(B ,B 12
,L
,B ) S
8) 设A为n m复矩阵，则 秩A=秩A=秩AA=秩AA
9) A,B为n n矩阵，AB=0,则 秩A+秩B n,(P200.18)
10) A为n n矩阵, A2 E,则
秩（A+E）+秩(A-E)=n；（P .3） 203
11) A为n n矩阵, A2 A,则
秩A+秩(A-E)=n；（P .4） 203
1）设 A, B 为n阶矩阵，则
① tr(A B) trA trB
② tr(kA) ktrA
③ trA trA ④ trAB trBA
2）A ~ B 那么 trA trB
3) A为n阶方阵，则A的特征多项式为
则有 E A
n
b n1 n1
矩阵分解总结
矩阵分解总结
矩阵分解总结：
矩阵分解是一种被广泛应用于各个领域的数学方法，它将一个复杂的矩阵表示
为几个简化的矩阵相乘的形式。
矩阵分解在数据压缩、机器学习、信号处理等领域中具有重要的作用。
一种常见的矩阵分解方法是奇异值分解（SVD），它将一个矩阵分解为三个矩
阵的乘积，分别是左奇异向量矩阵、奇异值对角矩阵和右奇异向量矩阵。
SVD在
图像处理、推荐系统等领域中得到了广泛的应用。
另一种常见的矩阵分解方法是QR分解，它将一个矩阵分解为一个正交矩阵和
一个上三角矩阵的乘积。
QR分解在线性回归、最小二乘法等问题中起到了重要的
作用。
矩阵分解还有其他多种方法，如LU分解、Cholesky分解等。
它们各自在不同
领域具有独特的优势和应用。
矩阵分解的目标是将一个大型、复杂的问题简化为多个小型、简单的问题，进而提高计算效率和问题求解的准确性。
通过矩阵分解，我们可以发现矩阵中的隐藏模式、结构和特征，从而更好地理
解和处理数据。
无论是在科学研究、工程技术还是商业应用中，矩阵分解都起到了重要的作用，为进一步的数据分析和决策提供了有力支持。
总结起来，矩阵分解是一种重要的数学方法，它将复杂的矩阵拆解为简单的因子，以便更好地分析和处理数据。
不同的矩阵分解方法在不同领域有着广泛的应用，为数据科学和工程技术领域带来了重要的进展。
矩阵分析第四章.
B1(θ1θ2)C1 = B1C1
因此有:
B1HB1(θ1θ2)C1C1H = B1HB1C1C1H
其中B1HB1, C1C1H都是可逆矩阵, 因此
θ1θ2 = E ⇒ θ2 = θ1−1
(2) 将(1)的结果代入CH(CCH)−1(BHB)−1BH即可得到.
第二节 矩阵的正交三角分解(UR, QR分解)
0 0 0 0 0
0 0 0 0 0
1 3 0 −1/ 3 10 / 3
r1←r1 −2r2 → 0 0 1 2 / 3 1/ 3
0 0 0 0
0
取第1列和第3列构成E2, 则B由A的第1列和第3列构成, 即
1 2 B = 2 1,
3 3
而C就是变换后的前2行，即
C
=
1 0
3 0
β1 k β 21 1
+
β
2
Lα3L=Lk31β1 + k32β2 + β3
α r = kr1β1 + kr2 β2 + L + kr,r−1βr−1 + βr
并设 ν1 =|| β1 ||−1 β1,ν 2 =|| β2 ||−1 β2 , L,ν r =|| βr ||−1 βr , 则:
α1 = k1′1ν1 α 2 = k2′1ν1 + k2′2ν 2 α3 = k3′1ν1 + k3′2ν 2 + k3′3ν 3
A = U1RLU2.
证明: 自己练习
− 2 1 − 2
例1：求矩阵A的UR分解, 其中
1 1 1
A=
1 1
−1 −1
0 1
解：设A = (α1, α2, α3), 用Schmidt方法将α1, α2, α3标准正交
矩阵理论第四章
1. Hermite 矩阵的谱分解
设 A 为 Hermite 矩阵，则存在酉矩阵 U ，使
1
O
U H AU
2
.
O
n
将U 写成列向量形式，即U u1 u2 ... un ，则
2. 非奇异矩阵的酉对角分解
定理 5.5.1 设 A 为 n 阶非奇异矩阵， 则存在 n 阶酉矩阵U 及V ，使得
A( 2 )
L-21A(1 )
0
a( 0 ) 12
a( 1 ) 22
0
a( 0 ) 13
a( 1 ) 23
a( 2 ) 33
a( 2 ) n3
a( 0 1n
a(1 2n
) )
a( 2 3n
)
a( 2 nn
)
即 A(1) L2 A( 2 )
依此类推，进行到第(r-1)步，则可得到
则
A
的
r
阶顺序主子式 r
于是
A
P1
E 0
mr
E
0 Q1. rn
记
P
1
E 0
F
,E
0Q1 G.
则 F 为列满秩矩阵， G 为行满秩矩阵,得
A FG .
证毕
显然,满秩分解是不唯一的.
事实上 D Crrr （ r 阶可逆方阵），
则 A FG F (DD-1)G (FD)(D-1G) F1G1，
且 F1 Crmr ,G1 Crrn .
第四章 矩阵分解
所谓矩阵分解，就是将一个矩阵写 成结构比较简单的或性质比较熟悉 的另一些矩阵的乘积．
即可将 A0 第 1 列上从第 2 到第 n 个元素全化为零．
得
a(0) 11
矩阵论课后习题答案
第一章 线性空间与线性映射 习题一 (43-45)1、（1）对于V y x ∈∀,，x y x y x y x y y x y x y x y x +=⎪⎪⎭⎫⎝⎛+++=⎪⎪⎭⎫ ⎝⎛+++=+112211112211；（2）对于V z y x ∈∀,,，⎪⎪⎭⎫ ⎝⎛+++++++=⎪⎪⎭⎫⎝⎛+++++++=⎪⎪⎭⎫ ⎝⎛+⎪⎪⎭⎫ ⎝⎛+++=++))()(1111112221111112112211121112211z y z x y x z y x z y x y x z z y x y x z y x z z y x y x y x z y x ，⎪⎪⎭⎫ ⎝⎛+++++++=⎪⎪⎭⎫⎝⎛+++++++=⎪⎪⎭⎫ ⎝⎛++++⎪⎪⎭⎫ ⎝⎛=++))()(1111112221111111122211111221121z y z x y x z y x z y x z y x z y z y x z y x z y z y z y x x z y x ，即)()(z y x z y x ++=++。
（3）对于⎪⎪⎭⎫⎝⎛=00θ和V x ∈∀，显然x x x x x x x =⎪⎪⎭⎫ ⎝⎛=⎪⎪⎭⎫⎝⎛+++=+21121000θ； （4）对于V x ∈∀，令⎪⎪⎭⎫⎝⎛--=2211x x x y ， 则θ=⎪⎪⎭⎫⎝⎛=⎪⎪⎭⎫ ⎝⎛--+-=⎪⎪⎭⎫ ⎝⎛--+⎪⎪⎭⎫ ⎝⎛=+0021221211221121x x x x x x x x x x x y x ，即x y -=。
（5）对于R ∈∀μλ,和V x ∈∀，有x x x x x x x x x x x x x x x x x x x x x x x )()()]()[(21)()()2(21)()()]1()1([21)1(21)1(2121212212122212121221121212121μλμλμλμλμλμλμλμλμλμλμλλμμμλλμλμλμμμμλλλλμλ+=⎪⎪⎭⎫ ⎝⎛+=⎪⎪⎪⎭⎫⎝⎛+-++++=⎪⎪⎪⎭⎫ ⎝⎛--+++++=⎪⎪⎪⎭⎫ ⎝⎛+-+-+++=⎪⎪⎪⎭⎫⎝⎛-++⎪⎪⎪⎭⎫ ⎝⎛-+=+（6）对于R ∈∀λ和V y x ∈∀,，有⎪⎪⎪⎭⎫⎝⎛+-++++=⎪⎪⎭⎫ ⎝⎛+++=+211112211112211))(1(21)()()(y x y x y x y x y x y x y x y x λλλλλλ， ⎪⎪⎪⎭⎫ ⎝⎛+-++++=⎪⎪⎪⎭⎫ ⎝⎛-+-++-++++=⎪⎪⎪⎭⎫ ⎝⎛+-++-++=⎪⎪⎪⎭⎫⎝⎛-++⎪⎪⎪⎭⎫ ⎝⎛-+=+211112211112212211122111122122121121212121))(1(21)()()1(21)1(21)()1(21)1(21)1(21)1(21y x y x y x y x y x y y x y x y x y x y x y y x x y x y y y x x x y x λλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλ，即y x y x λλλ+=+)(。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Step2.令 U1 AV1D1, 得U1=[u1，u2，… ，ur],
扩充为标准正交基 酉矩阵U。
1 2 例 求矩阵A的奇异值分解，A= 0 0 。 0 0
2、矩阵U，V的空间性质：
左奇异向量
V=[v 1，v2，，vr ， ，v n] =[V1 V2]C n×n的列向 量是空间C n的标准正交基。 U=[u 1，u2，，ur ， ，u m] =[U1 U2]C m×m的列 向量是空间C m的标准正交基。
U1 的列向量是R（A）的标准正交基。 U2的列向量是R （A）的标准正交基。 右奇异向量
V2的 （A） 的标准正交基。
例题：图像的数字化技术与矩阵的奇异值分解
计算机处理图像技术的第一步是图像的数字化 存储技术，即将图像转换成矩阵来存储。 转换的原理是将图形分解成象素（pixels）的一 个矩形的数阵，其中的信息就可以用一个矩阵 A=（a ij）m×n来存储。矩阵A的元素a ij是一个 正的数，它相应于象素的灰度水平（gray level） 的度量值。 由于一般来讲，相邻的象素会产生相近的灰度 水平值，因此有可能在满足图像清晰度要求的 条件下，将存储一个m×n阶矩阵需要存储的 m×n个数减少到n+m+1的一个倍数。
2、奇异值的定义： （P099） AC m×n，秩（A）=r，设AHA的特征值1 2 r 0，r+1= r+2 == n =0，则矩阵的奇异值
di
i ,
i 1,2,..., r.
二、矩阵的奇异值分解
1、Theorem 4.4.1（P099）
设AC m×n，秩（A）=r，则存在酉矩阵 UC m×m，VC n×n，使得
A–1 = A + ；
例 求下列特殊矩阵的广义逆； 零矩阵0； + 0 =0 m × n 对角矩阵
n×m
2、M-P 广义逆的惟一性
Theorem 如果A有M-P广义逆，则A的M-P广义逆 是惟一的。 3、M-P广义逆的存在性及其求法
Theorem 任何矩阵都有M-P广义逆。 求法： • 设A满秩分解A=BC，则
各种标准形的理论和计算方法 矩阵的分块
常见的矩阵标准形与分解 常见的标准形
等价标准形 相似标准形 合同标准形
I r 0 Amn pmm Qnn 0 0 1 Ann PJ A P
Ann CCT
AT=A
本节分解：
三角分解
满秩分解
等价标准形
可对角化矩阵的谱分解
一、矩阵A的奇异值及其性质
1、矩阵AHA和AAH的性质：
AC m×n，AHAC n×n，AAHC m×m ， 都是Hermite矩阵。 Theorem 2.7.8（P052）
1. 秩（A）＝秩（AHA）=秩（AAH）。 2. AHA 和AAH 的非零特征值相等。 3. AHA和AAH 是半正定矩阵。 AHA和AAH 的特征值是非负实数：1 2 n
相似标准形
4.1 LU分解(图灵Turing, 1948)
LU分解：AFnn， 存在下三角形矩阵L ， 上三角形矩阵U ，使得A=LU。
1 0 7 1 A 3 2 0 3 1 1 1 1 0 0 1 0 7 1 0 0 2 21 LU 1 9 1 0 0 2 2
A C (CC ) (B B) B
H H 1 H 1
H
• 奇异值分解可以用于求广义逆(Theorem 4.5.3,P105) 设A奇异值分解 ：（可以不讲）
D D 0 H A V U ，则 A V 0 0 0
1
0 H U 0
a1 a 例 设向量 2 的M-P广义逆。 an
(1 , 1 ) ... ( n , 1 ) 2 ... ( n , 2 ) n
4.2 QR分解
例 P090 例4.2.1
此例中矩阵是列满秩的
例 P091 例4.2.2
此例表明即使矩阵不是列满秩的，也可以用G-S正交化 方法，但是其QR分解不是唯一的。
d1 D 0 其中 0 0 , D d r
A UV H ,
证明思想： D2 Step1. AHA正规，VHAHAV= 酉矩阵V。
V [V1,V2 ], V1 [ 1,..., 2 ]
， 0
1 2 例 设 A 1 2， 求A+。 1 2
3、M-P广义逆的性质
Theorem 4.5.2 (P103) ： 1. （ A + ）+=A 2. （A + ） H =（A H ）+ 3. （A）= +A+ 4. A列满秩，则A+=（ A H A ） –1A H ，A行满 秩，则A+=AH （AAH） –1。 5. A有满秩分解：A=BC，则A+=C+B+。
Ak u v u v u v
H 1 1 1 H 2 2 2
H k k k
有在秩为k （kn）的所有矩阵中，矩阵Ak所对应的图象和 矩阵A所对应的图象最相近。一般的，k越大图象就越清晰。 经典的方法是选取接近 k，使 Ak 的存储量比 A的存储量减少 20%。
存储矩阵Ak只需要存储k个奇异值，k个m维向 量ui和n维向量vj的所有分量，共计k（m+n+1） 个元素。 如果m=n=1000，存储原矩阵A需要存储 1000×1000个元素。取k=100时，图象已经非 常清晰了，这时的存储量是100（2000+1） =200100个数。 和矩阵A比较，存储量减少了80%。
A +与A–1 性质的差异比较：
（AB）–1=B –1 A –1 ，一般不成立（AB）+=B+A+。(只有满秩分解成立) （A–1）k =（Ak） –1 ，但不成立（A+）k=（Ak）+
Application: 可以简化求解线性方程的算法
Ax LUx b Step1: Ly b Step2 : Ux y
4.2 QR分解
1. 利用Gram-Schmidt正交化过程的QR分解 Theorem 设矩阵ACmn ，R(A)=n(列满秩)。则 存在非奇异上三角阵R，和矩阵Q，QHQ=E，使 得A=QR。
Er A P 0 0 Er Q P Er 0 0 0 Q BC
列 满 秩
行满秩
满秩分解的实现：向量组最大无关组的求法
例 求矩阵A的满秩分解
1 1 2 3 A (1 , 2 , 3 , 4 ) 1 0 1 0 0 1 1 3 1 0 1 0 1 1 行初等 0 1 1 3 , B 1 0 , A BC 0 0 0 0 0 1 1 0 1 0 C 0 1 1 3
4.2 QR分解(不做要求)
对于一般的方阵，无论其是否列满秩，都 可以利用Householder方法得到QR分解。
4.3 满秩分解
已知的结论
Er 0 Er Amn ~ , i.e., A P 0 0 0 矩阵的满秩分解 0 Q， P, Q可逆 0
对秩为r 的矩阵AFmn ，存在秩为r的矩 阵 B Fmr，CFrn ，使得A=BC为A 的满 秩分解。
压缩数字化图形存储量的方法主要是应用矩阵的奇 异值分解和矩阵范数下的逼近。如果图象的数字矩 阵A的奇异值分解为：A=UVT， 其展开式：
A u v u v u v
H 1 1 1 H 2 2 2
H r r r
压缩矩阵A的方法是取一个秩为k （kr）的矩阵Ak 来逼近 矩阵A。 Ak按如下方法选取：
第4章、 矩阵的分解
Matrix Factorization and Decomposition
矩阵分解的概述
矩阵的分解： 矩阵分解的原则：
实际应用的需要 显示原矩阵的某些特性 矩阵化简的方法之一 A=A1+A2+…+Ak A=A1A2 …Am 矩阵的和 矩阵的乘积
理论上的需要 计算上的需要
主要技巧：
总结：矩阵的满秩分解的做法
对ACmn 做行初等变换得行最简形H，取H的前r行所成 矩阵为C，取A的列向量组的最大无关组所成矩阵为B， 则 B Cmr，CCrn ，其秩序均为r，且A=BC。
例 P098 例4.3.2； 例 P098 例4.3.1（此矩阵为列满秩矩阵）
4.4 奇异值分解(Singular Value Decomposition)
Problem: 矩阵的奇异值分解是酉等价型的分
D 0 D 矩阵A等价于= 0 0 mn
解: AC m×n，酉矩阵UC m×m, VC n×n ,使得A=U VH。 d
1
d2
dr
奇异值分解基本适用于内积空间中与矩阵秩相 关的问题 A的奇异值分解依赖于正规矩阵A HA 的酉相似 分解的。
4.5 Moore-Penrose（M-P）广义逆
由Moore 1920年提出，1955年由Penrose发展。 1、 Definition设A C m n ，如果 XC n m ，使得 1. AXA=A 2. XAX=X 3. （AX）H = AX 4. （XA）H =XA 则称G为A的M-P广义逆，记为G=A+。 例 讨论原有的逆的概念和M-P广义逆的关系。
Remark: 这样的分解称之为QR分解。
实施步骤
A (1,2 ,...,n )
G-S正交化
单位化
1, 2 ,..., n
1, 2 ,..., n