第4章-矩阵分解只是分享

合集下载

第四章矩阵分解

第四章矩阵分解矩阵分析第四章矩阵分解§4.1: 矩阵的满秩分解§4.2: 矩阵的正交三角分解§4.3: 矩阵的奇异值分解§4.4: 矩阵的极分解§4.5: 矩阵的谱分解矩阵分解前言矩阵分解定义: 将一个已知矩阵表示为另一些较为简单或较为熟悉的矩阵的积(或和)的过程称为矩阵分解. 例:(1)对任意n阶正规矩阵A,存在酉阵U∈Un×n使A=Udiag(λ1,…,λn)U*, 其中λ1,…,λn为A的所有特征值的任一排列. (2)对任意n阶正定矩阵A,存在可逆阵Q∈Cnn×n使A=Q*Q,或存在唯一正定阵B使A=BB. 矩阵分解意义:有利于研究已知的矩阵. 例如,利用正定阵A的平方根B为正定阵可证: 对任意Hermite阵H,AH或HA都有实特征值.1( AH～(A1/2)-1AHA1/2=A1/2HA1/2∈Hn×n )2初等变换与初等矩阵(p73)三类初等变换: (行(列)变换←→左(右)乘) (1)将矩阵A的两行互换等价于用第一类初等矩阵P(i,j)左乘A; (2)将矩阵A的第i行乘以k≠0等价于用第二类初等矩阵P(i(k))=diag(1,…,1,k,1,…,1)左乘A. (3)将矩阵A的第j行乘以k≠0后再加到第i行等价于左乘第三类初等矩阵P(i,j(k)).P (i , j ) =1 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 1 0 1 1 1 0 1 1初等变换与初等矩阵举例1 ?? 1 4 7 ? ? 1 4 7 ? ? 0 1 ??2 5 8 ? = ?3 6 9 ? ; ? ?? ? ? ? ? 1 0 ?? 3 6 9 ? ? 2 5 8 ? ? ?? ? ? ? ?14 7??1 ? ? 1 7 4? ? 25 8?? 0 1? = ? 2 8 5? ? ?? ? ? ? ? 36 9?? 1 0? ? 3 9 6? ? ?? ? ? ?1 ??1 4 7? ? 1 4 7 ? ? ?? ? ? ? 0.2 ? ? 2 5 8 ? = ? 0.4 1 1.6 ? ; ? ?1?? 3 6 9 ? ? 3 6 9 ? ? ?? ? ? ?1 4 7??1 ? ? 1 4 7 / 9? ? ?? ? ? ? ?2 5 8?? 1 ? = ? 2 5 8/9? ?3 6 9?? 1/ 9 ? ? 3 6 1 ? ? ?? ? ? ?---- i ---- j1?P (i , j ( k )) =1 ? ? ? ? ? ? ? ? ? ?1k 1---? ? ? ---? ? ? 1?i j31 ?? 12 3? ? 1 23 ? ? ?? ? ? ? ? ?4 1 ? ? 456 ? = ? 0 ?3 ?6 ? ; ? 1??78 9? ? 7 89 ? ? ?? ? ? ?3 ? ? 1 2 0 ? ? 1 2 3??1 ? ?? ? ? ? ?45 6?? 1 ? = ? 4 5 ?6 ? ?78 9?? 1 ? ? 7 8 ?12 ? ? ?? ? ? ?4初等变换与初等矩阵的性质3类初等矩阵都是可逆的(行列式不为0). 将A依次作初等矩阵P1,…,Pr对应的行(列)初等变换等价于左(右)乘A以可逆矩阵Pr…P1(P1…Pr). 可适当选第一类初等矩阵的乘积P使PA(AP)的行(列)是A 的行(列)的任意排列; 可适当选第三类初等矩阵P(i,j(k))中的k使P(i,j(k))A的(i,j)元变为0; 可适当选第二类初等矩阵P(i(k))中的k使P(i(k))A的非零(i,i)元变为1. 存在初等矩阵的乘积P和Q,使PAQ= ,其中r=rankA.初等变换与初等矩阵的性质续命题:设A∈Crm×n前r列线性无关,则用初等行变换可把A变为Er ? ? 0 ?1 ? ? D? ? = ? ? 0 ? ? ? ? ? ? 1 1 * * * * *? ? *? *? ? *? ? ? ? ?一般地,?A∈Crm×n都存在m,n阶可逆阵P和Q使PAQ=5证:因前r列线性无关,故用第一类初等矩阵左乘可使A的(1,1)元≠0. 再用第二类初等矩阵左乘可使a11=1; 最后用若干第三类初等矩阵左乘可使A的第一列=e1. 因前2列线性无关,故新的第2列与e1线性无关且≠0, 故用第一类行变换可使(2,2)元≠0,…可使A的第2列=e2. ….可使A的第r列=er.此时空白处必为0元.安徽大学章权兵1矩阵分析§4.1: 矩阵的满秩分解1 ? A = ? ?2 ? 0 ? 0 0 0 0? ?1 ? ? 1 ? , 没有P ∈ C 33 × 3 使 PA = ? ? ? 0? ?0 0 0 0??1 ?? 1??0 0??0 ?? 0 0 1 0? ? 1 ? ? 1 ? = ? ?2 0? ? 0 ? ?0 1 0 0? ? 0? 0? ?1. 0? ?定义:对任意矩阵A∈Crm×n,A=BC 称为A的一个满秩分解,如果B∈Crm×r,C∈Crr×n. 例:1 ? ?1 ?0 ? 12 1 23 1 3 ? ?1 ? ? 2 ? = ?1 ? 1? ? 0 ? ? 1? ?? 12 ?? ?0 1 ?? ? ?1 4 ? ? ? = ?1 ? 1 1 ? 1? ? ?0 0 1 2? ?? 13 ?? ?0 1 ?? ? ?1 0 1 1 5 ? ? ? 1? ?1 ? A P ( 2, 3) = ? ?2 ? 0 ?1 0 0 ? ? 1 0 0 ? ? 1 0.5 0 ? ? ?? ? ? ? PAQ = P (2,1(0.5)) AP (2, 3) = ? 0.5 1 0 ? ? ?2 1 0 ? = ? 0 1 0 ? ? 0 0 1?? 0 0 0? ? 0 0 0? ? ?? ? ? ?m=3,n=4,r=2. 注:可能存在不仅是常数差别的两个实质不同的满秩分解.矩阵满秩分解的存在定理定理 4.1.1:任意矩阵A∈Crm×n,都有满秩分解: A=BC,B∈Crm×r,C∈Crr×n. 证:由初等矩阵性质知: 存在可逆阵P∈Cmm×m和Q∈Cnn×n,使 PAQ= 从而 AEr ? ? 0 ? 0 ? ? Er ?=? 0? ? 0 ? ? ? Er ? -1 ? ? ( E r =P ? 0 ? ? ? ?(E r ? 0)存在定理中矩阵B,C的决定对于A的前r列线性无关的情形:E PA = ? r ? 0 D ? ? Er ? = (Er 0 ? ? 0 ? ? ? ? D)E A = P ?1 ? r ? 0D? Er ? ?1 ? ?= P ? ? (Er 0 ? ? 0 ?D ) = BC其中0)E ? B = P ?1 ? r ? ; C = ( Er ?0?D)Q-10)= BC,其中B=P-1 ?Er ? ? 0 ? ,C= ? ? ?(ErQ-1满足所要求的条件.C是PA的前r行(即所有非0行)组成的矩阵, B和C的秩显然都是r.10矩阵B的进一步决定对于A的前r列线性无关的情形: 要求PA的前r列化为(Er,0)T,故有B=P-1(Er,0)T ? PB=(Er,0)T=PA1, 其中,A1为A前r列组成的子矩阵,由此推出B=A1. (参看P.183-184定理的证明及例4.1.1,例4.1.2) 对下例,A的第1,3两列也线性无关. 令A1为A第1,3两列组成的子矩阵,并将A的第1,3 两列化为(E2,0)T,C为所得矩阵的前2行. 则不难看出也有 A=BC和B=A1.求矩阵满秩分解的初等变换方法再以A= ? 1 ?1 123 ? ? 2 3 2 ? 为例作说明如下: ? 0 1 1 ?1? ? ?①用初等行变换把A前两列变为(E2 0)T1 123 ? ?1 1 2 3 ? ?1 0 14 ? ?1 1? ? ? ? ? ? ? ? ??1 0 1 4 ? ? 12 3 2 ? → ? 0 1 1 ?1 ? → ? 0 1 1 ?1? = ? 1 2 ? ? 0 1 1 ?1? ? ? 0 1 1 ?1 ? ? 0 1 1 ?1 ? ? 0 0 0 0 ? ? 0 1 ? ? ? ? ? ? ? ? ? ? a1 a2 ②用初等行变换把A的1,3两列变为(E2 0)T ?1 1 2 3 ? ?1 1 2 ? ? ? ?1 2 3 2 ? → ?0 1 1 ? 0 1 1 ?1 ? ? 0 1 1 ? ? ? 3 ? ? 1 ?1 0 5 ? ? 1 2 ? ? ? ? ? ? ?1 ?1 0 5 ? ?1 ? → ? 0 1 1 ? 1 ? = ? 1 3 ? ? ? 0 1 1 ?1 ? ?1 ? ? 0 0 0 0 ? ? 0 1 ? ? ? ? ? ? ?a1 a3安徽大学章权兵2矩阵分析关于矩阵满秩分解的注矩阵满秩分解不唯一;但同一矩阵的两个满秩分解的因式矩阵之间存在密切关系(见定理4.1.2). A∈Crm×n ? r=rank A ≤ min{m,n} A的秩等于它的行秩,列秩或行列式秩. A的行(列)秩是它的行(列)最大线性无关组的行(列)数;A的行列式秩是其非0子式的最大阶数. A=BC ? rank A≤rank B 且rank A≤rank C rank A=rank A*13引理4.3.1引理4.3.1:对任意矩阵A∈Crm×n有 rank(AA*)=rank(A*A)=rank A*=rank A=r. 证:因方程组Ax=0的解空间维数等于n-rank A, (*) 故为了证明 rank(A*A)=rank A 只须证明下列两个方程组有相同的解空间即可Ax=0 ⑴ ⑵ A*Ax=0 显然,x满足⑴ ? x满足⑵. x满足⑵ ? x*A*Ax=0,即(Ax,Ax)=0 ? Ax=0,即x满足⑴. 注:利用A的任意性以A*代A由(*)得 rank A=rank A*=rank((A*)*A*)=rank(AA*)同一矩阵两个满秩分解间的关系定理4.1.2:若A=BC=B1C1均为A∈Crm×n 的满秩分解, 则存在θ∈Crr×r,使得B=B1θ,C=θ-1C1. 证:若A=BC=B1C1,则BCC*=B1C1C*. 由p.190引理4.3.1知:rank(CC*)=rank C=r, 从而CC*∈Crr×r为可逆矩阵,且满足B=B1C1C*(CC*)-1. 由上式推出r≥rank(C1C*)≥rank B=r,即rank(C1C*)=r. 进而θ=C1C*(CC*)-1∈Crr×r,满足B=B1θ. 同理可证 C=(B*B)-1B*B1C1=θ′C1,θ′∈Crr×r. 因此,BC=B1C1 ? B1θθ′C1=B1C1 ? B1*B1θθ′C1C1* = B1*B1C1C1* 引理4.3.1 ? θθ′=E ? θ′=θ-1定理4.1.2的补充命题:设A=B1C1为A∈Crm×n的满秩分解, 则A=BC是A的满秩分解,当且仅当?θ∈Crr×r, B=B1θ,C=θ-1C1. 证: 必要性由定理4.1.2给出. 充分性. 若存在θ使(*)成立,则B,C给出A的满秩分解：BC=B1C1=A. (*)§4.2: 矩阵的正交三角分解满秩矩阵的分解行(列)满秩矩阵的分解一般矩阵的分解满秩矩阵的正交三角分解定理4.2.1:?A∈Cnn×n都可唯一地分解为A=UR(或A=LU),其中U∈Un×n,R(L)为正线上(或下)三角矩阵. 证:(存在性)令A=(α1, … ,αn),则α1, … ,αn线性无关, 用Schmidt方法从α1, …,αn得标准正交组ν1,…,νn满足α ?α 1 = C 11ν 11αn2= C 21ν1+ C 22 ν22i,Cii=‖βi‖>0n= C n 1ν+ Cn2ν+ ... + C nn νC 21 C 22于是其中,U=(ν1,…,νn)为酉矩阵,R为正线上三角矩阵.C 11 ? A= (α 1 ,..., α n ) = (ν 1 ,..., ν n ) ? ? ? ? ?C n1 ? ? C n2 ? ? ? C nn ? ?=UR,安徽大学章权兵3矩阵分析β1=α1 , β2=α2-((α2,β1)/(β1,β1))β1 , β3=α3-((α3,β1)/(β1,β1))β1-((α3,β2)/(β2,β2))β2 , . . . νi=(1/‖βi‖)βi, βi=‖βi‖νi, i=1,2,… α1=β1=‖β1‖ν1; C11=‖β1‖>0 α2=((α2,β1)/(β1,β1))β1+β2=C21ν1+‖β2‖ν2;C22=‖β2‖>0正交三角分解唯一性证明定理4.2.1:?A∈Cnn×n都可唯一地分解为A=UR(或A=LU), 其中U∈Un×n,R(L)为正线上三角矩阵. (唯一性) 设还有U′∈Un×n和正线上三角矩阵R′使A=U′R′. 则有UR=U′R′ ? U′*U = R′R-1 = W 矩阵W=U′*U∈Un×n,且W=R′R-1 仍然是正线上三角矩阵. (正线上三角阵的逆和积仍是正线上三角阵) 于是,由p.162的引理3.9.1知W=E. 即(U′)*U=R′R-1=E. 由此式立即推出:U=U′E=U′ & R′=ER=R. 得证唯一性.α3=C31ν1+C32ν2+‖β3‖ν3; . . .C33=‖β3‖>0正交三角分解下三角情形的证明定理4.2.1:?A∈Cnn×n都可唯一地分解为A=LU,其中U∈Un×n,L 为正线下三角矩阵. 证: ?A∈Cnn×n ? AT∈Cnn×n. 存在唯一的U′∈Un×n和正线上三角矩阵R,使AT=U′R. 于是A=(AT)T=(U′R)T=RTU′T=LU, 其中,U=U′T∈Un×n,L=RT为正线下三角矩阵.列(行)满秩矩阵的正交三角分解定理4.2.2:?A∈Crm×r(Crr×n)都可唯一地分解为A=UR (A=LU), 其中U∈Urm×r(Urr×n),R(L)为r阶正上线(下)三角矩阵. (定理4.2.1为m=n=r时的特例) 证:(存在性)令A=(α1, … ,αr),则α1, … ,αr线性无关, 用Schmidt方法求得标正组ν1,…,νr满足α ?αr2α 1 = C 1 1ν 1 = C 2 1ν 1 + C 2 2ν22i,Cii>0.r= C r 1ν 1 + C r 2ν+ . . . + C r rν因此A=UR,其中U=(ν1,…,νr)∈Urm×r, R=C 11 ? ? ? ? ?C 21 C 22C r1 ? ? Cr2 ? ? ? C rr ?定理4.2.2唯一性证明定理 4.2.2: ?A∈Crm×r都可唯一地分解为A=UR,其中U∈Urm×r,R为r阶正线上三角矩阵. (唯一性) 设还有U′∈Urm×r和正线上三角矩阵R′∈Cr×r 使A=U′R′. 则有R*R=A*A=(R′)*R′, 于是由定理3.9.1⑹,A*A是正定Hermite矩阵. 故A*A可唯一地表示为乘积R*R,其中R为正线上三角阵. 因此必有R=R′. 进而,由UR=U′R′给出U=U′,得证唯一性.一般矩阵的正交三角分解定理4.2.3:?A∈Crm×n可分解为A=U1R1L2U2,其中U1∈Urm×r, U2∈Urr×n,R1和L2分别为r阶正线上三角和下三角矩阵. 证:由矩阵的满秩分解知: 存在列满秩矩阵B和行满秩矩阵C使A=BC. 存在U1∈Urm×r和r阶正上线上三角矩阵R1使得B=U1R1. 存在r阶正线下三角矩阵L2和U2∈Urr×n使得C=L2U2. 从而A=U1R1L2U2满足条件.安徽大学章权兵4矩阵分析用UR(LU)分解方法解方程组例4.2.1:用UR(LU)方法解方程组 Ax=b (*) ? 2 ? 1 ? 1 ? 其中 ? ?3 ? ? ? ?1 A = ? 1 ? ?2 ? 1 1 ? 1 ? 1 0 1 ? ? 0 ?, b = ? 2 ? ? ? ? 1 ? ? ? ?. ? ? ?§4.3: 矩阵的奇异值分解引理4.3.1:对任意矩阵A∈Crm×n有 rank(AA*)=rank(A*A)=rank A*=rank A=r. 引理4.3.2: ?A∈Cm×n,AA*∈Cm×m 与A*A∈Cn×n 均为半正定Hermite矩阵. 证:由(A*A)*=A*A 和?x∈Cn,x*A*Ax=(Ax,Ax)≥0 得证:A*A∈Cn×n 为半正定Hermite矩阵. 同理可证: AA*∈Cm×m 为半正定Hermite矩阵.解:令A=(α1,α2,α3),易见α1,α2,α3线性无关, 用Schmidt方法得标准正交组ν1,ν2,ν3如教本所示. 则A=UR,R为正线上三角矩阵,U=(ν1,ν2,ν3)∈U34×3 于是R=U*A,代入(*)式得URx=b ? Rx=U*b ? x=R-1U*b 最后求得 x=(-5/2,-1/2,3)T.AA*∈Cm×m与A*A∈Cn×n的特征值定理4.3.1: ?A∈Cm×n, AA*∈Cm×m与A*A∈Cn×n的非零特征值(正特征值)全同. 证法1:不难验证下列矩阵等式:AA* 0 ?? Em A ? ? AA* ? * ?? ?=? ? A 0 ?? En ? ? A* ? ? ? ??因S= ? ? ? Em定理4.3.1的另一证法证法2:设λ≠0是AA*的非零特征值: AA*x=λx, λ≠0,x≠0 则A*x≠0, A*A(A*x)=λ(A*x) 所以λ也是A*A的非零特征值. 同理可证： A*A的任一非零特征值也是AA*的非零特征值.AA* A? ? Em A ?? 0 ?=? ?? En ?? A* A* A ? ? ?? ? ?0 ? ? A* A? ?0 ? ?1 0 ? ? AA * 0 ? A? ? 0 ? 0 ? = S? * ? ? ?S ~ ? * ? ? ? * ? * ? En ? 可逆,故 ? A* 0 ? ? A A A? ? A A A? ? ? ? *)=0与det(λE-A*A)=0有相同非零解, 从而det(λE-AA得证AA*与A*A有相同的非零特征值.奇异值的概念定义4.3.1:?A∈Crm×n,AA*∈Cm×m或A*A∈Cn×n 的正特征值的算术平方根称为A的正奇异值(简称奇异值, 共有r个记为α1,…,αr). 例:求A= ? ? 1 ?0 ? ? 1 0? ? 1?∈ C 0? ?3× 2 2正规矩阵的奇异值定理4.3.2:正规矩阵的奇异值是其非零特征值的模. 证:设A为正规矩阵,则有U∈Un×n使A=Udiag(λ1, … ,λn)U* A*=Udiag(λ 1 ,..., λ n )U* 从而AA*=Udiag(|λ1|2, … ,|λn|2)U* 得证A的正奇异值是A的非零特征值的模.的奇异值.解: A*A=? ?1 ?21? ? 1? ?,det(λE-A)=λ2-3λ+1的两个根:(3±√5)/2 均为正, A的奇异值为:α1=((3+√5)/2)1/2;α2=((3-√5)/2)1/2. 例4.3.1:见P.191.安徽大学章权兵5矩阵分析矩阵的酉等价关系定义:设A,B∈Cm×n,若有S∈Cmm×m,T∈Cnn×n 使B=SAT,则称B 与A等价;若有U∈Um×m,V∈Un×n使B=UAV,则称B与A酉等价. 不难证明Cm×n中的等价或酉等价关系R是等价关系. ?A∈Cm×n,ARA：A=EmAEn (ARB?BRA)：A=UBV?B=U*AV*,U*∈Um×m,V*∈Un×n (ARB & BRC?ARC)：A=UBV & B=U′CV′?A=UU′CV′V 注1: A与B酉等价当且仅当它们有相同的奇异值. 注2: ?A∈Cm×n的酉等价类中有一个最简单形状的矩阵 (见定理4.3.3). ( A∈Crm×n等价于diag(Er,0)=PAQ ) 奇异值分解定理1定理 4.3.3:令α1,…,αr为A∈Crm×n的全部正奇异值; ?=diag(α1,…,αr),则有U∈Um×m,V∈Un×n使 U*AV= ? 0 ?0? ? =D∈C m×n r 0? ? ?(*)U满足U*AA*U是对角矩阵,V满足V*A*AV是对角矩阵. ( A=UDV*称为A的奇异值分解式) 证: 因AA*为m阶半正定矩阵,故有U∈Um×m 使2 0? ? 0? ? ? 分块U=(U1,U2),则U1∈Urm×r,U2∈Um-rm×(m-r)U*AA*U=diag(α12,…,αr2,0,…0)= ? 0 ?对角阵次酉阵奇异值分解定理1续2 ? ? 0 ? U1* ? ? U1* AA *U1 U1* AA *U 2 ? 0 ? ? U1* ? ? ? = ? * ? AA *(U1 , U 2 ) = ? * ? ( AA *U1 , AA *U 2 ) = ? * * U2 ? 0 ? ?U 2 ? ? ? U 2 AA *U1 U 2 AA *U 2 ?奇异值分解定理1续令V1=(v1,…,vr),则v1,…,vr为标准正交组. 将此标正组扩大为Cn 的标正基:v1,…,vr,vr+1,…,vn, 令V=(v1,…,vn)=(V1,V2)∈Un×n,其中V2=(vr+1,…,vn). 易见 0=V1*V2=?-1U1*AV2 ? U1*AV2=0 综合以上得U * AV U 1* AV2 ? ?U * ? ? U * AV = ? 1* ? A(V1 , V2 ) = ? 1* 1 ? U AV U * AV ? ?U ? 2 2? ? 2 1 ? 2? ? U * AA * U 1??1 =? 1 ? 0 ?0 ? ? ?2 ??1 ?=? 0? ? 0 ? ? 0? ? ? 0? ?=? ? 0? ? 0 0? ? ? ?比较(1,1)块得?2=U1*AA*U1 比较(2,2)块得0=U2*AA*U2=(U2*A)(U2*A)* ? U2*A=0. ( ?M∈Cm×n,MM*=0 ? 0=tr(MM*)=Σ2 i,j|mij|i,j,mij=0 ? M=0 ) 令V1=A*U1?-1∈Cn×r 则V1*V1=?-1U1*AA*U1?-1=?-1?2?-1=E ? V1∈Urn×r奇异值分解定理2定理 4.3.4:令α1,…,αr为A∈Crm×n的全部正奇异值; ?=diag(α1,…,αr),则有U1∈Urm×r,V1∈Urn×r 使A=U1ΔV1 . 证:由定理4.3.3直接推出A = U ? ? 0 ? 0 0 ? ?V ? ?*关于奇异值分解定理的注(1)定理4.3.3的证明同时给出了因子矩阵U,V的求法. (U(V)是使AA*(A*A)酉相似对角化的变换矩阵) (2)矩阵U,V的列分别是AA*,A*A 的对应特征向量. 证: 只证U(类似可证V). U*AA*U=diag(λ1,…,λm),λi 为AA*的特征值. 令U=(u1,…,um), 则(AA*u1,…,AA*um)=AA*(u1,…,um) =(u1,…,um)diag(λ1,…,λm) =(λ1u1,…,λmum) ? ?i,AA*ui=λiui A*A=VD*U*UDV*=Vdiag(λ1,…,λm)V* ? ?i,A*Avi=λivi= (U 1 , U2)? ? 0 ?0 0V 1* ?? * ?? V ?? 2V * ? = (U 1? , 0 )? 1* ? = U 1? V1* ?V ? ? 2?安徽大学章权兵6矩阵分析奇异值分解例1例4.3.1: 求 A=1 ? ?0 ?0 ? 2? ? 0? 0? ?奇异值分解例2例:求 A= 解: AA* =1 ? ?2 ? 0 0 0? ? 0? ?的奇异值分解式.的奇异值分解式.解: AA*=diag(5,0,0),σ(AA*)={5,0,0},Δ=(√5). U1∈U13×1是AA*对应于5的单位特征向量x=(1,0,0)T,U=E3. V1=A*U1?-1= ? ?1 ?2 0 0 ?1? 0 ?? ? ?? 0 ? ? 0 ?? ? ?0?1 ? ?2 ?2? * ? 4 ? ,σ(AA )={5,0},r=1,Δ=(√5). ?U1∈U12×1是AA*对应于5的单位特征向量x=(1/√5,2/√5)T V1=A*U1?-1 = ? 00 ? ?1 ? 2? ?? 0 ?? ? 0 ?? ?1 52 5( )=1 51 51? ? ? ? 2? ? ?, V=1 51 ? ?2 ?2? ? 1 ? ?( )=1 51 51 ? ?0 ?0 ?2? ?1? ?? 1 ? ? ? 0 ?? ? = ? 0 ? ?2? 0 ?? ? ? 0 ? ? ? ?所以A的奇异值分解式是 A=UDV*= ? 0 ?0 ?1 ? 0 1 0 0?? 5 ? 0?? 0 ? 1?? 0 ?? 0? ?? 0?? 0?? ?1 5 ?2 5 1 2 51? ? ? ? ? = ?0? 5 ? ?0? ? ?( 5 )(1 52 5)=U1V 1*所以A的奇异值分解式是? 15 * = ? A = U1ΔV1 ? 2 ? 5 ( ? ?5 ) (1, 0 , 0 )§4.4: 矩阵的极分解定义:令A∈Cn×n,A=HU或A=UH称为A的极分解式,如果U∈Un×n,H∈Cn×n 是半正定Hermite矩阵. 特例: n=1时,由复数的指数表示式a=ρeiθ 有A=(a)=(ρ)(eiθ)=HU, H=(ρ)是半正定Hermite 矩阵,U=(eiθ)是酉矩阵. 下面的定理证明：矩阵的极分解式存在并且是唯一的.满秩方阵的极分解定理4.4.1: ?A∈Cnn×n,存在U∈Un×n 和n阶正定Hermite矩阵 H1,H2 使 A=H1U (H12=AA*,即H1=√(AA*))或 A=UH2;并且这样的分解式是唯一的. 证: 由定理3.9.1和定理3.9.4, 正定Hermite矩阵A*A存在唯一正定矩阵H2=(A*A)1/2. 令U=AH2-1, 则U*U=(AH2-1)*AH2-1 =H2-1A*AH2-1=H2-1H22H2-1=E, 从而U∈Un×n使A=UH2;因H2可逆且唯一,故U也唯一. ( 另一半的证明: A=UH2=UH2U*U=H1U, H1=UH2U*为正定Hermite矩阵. AA*=H1UU*H1=H12 & H1为正定Hermite阵 ? H1唯一. ) 非满秩方阵的极分解定理4.4.2: ?A∈Crn×n,存在U∈Un×n和唯一n阶秩r半正定Hermite矩阵H1,H2使A=H1U (H12=AA*,即H1=√(AA*)) 或A=UH2 (即H2=√(A*A)). 证:存在性由奇异值分解定理有U1,V∈Un×n使A=U1DV*, D=diag(α1,…,αr,0,…,0). 令H1=U1DU1*,H2=VDV*,U=U1V*,则H1,H2,U满足要求A=U1DU1*U1V*=H1U; A=U1V*VDV*=UH2. 唯一性若A=H1U,则AA*=H12 ?H1=(AA*)1/2唯一. 注:也可用上述方法证明定理4.4.1. 思考:定理4.4.2中U是否唯一? 不一定唯一! 没有U=AH2-1 矩阵极分解的一个经典应用定理4.4.3: ?A∈Cn×n 为正规矩阵当且仅当存在U,U′∈Un×n和(同一个)n阶半正定Hermite矩阵H使A=HU=U′H. 证:必要性设A*A=AA*.由定理4.4.2,存在U∈Un×n和n 阶半正定Hermite矩阵H1,H′使A=H1U=UH′. 因此H1=(AA*)1/2=(A*A)1/2 =H′. (AA*=H1UU*H1=(H1)2,A*A=H′U*UH′=(H′)2) 充分性设A=HU=U′H. 则AA*=HU(HU)*=H2 , A*A=(U′H)*U′H=H2 =AA*安徽大学章权兵7。

第四节矩阵谱分解

A = PΛP −1 , AT = ( PT ) −1 ΛPT
其中
Λ = diag (λ1 , λ2 , ⋯ , λn )
这表明A 也与对角矩阵相似，这表明 T也与对角矩阵相似，故AT也是单纯矩阵
个线性无关的特征向量设y1,y2, …,yn是AT的n个线性无关的特征向量则个线性无关的特征向量.则 ( y1,y2, …,yn ) = (PT )-1 = (P-1 ) T
n× n 设单纯矩阵 A ∈ C 的谱为 λ1 , λ2 ⋯, λs ，其代数重数分为
m1 , m2 , ⋯, ms 则存在唯一的 Ei ∈ C n×n , i = 1,2, ⋯ , s 使
(1)
(2)
A = ∑ λi Ei ;
i =1
s
Ei , i = j Ei E j = o, i ≠ j
∀A ∈ R n×n , ∃P ∈ R n×n , P −1 = PT ,
λ1 * ⋯ ⋯ * λ2 ⋱ ⋮ P −1 AP = ⋱ ⋱ ⋮ ⋱ * λn
其中λ1，λ2， λn为A的特征值. ⋯
引理证明
正规上三角矩阵是对角矩阵设n阶矩阵A是正规上三角矩阵，则阶矩阵A是正规上三角矩阵，
第六节
主要内容：主要内容：
矩阵谱分解
一、单纯形矩阵的谱分解二、正规矩阵与酉对角化三、正规矩阵的谱分解
一、单纯形矩阵的谱分解左特征向量给定n阶矩阵，的特征值。给定阶矩阵A，λ是A的特征值。由于 T与A有相同的阶矩阵的特征值由于A 有相同的特征值，特征值，设Y是AT的属于λ的特征向量，则是的属于λ的特征向量，
Y 1T T Y2 = ( X 1 , X 2 , ⋯ , X s ) ⋮ Y T s

第4章_矩阵的分解 2 矩阵分析简明教程曾祥金张亮

➢ U1 的列向量是R（A）的标准正交基。右奇异向量 ➢ U2的列向量是R （A）的标准正交基。
例题：图像的数字化技术与矩阵的奇异值分解
计算机处理图像技术的第一步是图像的数字化存储技术，即将图像转换成矩阵来存储。
转换的原理是将图形分解成象素（pixels）的一
个矩形的数阵，其中的信息就可以用一个矩阵
矩阵的分块
常见的矩阵标准形与分解
常见的标准形
等价标准形相似标准形合同标准形
本节分解：
Amn
pmm
Ir
0
0 0Qnn
Ann PJAP1
Ann CCT
AT=A
三角分解
满秩分解
等价标准形
可对角化矩阵的谱分解
相似标准形
4.1 LU分解(图灵Turing, 1948)
LU分解：AFnn，存在下三角形矩阵L ，上三角形矩阵U ，使得A=LU。
Remark: 这样的分解称之为QR分解。
Application: 可以求最小二乘解
实施步骤
A (1,2,...,n) 1, 2 ,..., n 1, 2,..., n
G-S正交化单位化
1
A
(1,2
,...,
n
)
(
1,
2
,...,
n
)
QR
(1, 1 ) 2
... ...
( n , ( n ,
Problem: 矩阵的奇异值分解是酉等价型的分
解: AC m×n，酉矩阵UC m×m, VC
n×n ,使得A=U VH。
d1
矩阵A等价于=
D
0
0 0mn
D
d2
d
r

武汉大学《现代控制理论》数学知识回顾第四章矩阵的范数-特征值矩阵分解法

现代控制理论讲义第四章矩阵范数和奇异值分解4.1 引言在这一讲中，我们将引入矩阵范数的概念。

之后会介绍矩阵的奇异值分解或者叫SVD。

SVD 揭示了矩阵的2范数，它的值意义更大：它使一大类矩阵扰动问题得以解决，同时也为后面稳定鲁棒性的概念打下基础；它还解决了所谓的完全最小二乘问题，该问题是我们前面讲的最小二乘问题的推广；还帮我们澄清在矩阵求逆计算中碰到的态性的概念。

在下一讲中，我们会花更大的篇幅来叙说SVD的应用。

例 4.1 为了提高大家对矩阵范数研究和应用的兴趣，我们首先从一个例子开始，该例子提出了与矩阵求逆有关的矩阵态性问题。

我们所感兴趣的问题是矩阵求逆对矩阵扰动的敏感程度。

考虑求下列矩阵的逆马上就可以求得现在我们假设对一个受到扰动的矩阵求逆求逆后，结果就成了在这里表示A中的扰动，表示中的扰动。

显然中一项的变化会导致中的变化。

如果我们解，其中，得到，加入扰动后，解得。

在这个结果中，我们仍然可以清楚的看到开始数据仅有的变化，却导致解产生的变化。

以上例子中我们看到的要比在标量情况下差的多。

如果是标量，那么，所以的倒数中小数部分的变化和的变化在同一量级上。

因此，在上例中的现象完全是在矩阵的时候才出现的。

看上去好像和是近似奇异的事实有关——因为它的列几乎不独立，且它的行列式值要比它的最大元素小很多，等等。

随后（见下一讲），我们会找到衡量奇异程度的合理方法，同时还要说明在求逆情况下，这种方法和灵敏度的关系如何。

在理解这种灵敏度和扰动的细节关系之前，我们首先要找到度量向量和矩阵量级的方法。

在第一讲中我们已经引入了向量范数的概念，所以我们现在来看一下矩阵范数的定义。

4.2 矩阵范数一个维复数矩阵可以看成（有限维）赋范向量空间中的一个算子：其中，这里的范数指的是标准欧氏范数。

定义的归纳2-范数如下：术语“归纳”是指在向量和的范数的基础上，使得以上矩阵范数的定义有意义。

该定义中，归纳范数表示矩阵在中单位圆上向量扩大的倍数，也就是说，它表示矩阵的增益。

矩阵分解的原理及其应用

矩阵分解的原理及其应用一、矩阵分解的原理矩阵分解是将一个矩阵拆解为多个矩阵相乘的过程，通过分解原矩阵，可以提取隐含在矩阵中的潜在信息。

常见的矩阵分解方法有奇异值分解(Singular Value Decomposition, SVD)、QR分解、LU分解等。

1. 奇异值分解(SVD)奇异值分解是矩阵分解中应用最广泛的方法之一。

它将一个矩阵分解为三个矩阵的乘积，即A=UΣV^T，其中U和V是正交矩阵，Σ是对角矩阵。

在奇异值分解中，U矩阵包含了原矩阵A的左奇异向量，V矩阵包含了原矩阵A的右奇异向量，Σ矩阵中的对角线元素称为奇异值。

2. QR分解QR分解将一个矩阵分解为一个正交矩阵Q和一个上三角矩阵R的乘积，即A=QR。

其中Q的列向量是正交的，R是上三角矩阵。

QR分解常用于求解线性方程组、矩阵的逆以及最小二乘问题等。

3. LU分解LU分解将一个矩阵分解为一个下三角矩阵L和一个上三角矩阵U的乘积，即A=LU。

其中L是单位下三角矩阵，U是上三角矩阵。

LU分解常用于求解线性方程组。

二、矩阵分解的应用矩阵分解在数据分析、机器学习、推荐系统等领域中有着广泛的应用。

1. 数据压缩奇异值分解可以用于数据压缩，通过提取矩阵的主要特征，可以将原矩阵表示为一个较小的低秩近似矩阵。

这样可以减少存储空间和计算成本，并且在一定程度上保留了原矩阵的信息。

2. 推荐系统矩阵分解在推荐系统中有广泛的应用。

通过对用户-物品评分矩阵进行分解，可以得到用户和物品的隐含特征向量，进而可以进行个性化推荐。

常见的矩阵分解方法如协同过滤(Collaborative Filtering)和隐语义模型(Latent Semantic Model)等。

3. 图像处理矩阵分解在图像处理中也有重要的应用。

例如，图像压缩算法JPEG使用了奇异值分解来减小图像文件的大小。

此外，矩阵分解还可以用于图像的降噪、图像融合等方面。

4. 信号处理在信号处理中，矩阵分解可以用于信号的分解与重构。

矩阵分析引论--第四章--矩阵的奇异值分解-向量范数、向量范数

n
定义 E
xi2 .
证明
a,
都与
b
E 等价.
i 1
利用 a
x11 xn n
( x1 ,, xn )连续，
在单位球面
S
y
(
y1 ,,
yn
n
)
i 1
yi2
1
上
取得最大值M与最小值m.
目录上页下页返回结束
第四章第一二节向量范数、矩阵范数
第二节矩阵范数
定义4-2 设A P nn ,定义非负实数 A，满足下列条件: (1) 正定性：当A 0时，A 0; (2) 齐次性：kA k A (k P); (3) 三角不等式： A B A B . (4) AB A B . 则称非负实数||A||为n×n方阵的范数.
则称非负实数||||为向量的范数.
此时称线性空间V 为线性赋范空间.
目录上页下页返回结束
第四章第一二节向量范数、矩阵范数
设V是内积空间， V ,定义： ( , ),
则 • 是V上的一个范数，称为由内积引出的范数.
向量范数的性质：
P124, 1
(1) 0 0 ;
(2) 0时， 1 1 ;
A F
n
2
aij
tr( AH A）
i , j1
是与 2相容的方阵范数. 称为 F 范数.
注：当U为酉矩阵时，有
F范数的优点
A的酉相似矩阵的F 范数相同.
目录上页下页返回结束
第四章第一二节向量范数、矩阵范数
常用的矩阵范数
n
(1)
A
1
max
1 jn i 1
aij

某211高校研究生课程《矩阵论》第4章l矩阵的因子分解剖析

(4.6.1)
引理4.6.2 设A C mn ,则
(1) AH A与AAH的特征值均为非负实数； (2) AH A与AAH的非零特征值相同，并且非零特征
值的个数(重特征值按重数计算)等于rank ( A).
定义4.6.1 设ACmn ,如果存在非负实数和非零向量
u Cn, v Cm使得
Au v, AH v u
定理4.6.1 若A是正规矩阵，则 A的奇异值是A的特征值的模。
定理4.6.2 设 A是 m n 矩阵，且rank(A) = r，则存在 m阶酉矩阵V 和 n 阶酉矩阵U使得
V
H
AU
0
0 0
(4.6.5)
其中 diag(1,, r )，且1 r 0.
(4.6.5)称为矩阵 A的奇异值分解.
d1 a11 ,
dk
k k 1
,
k 2,, n
分解式 A LDU称为矩阵A的LDU分解。
一般说来，即使A是n阶非奇异矩阵， A未必能作LU分解和LDU分解。
定义4.3.1 设ei是n 阶单位矩阵的第i列(i=1,2,…n)，以e1, e2,, en为列作成的矩阵[ei1 , ei2 , , ein ] 称为 n 阶排列矩阵，其中 i1, i2 ,, in 是1,2,…n的一个排列。
推论4.5.2 若 A是n 阶实对称矩阵，则 A正交相似于实对角矩阵，即存在n 阶正交矩阵 Q 使得
QT AQ
(4.5.13)
其中 diag(1,, n )，i (i 1,, n)是A的实
特征值。
4.6 奇异值分解
引理4.6.1 设A C mn ,则
rank( AH A) rank( AAH ) rank( A)

矩阵理论第四章

1. Hermite 矩阵的谱分解
设 A 为 Hermite 矩阵，则存在酉矩阵 U ，使
1
O
U H AU
2
.
O
n
将U 写成列向量形式，即U u1 u2 ... un ，则
2. 非奇异矩阵的酉对角分解
定理 5.5.1 设 A 为 n 阶非奇异矩阵，则存在 n 阶酉矩阵U 及V ，使得
A( 2 )
L-21A(1 )
0
a( 0 ) 12
a( 1 ) 22
0
a( 0 ) 13
a( 1 ) 23
a( 2 ) 33
a( 2 ) n3
a( 0 1n
a(1 2n
) )
a( 2 3n
)
a( 2 nn
)
即 A(1) L2 A( 2 )
依此类推，进行到第(r-1)步，则可得到
则
A
的
r
阶顺序主子式 r
于是
A
P1
E 0
mr
E
0 Q1. rn
记
P
1
E 0
F
,E
0Q1 G.
则 F 为列满秩矩阵， G 为行满秩矩阵,得
A FG .
证毕
显然,满秩分解是不唯一的.
事实上 D Crrr （ r 阶可逆方阵），
则 A FG F (DD-1)G (FD)(D-1G) F1G1，
且 F1 Crmr ,G1 Crrn .
第四章矩阵分解
所谓矩阵分解，就是将一个矩阵写成结构比较简单的或性质比较熟悉的另一些矩阵的乘积．
即可将 A0 第 1 列上从第 2 到第 n 个元素全化为零．
得
a(0) 11

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

又如在例 4.1.1 中
0 A2
2i
110
1 0
1
2 0
0
．
1
1 A 1
2
0 2 2
1 1 2
2 1
1 行 0
1
0
0 1 0
1 0 0
32 B ,
2 0
所以
1 A 1
2
0 2 2
1 0
0 1
1 0
2 3
．
2
利用矩阵的满秩分解处理一些矩阵问题时，有时会十分方便．
例 4.1.3 设 A1 与 A2 都是 m n 矩阵，证明
P (e j1 , e j2 , , e jn ) 称为置换矩阵，这里 j1 j2 jn 是1,2, , n 的一个全排列．
0 0 1 0
例如，矩阵
P
(e3
,
e4
,
e1
,
e2
)
=
0 1 0
0 0 1
0 0 0
1 0 0
就是一个
4
阶置换
矩阵．
置换矩阵 P (e j1 , e j2 , , e jn ) 有如下一些性质：（1） P 是正交矩阵；（2）对任意 A C mn ， AP 是将 A 的列按 j1 , j2 , , jn 的次序
( A, E) ＝ 1
1
0 2
1 1
21 1 0
0 1
0 0
行
1 0
0 2
1 0
21 31
0 1
0 0
2 2 2 1 0 0 1
0 0 0 0 1 1 1
所以
B
1 0
0 2
1 0
2 ， 1
3 P 1
0 1
0 0
，可求得
P 1
1 1
0 1
0 ．
0
0 0 0 0
1 1 1
第4章-矩阵分解
注 4.1.1 矩阵 A 的满秩分解(4.1.1)不是唯一的，这是因为若取 D
是任一个 r 阶非奇异矩阵，则式（4.1.1）可改写为
~~
A (FD)(D1G) F G ，这是 A 的另一个满秩分解．
注 4.1.2 定理 4.1.1 的证明过程表明，可以使用矩阵的初等行变换方法求矩阵的满秩分解．
下面确定列满秩矩阵 F ，参照 A 的行最简形矩阵 B 作 n 阶置换
矩阵
P1 (e j1 , , e jr , e jr1 , , e jn ) ，
划分 A (1, 2 , , n ) ， B (1, 2 , , n ) ，则有
AP1 ( j1 , , jr , , jr1 , jn ) ，
定理 4.2.1（Schur 定理）若 A C nn ，则存在酉矩阵U ，使得
U H AU T 这里T 为上三角矩阵，T 的(主)对角线上的元素都是 A 的特征值．
证明设 A 的特征值为 1, 2 , , n ．若 1 为 A 的属于 1 的单
位特征向量．把 1 扩充成 C n 的一组基 1,2 , ,n ．
F1 , F2
G1 G2
，
从而
rank ( A1 A2 ) rank (F1, F2 ) rank (F1 ) rank (F2 ) rank ( A1 ) rank ( A2 ) ．
4.2 舒尔定理及矩阵的QR分解
舒尔(Schur)定理在理论上很重要，它是很多重要定理证明的出发点．而矩阵的QR分解在数值代数中起着重要作用，是计算矩阵特征值及求解线性方程组的一个重要工具.下面的讨论是在酉空间Cn内进行的．
0 0 1 例 4.1.2 求矩阵 A 2 1 1 的满秩分解，其中 i 1 ．
2i i 0
解
0 A 2
0 1
1 1
行
1 0
1
2 0
0
1
B
，
2i i 0
0
0
0
因为 B 的第 1 列和第 3 列构成 E3 的前两列，所以， F 为 A 的第 1 列和第 3 列构成的
3×2 矩阵，从而有
BP1
(
j1
,
,
jr
,
, jr 1
,
jn
)
Er 0
B12 0
，
其中 B12 C r(nr) ，再由 A P1B ，可得
AP1
P1 (BP1 )
(F
,
S
)
Er 0
B12 0
(
F
,
FB12
)
，
即 F 为 AP1 的前 r 列构成的矩阵，也就是 A 的 j1, j2 , , jr 列构成的
矩阵．
利用定理 4.1.2 求 A 的满秩分解时，需要首先求出 A 的行最简形矩阵 B ，但并未用到变换矩阵 P ，因此求矩阵 A 1 2 1 1 的满秩分解．
2 2 2 1
解需要求出阶梯形矩阵 B 及诸初等矩阵的乘积 P ．为此，对距阵 ( A, E) 进行初等行变换，当 A 所在的位置成为阶梯形矩阵 B 时，
E 所在的位置就是进行初等行变换对应的初等矩阵的乘积 P ．
证明由 A 行 B 知，存在 m 阶可逆矩阵 P ，使得 PA B 或者 A P 1B ，根据定理(4.1.1)，将 P 1 分块为
P 1 (F , S ) ， F C mr , rank (F ) r ;
S C m(mr) ， rankS m r ．可得满秩分解 A FG ，其中 G 为 B 的前 r 行构成的 r n 矩阵．
rank ( A1 A2 ) rank ( A1 ) rank ( A2 ) ．
证明如果 A1 0 ，或者 A2 0 ，则结论显然成立．如果 A1 0 且
A2 0 ，设 A1 与 A2 的满秩分解分别为 A1 F1G1 ， A2 F2G2 ，则有
A1 A2 F1G1 F2G2
2 1 1
于是有
1 A 1
2
110
1 0
0 2
1 0
2 3
．
上例中，求列满秩矩阵 F 时，需要求出矩阵 P 及其逆矩阵 P 1 ，
计算量较大．为了避免这些运算，引入下面的定义．
定义 4.1.2 以 n 阶单位矩阵 En 的 n 个列向量 e1, e2 , , en 为列构成的 n 阶矩阵
对它进行正交化、单位化，可以得到一组标准正交基
1,2 , ,n ．
以这组基作列向量构成的矩阵
（4.2.1）
重新排列所得到的矩阵．
我们已知，任意非零矩阵 AC mn且rankA r ，可通过初等
行变换化为行最简形矩阵 B ，且 B 的前 r 行线性无关．
定理 4.1.2 设 ACmn , rankA r (r 0) 的行最简形矩阵为
B ，那么，在 A 的满秩分解（4.1.1）中，可取 F 为 A 的 j1, j2 , , jr 列构成的 m r 矩阵， G 为 B 的前 r 行构成的 r n 矩阵．