第二章矩阵分解4 矩阵的奇异值分解
矩阵的奇异值分解
非对称矩阵分解
非对称矩阵的特征值分解
对于非对称矩阵，其特征值可能是复数，因此不能直接进行实数域上的特征值分 解。但是，可以通过引入复数域上的特征向量和特征值，将非对称矩阵分解为复 数域上的特征向量矩阵和特征值矩阵的乘积。
非对称矩阵的奇异值分解
对于任意实非对称矩阵，都可以进行奇异值分解，即$A = USigma V^T$，其中 $U$和$V$是正交矩阵，$Sigma$是对角矩阵，对角线上的元素是$A$的奇异值。 非对称矩阵的奇异值分解在数据降维、图像处理等领域有广泛应用。
通信信道均衡策略
信道均衡原理
在通信系统中，信道均衡是一种用于补偿信道失真、提高通信质量的技术。奇异值分解可用于信道均衡中的信道 矩阵分解，从而实现对信道特性的准确估计和补偿。
基于奇异值分解的信道均衡算法
利用奇异值分解对信道矩阵进行分解，根据得到的奇异值和左右奇异向量设计均衡器，实现对信道失真的有效补 偿。
3
个性化推荐
结合用户历史行为数据和相似度计算结果，为用 户推荐与其兴趣相似的物品或服务。
05 奇异值分解在信号处理和 通信中应用
信号降噪与重构技术
基于奇异值分解的信号降噪
利用奇异值分解能够将信号分解为多个独立成分的特点，对含噪信号进行降噪处理，提高信号质量。
信号重构技术
通过保留奇异值分解得到的主要成分，对信号进行重构，实现信号的压缩和恢复。
特殊类型矩阵分解
正定矩阵的Cholesky分解
对于正定矩阵，可以进行Cholesky分解，即$A = LL^T$，其中$L$是下三角 矩阵。Cholesky分解在求解线性方程组、最优化问题等场景中具有重要作用。
稀疏矩阵的分解
对于稀疏矩阵，可以采用特定的分解方法，如LU分解、QR分解等，以便更有效 地进行存储和计算。这些分解方法在数值计算、科学计算等领域有广泛应用。
矩阵论-奇异值分解
0
0
1
0
0 0 0
2 13 3 13
3
13
-2
13
例：求A=
-1 2
0 0
1 -2
的奇异值分解.(课本例题)
1 2
解：令B=AH
0
1
0 2
,
则BH
B=
2 -4
-4
8
,
I BHB 2
4
( 10), =10, 0
4 8
故B的奇异值为
10，B H
1
例：A=
0
2
0
1 0
，则AH
A=
5 0
0 1
，奇异值为
5，1
1 0 2
而AAH
=
0
1
0 ，I-AAH =( 1)( 5).
2 0 4
定理1：若A与B酉相抵，则A与B有相同的奇异值.
证明：因A与B酉相抵，所以存在酉阵U与V，使B=UAV. 所以BH B=VH AH UH UAV=VH AH AV， 所以BH B与AH A相似， 所以它们的特征值相同， 所以A与B有相同的奇异值.
2
0
极分解：设A Cmr n，则A有以下分解，A=GU，G为半正定 Hermite矩阵，U为酉阵，特别地，当A 满秩时，G为正定 Hermite矩阵, 且分解唯一.
证明：由奇异值分解：
1
A=U1
0
r
0 0
V1H
=
U1
1
0
r
0
U1H
U1V1H
0
同理，r( AAH ) r( AH )=r( A).
引理2：设A Cmn，则 1）AH A与AAH的特征值均为非负实数. 2）AH A与AAH的非零特征值相同且非零特征值的个数为r(A).
矩阵的奇异值分解-推荐下载
对全部高中资料试卷电气设备，在安装过程中以及安装结束后进行高中资料试卷调整试验；通电检查所有设备高中资料电试力卷保相护互装作置用调与试相技互术通关，1系电过，力管根保线据护敷生高设产中技工资术艺料0不高试仅中卷可资配以料置解试技决卷术吊要是顶求指层，机配对组置电在不气进规设行范备继高进电中行保资空护料载高试与中卷带资问负料题荷试2下卷2，高总而中体且资配可料置保试时障卷，各调需类控要管试在路验最习；大题对限到设度位备内。进来在行确管调保路整机敷使组设其高过在中程正资1常料中工试，况卷要下安加与全强过，看度并22工且22作尽22下可22都能22可地护以缩1关正小于常故管工障路作高高；中中对资资于料料继试试电卷卷保破连护坏接进范管行围口整，处核或理对者高定对中值某资，些料审异试核常卷与高弯校中扁对资度图料固纸试定，卷盒编工位写况置复进.杂行保设自护备动层与处防装理腐置，跨高尤接中其地资要线料避弯试免曲卷错半调误径试高标方中高案资等，料，编试要5写、卷求重电保技要气护术设设装交备备置底4高调、动。中试电作管资高气，线料中课并敷3试资件且、设卷料中拒管技试试调绝路术验卷试动敷中方技作设包案术，技含以来术线及避槽系免、统不管启必架动要等方高多案中项；资方对料式整试，套卷为启突解动然决过停高程机中中。语高因文中此电资，气料电课试力件卷高中电中管气资壁设料薄备试、进卷接行保口调护不试装严工置等作调问并试题且技，进术合行，理过要利关求用运电管行力线高保敷中护设资装技料置术试做。卷到线技准缆术确敷指灵设导活原。。则对对：于于在调差分试动线过保盒程护处中装，高置当中高不资中同料资电试料压卷试回技卷路术调交问试叉题技时，术，作是应为指采调发用试电金人机属员一隔，变板需压进要器行在组隔事在开前发处掌生理握内；图部同纸故一资障线料时槽、，内设需，备要强制进电造行回厂外路家部须出电同具源时高高切中中断资资习料料题试试电卷卷源试切，验除线报从缆告而敷与采设相用完关高毕技中，术资要资料进料试行，卷检并主查且要和了保检解护测现装处场置理设。备高中资料试卷布置情况与有关高中资料试卷电气系统接线等情况，然后根据规范与规程规定，制定设备调试高中资料试卷方案。
[整理]矩阵的奇异值分解
![[整理]矩阵的奇异值分解](https://img.taocdn.com/s3/m/afe785200a4c2e3f5727a5e9856a561253d3215f.png)
§2 矩阵的奇异值分解定义 设A 是秩为r 的m n ⨯复矩阵，T A A 的特征值为1210r r n λλλ>λλ+≥≥≥=== .则称i σ=(1,2,,)i n = 为A 的奇异值.易见，零矩阵的奇异值都是零，矩阵A 的奇异值的个数等于A 的列数，A 的非零奇异值的个数等于其秩.矩阵的奇异值具有如下性质：（1）A 为正规矩阵时，A 的奇异值是A 的特征值的模；（2）A 为半正定的Hermite 矩阵时，A 的奇异值是A 的特征值；（3）若存在酉矩阵,m m n n ⨯⨯∈∈U V C C ，矩阵m n ⨯∈B C ，使=UAV B ，则称A 和B 酉等价.酉等价的矩阵A 和B 有相同的奇异值.奇异值分解定理 设A 是秩为r (0)r >的m n ⨯复矩阵，则存在m 阶酉矩阵U 与n 阶酉矩阵V ，使得H⎡⎤==⎢⎥⎣⎦O U AV O O ∑∆. ①其中12diag(,,,)r σσσ= ∑，i σ(1,2,,)i r = 为矩阵A 的全部非零奇异值.证明 设Hermite 矩阵H A A 的n 个特征值按大小排列为1210r r n λλλ>λλ+≥≥≥=== .则存在n 阶酉矩阵V ，使得12H H()n λλ⎡⎤⎡⎤⎢⎥==⎢⎥⎢⎥⎣⎦⎢⎥⎣⎦O V A A V OO ∑. ②将V 分块为 12()=V V V ，其中1V ，2V 分别是V 的前r 列与后n r -列.并改写②式为2H⎡⎤=⎢⎥⎣⎦O A AV V O O ∑.则有H 2H 112==A AV V A AV O ， ∑. ③由③的第一式可得H H 2H 1111()()r ==V A AV AV AV E ， 或者∑∑∑.由③的第二式可得H 222()() ==AV AV O AV O 或者.令111-=U AV ∑，则H 11r =U U E ，即1U 的r 个列是两两正交的单位向量.记作112(,,,)r =U u u u ，因此可将12,,,r u u u 扩充成m C 的标准正交基，记增添的向量为1,,r m +u u ，并构造矩阵21(,,)r m +=U u u ，则12121(,)(,,,,,,)r r m +==U U U u u u u u是m 阶酉矩阵,且有 H H1121 r ==U U E U U O ，.于是可得H HH1121H 2()()⎡⎤⎡⎤===⎢⎥⎢⎥⎣⎦⎣⎦O U U AV U AV AV U O O O U ，，∑∑.由①式可得H H HH 111222r r r σσσ⎡⎤==+++⎢⎥⎣⎦O A U V u v u v u v O O ∑. ④称④式为矩阵A 的奇异值分解.值得注意的是：在奇异值分解中121,,,,,,r r m +u u u u u 是H AA 的特征向量，而V 的列向量是H A A 的特征向量，并且H AA 与H A A 的非零特征值完全相同.但矩阵A 的奇异值分解不惟一.证明2 设Hermite 矩阵H A A 的n 个特征值按大小排列为1210r r n λλλ>λλ+≥≥≥=== .则存在n 阶酉矩阵V ，使得12H H()n λλ⎡⎤⎡⎤⎢⎥==⎢⎥⎢⎥⎣⎦⎢⎥⎣⎦O V A A V OO ∑. ②将V 分块为12(,,,)n =V v v v ，它的n 个列12,,,n v v v 是对应于特征值12,,,n λλλ 的标准正交的特征向量.为了得到酉矩阵U ，首先考察m C 中的向量组12,,,r Av Av Av ，由于当i 不等于j 时有H H H H H (,)()()0i j j i j i j i i i j i λλ=====Av Av Av Av v A Av v v v v所以向量组12,,,r Av Av Av 是m C 中的正交向量组.又 2H H H 2||||i i i i i i iλσ===Av v A Av v v ，所以 ||||i i i σ=Av .令1i i i=u Av σ，1,2,,i r = ，则得到m C 中的标准正交向量组12,,,r u u u ，把它扩充成为m C 中的标准正交基11,,,,r r m +u u u u ，令11(,,,,)r r m +=U u u u u则U 是m 阶酉矩阵.由已知及前面的推导可得i i i σ=Av u ，1,2,,i r = ；i =Av 0，1,,i r n =+ ；从而 121(,,,)(,,,,,)n r ==AV A v v v Av Av 0011120(,,,,,)(,,,)0r m r σσσσ⎛⎫⎪ ⎪== ⎪ ⎪ ⎪⎝⎭O u u u u u O O 00 ⎛⎫= ⎪⎝⎭ΣO U O O故有=AV U Δ，即H =U AV Δ.例1 求矩阵120202⎡⎤=⎢⎥⎣⎦A 的奇异值分解.解 T52424044⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦A A 的特征值为1239,4,0λλλ===， 对应的单位特征向量依次为T T T 1231,1),(2,1,2)3==-=-v v v .所以5052643⎡-⎢=⎥⎥-⎥⎣⎦V .于是可得()2r =A ，3002∑⎡⎤=⎢⎥⎣⎦.计算111221∑-⎡⎤==⎢⎥-⎣⎦U AV ，则A 的奇异值分解为T 300020⎡⎤=⎢⎥⎣⎦A U V .在A 的奇异值分解中，酉矩阵V 的列向量称为A 的右奇异向量，V 的前r 列是H A A 的r 个非零特征值所对应的特征向量，将他们取为矩阵V 1，则12(,)=V V V .酉矩阵U 的列向量被称为A 的左奇异向量，将U 从前r 列处分块为12(,)=U U U ，由分块运算，有H H H H1111212H H H22122()⎡⎤⎛⎫⎡⎤=== ⎪⎢⎥⎢⎥⎣⎦⎣⎦⎝⎭O U U AV U AV U AV AV AV O O U U AV U AV ，∑ 从而 211=A V A V U Σ，=0.正交基；（2）1U 的列向量组是矩阵A 的列空间(){}R =A Ax 的一组标准正交基；（1）1V 的列向量组是矩阵A 的零空间(){}N ==A x Ax 0正交补H ()R A 的一组标准正交基；（1）2U 的列向量组是矩阵A 的列空间(){}R =A Ax 正交补H ()N A 的一组标准正交基.在A 的奇异值分解中，酉矩阵U 和V 不是惟一的.A 的奇异值分解给出了矩阵A 的许多重要信息.更进一步，由于12(,,)m =U u u u ，12(,,,)n =V v v v ，可借助于奇异值分解，将A 表示为H 11H 212H 0(,,,)0m r n σσ⎛⎫⎛⎫⎪ ⎪ ⎪ ⎪= ⎪ ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭v O v A u u u O O v H HH 111222r r r σσσ=+++u v u v u v归纳这一结果，有如下定理.定理 设m n ⨯∈A C ，A 的非零奇异值为12r σσσ≥≥≥ ，12,,ru u u 是应于奇异值的左奇异向量，12,,,r v v v 是应于奇异值的右奇异向量，则T TT 111222r r r σσσ=+++A u v u v u v .上式给出的形式被称为矩阵A 的奇异值展开式，对一个k r ≤，略去A 的一些小的奇异值对应的项，去矩阵k A 为T T T111222k k k kσσσ=+++A u v u v u v .则k A 是一个秩为k 的m ×n 矩阵.可以证明，k A 是在所有秩为k 的m ×n 矩阵中，从Frobenius 范数的意义下，与矩阵A 距离最近的一个矩阵.这在实际中应用广泛.例如，在图像数字化技术中，一副图片可以转换成一个m ×n 阶像素矩阵来储存，存储量m ×n 是个数.如果利用矩阵的奇异值展开式，则只要存储A 的奇异值i σ，奇异向量,i i u v 的分量，总计r （m +n +1）个数.取m =n =1000，r =100作一个比较， m ×n =1000000，r （m +n +1）=100（1000+1000+1）=200100.取A 的奇异值展开式，，存储量较A 的元素情形减少了80%.另外，可取k r <，用k A 逼近A ，能够达到既压缩图像的存储量，又保持图像不失真的目的.由矩阵A 的奇异值分解可得T TT 111222r r r σσσ=+++A u v u v u v可见，A 是矩阵T TT 1122,,,r r u v u v u v 的加权和，其中权系数按递减排列120r σσσ≥≥≥> .显然，权系数大的那些项对矩阵A 的贡献大，因此当舍去权系数小的一些项后，仍然能较好的“逼近”矩阵A ，这一点在数字图像处理方面非常有用.矩阵的秩k 逼近定义为T T T111222 1k k k k r σσσ=+++≤≤A u v u v u v秩r 逼近就精确等于A ，而秩1逼近的误差最大.矩阵的奇异值分解不但在线性方程组，矩阵范数，广义逆，最优化等方面有着广泛的应用.而且在数字计算，数字图像处理，信息检索，心里学等领域也有着极重要的应用.有兴趣的读者可参阅有关教科书，如Steven J.Leon 的《线性代数》.３ 矩阵Ａ的奇异值分解与线性变换T A设A 是一个秩为r 的m ×n 复矩阵，即m n⨯∈A C，rank()r =A ，则由()T ==A A βαα可以定义线性变换:n m T →A C C .设矩阵A 有奇异值分解H=A U ΣV ，则将矩阵n n⨯∈V C 的列向量组12,,,n v v v 取作空间nC 的标准正交基；则将矩阵m m⨯∈U C的列向量组12,,m u u u 取作空间mC的标准正交基，则在所取的基下，线性变换T A 对应的变换矩阵就是Σ.设n ∈C α，α在基12,,,n v v v 下坐标向量为T12(,,,)n x x x =x ，=Vx α.那么α在线性变换T A 下的像β具有形式：11H()()()00r r x x T σσ⎛⎫ ⎪ ⎪ ⎪===== ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭A A U ΣV Vx U Σx U βαα.其中12,,,r σσσ 是A 的非零奇异值，所以，α的像()T =A βα在m C 中基12,,m u u u 下的坐标是T 11(00)r rx x σσ==y Σx .从中可以看出，当rank()r =A 时，在取定的基下，线性变换()T A α的作用是将原像坐标中的前r 个分量分别乘以A 的非零奇异值12,,,r σσσ ，后（n-r ）分量化为零.如果原像坐标满足条件：222121n x x x +++= ，则像坐标满足条件：2221212()()()1rry y y σσσ+++≤ .在rank()r n ==A 时，等式成立.因此，有如下定理.定理 设H=A U ΣV 是m ×n 实矩阵A 的奇异值分解，rank()r =A ，则nR 中的单位圆球面在线性变换T A 下的像集合是：（1）若r n =，则像集合是mR 中的椭球面；（2）若r n <，则像集合是mR 中的椭球体.例2 设矩阵120202⎡⎤=⎢⎥⎣⎦A ，求3R 中的单位圆球面在线性变换:T A y =Ax 下的像的几何图形.解 由例1，矩阵A 有如下奇异值分解T5012300262102043⎛⎫⎡-⎪⎢⎛⎫⎡⎤⎡⎤⎪=⎥⎪⎢⎥⎢⎥-⎪⎣⎦⎣⎦⎥⎭⎪-⎥⎣⎦⎝⎭A. rank()23,n=<=A由定理，单位球面的像满足不等式221222132y y+≤.即单位球面的像是实心椭圆2212194y y+≤.。
矩阵的奇异值分解及其应用
矩阵的奇异值分解（SVD）及其应用版权声明：本文由LeftNotEasy发布于, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系*******************前言：上一次写了关于PCA与LDA的文章，PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。
在上篇文章中便是基于特征值分解的一种解释。
特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。
而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。
奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。
就像是描述一个人一样，给别人描述说这个人长得浓眉大眼，方脸，络腮胡，而且带个黑框的眼镜，这样寥寥的几个特征，就让别人脑海里面就有一个较为清楚的认识，实际上，人脸上的特征是有着无数种的，之所以能这么描述，是因为人天生就有着非常好的抽取重要特征的能力，让机器学会抽取重要的特征，SVD是一个重要的方法。
在机器学习领域，有相当多的应用与奇异值都可以扯上关系，比如做feature reduction的PCA，做数据压缩（以图像压缩为代表）的算法，还有做搜索引擎语义层次检索的LSI（Latent Semantic Indexing）另外在这里抱怨一下，之前在百度里面搜索过SVD，出来的结果都是俄罗斯的一种狙击枪（AK47同时代的），是因为穿越火线这个游戏里面有一把狙击枪叫做SVD，而在Google上面搜索的时候，出来的都是奇异值分解（英文资料为主）。
想玩玩战争游戏，玩玩COD不是非常好吗，玩山寨的CS有神马意思啊。
国内的网页中的话语权也被这些没有太多营养的帖子所占据。
真心希望国内的气氛能够更浓一点，搞游戏的人真正是喜欢制作游戏，搞Data Mining的人是真正喜欢挖数据的，都不是仅仅为了混口饭吃，这样谈超越别人才有意义，中文文章中，能踏踏实实谈谈技术的太少了，改变这个状况，从我自己做起吧。
矩阵的分解分析
矩阵的奇异值分解
H mn 定义 2.2.5 设 A Cr ，A A 的特征值为
1 2 r r 1 n 0
则称 i i (i 1,2,, n) 为 A的奇异值；当 A为零矩阵时，它 的奇异值都是0. 定理 2.2.6 设 A Crmn (r 0) ，则存在m 阶酉阵 U 和 n阶 酉矩阵 V ， 0 U H AV 使得 （2-2-5）
矩阵QR分解的求法
（1）Schmidt正交化法
（2）用初等旋转矩阵左乘矩阵A （3）用初等反射矩阵左乘矩阵 A
矩阵的满秩分解
定理 2.2.4设 m n 矩阵 A C mn ， rankA r (r 0) .如果存 在一个列满秩矩阵 C C mr (rankC r )
D C rn (rankD r ) 使得
矩阵的分解及其应用
内容简介
矩阵分解对矩阵理论及近世计算数学的发展起了关键作用 .矩阵 分解是把一个矩阵写成性质比较熟悉或结构比较简单的另一些矩阵的 乘积，其本质是通过建立相应的矩阵分解使有些问题能够得以简化和 分解，从而更加清晰地得到矩阵的相关特性.本文的具体安排如下：
（1）第一章的主要内容是矩阵的概念、分类、运算以及矩阵的秩 及其特征值和特征向量的等；
V ；
（2）求 A的秩
1 , 2 ,, r diag
r ，奇异值
i
i (i 1,2,, n) 及
（3）计算 i
1 Ai (i 1,2,, n) ，从而得正交矩阵U ； i
A U 0 0 T V 0
(4)的奇异值分解为
矩阵分解的应用
5 0 0 0
2 1 5 2 5 1
奇异值分解定理
奇异值分解定理奇异值分解（Singular Value Decomposition，简称SVD）是线性代数中一种重要的矩阵分解方法，常用于数据分析、信号处理、图像压缩等领域。
SVD的定理表明，任何矩阵都可以分解成三个矩阵的乘积，其中一个矩阵是正交矩阵，另外两个矩阵是对角矩阵，且对角线上的元素称为奇异值。
奇异值分解定理的数学概念比较复杂，需要一定的线性代数基础。
下面将对奇异值分解定理进行详细解释。
给定一个m行n列的实数矩阵A，假设rank(A)为r.那么存在两个实数方阵U(m×r)和V(n×r)，使得：A = UΣV^T其中，U的每一列是A^TA的特征向量，V的每一列是AA^T的特征向量，Σ是一个对角矩阵，对角线上的元素称为奇异值。
奇异值分解定理的证明比较复杂，这里只给出一个简要的证明思路。
假设A的列向量为{a1, a2, ..., an}，它们构成了一个n维向量空间的一组基。
我们可以将这组基转化为标准正交基，得到一组正交矩阵U和V。
然后我们可以通过对U和V进行一些数学操作，得到UΣV^T形式的矩阵。
最后，我们可以证明这个矩阵确实满足奇异值分解定理的要求。
奇异值分解定理在数据分析中有广泛的应用。
例如，在推荐系统中，我们可以通过SVD将用户对物品的评分矩阵分解，得到用户和物品的特征矩阵，从而进行个性化推荐。
在语音识别中，我们可以通过SVD将语音信号分解成一组基本声音的叠加，从而实现语音信号的降噪和特征提取。
在图像压缩中，我们可以通过SVD将图像分解成一组基本的图像模式，从而实现图像的降噪和压缩。
奇异值分解定理的应用不仅局限于上述领域，还可以应用于信号处理、图像处理、文本处理等其他领域。
通过奇异值分解，我们可以将复杂的问题转化为简单的线性代数运算，从而大大简化问题的求解过程。
然而，奇异值分解也有一些限制。
首先，奇异值分解是一种数值方法，对计算精度要求较高。
其次，奇异值分解的计算复杂度较高，对于大规模矩阵的分解可能会很耗时。
矩阵分解4矩阵的奇异值分解
，
1
1
1
x1 1, x2 1, x3 1
2
0
1
从而正交矩阵
1
6
V
1
6 2
6
1 2 1 2
0
1
3
1
3 1
3
,
，
以及
rankA
2, Σ
3 0
10
计算
U1
AV1 Σ
1
1 0
0
0 1 0
1
11 0
6 1
6 2
6
1 1
6 2
，V1
1
6 2
6
1
2
1 2
例10 求矩阵 A 0 0 的奇异值分解.
0 0
解: 可以求得矩阵
1 2
A
H
A
1 2
0 0
0 0
0 0
0 0
1 2
42
的特征值是 1 5, 2 0 ,对应的特征向量可取为
x1 (1, 2)T , x2 (2,1)T，于是可得 rankA rankAH A 1
，奇异值为 1 5, 2 0 ， Σ ( 5)11 ，且使得
A Pdiag (1 , 2 , , n )Q 1
称上式是A的正交对角分解.
性质4 (1) 设 AC mn ,则A酉相似于对角阵的充分必要条件
是A为正规矩阵;
(2) 设 A R nn ,且A的特征值都是实数,则正交相似于对角矩
阵的充要条件A是为正规矩阵.
二.矩阵的奇异值分解
现在开始论述矩阵的奇异值分解。
λ1 V H ( AH A)V
成立的正交矩阵为
λn
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 2 的奇异值分解. 例10 求矩阵 A = 0 0 的奇异值分解 0 0
解: 可以求得矩阵
1 2 1 2 1 0 0 H A A= 2 0 00 0 = 2 4 0 0
对应的特征向量可取为 λ1 = 5, λ2 = 0 ,对应的特征向量可取为
1 1 6 2 1 2 1 1 1 0 − 3 = 2 6 2 0 1 2 0 0 6
V1 = ，
1 6 1 6 2 6
1 2 1 − 2 0
λ1 Σ 2 O H H ⋱ V ( A A)V = = O O λn
或
Σ 2 O AH AV = V O O
其中: 其中
λ1 2 Σ = ⋱ λr
设V有分块形式 有分块形式
阵的充要条件A是为正规矩阵 阵的充要条件 是为正规矩阵. 是为正规矩阵
二.矩阵的奇异值分解 矩阵的奇异值分解
现在开始论述矩阵的奇异值分解。 现在开始论述矩阵的奇异值分解。 定义2.21 设 A∈Cr m×n (r > 0) ，AH A 定义 的特征值为 的奇异值； 则称σi = λi (i = 1,2,⋯, n) 是A的奇异值；规定零矩阵 的奇异值 的奇异值 规定零矩阵0的奇异值 都是0. 都是 定理2.9 设 A∈C m×n (r > 0), 则存在 阶酉矩阵 和n阶酉 则存在m阶酉矩阵 阶酉矩阵U和 阶酉 定理 r 矩阵V,使得 矩阵 使得
，
1 0 1 例11 设矩阵 A = 0 1 1 0 0 0
，求它的奇异值分解. 求它的奇异值分解
1 1 1 x1 = 1, x2 = −1, x3 = 1 2 0 −1
从而正交矩阵
δi > 0, (i = 1 2,⋯ n) , ,
性质3 矩阵,且其特征值 性质 (1) 设 A∈Cr m×n (r > 0) ,则 AH A Hermit矩阵 且其特征值 则 是 矩阵 均是非负实数; 均是非负实数 (2) rank( AH A) = rankA ; (3) 设 A∈Cm×n , 则 A= O 的充要条件为 AH A = O 把性质2中的等式改写为 把性质 中的等式改写为 .
根据性质3, 矩阵,且其特征值均是非负实数 证 根据性质 AH A 是Hermit矩阵 且其特征值均是非负实数 矩阵 且其特征值均是非负实数, 且 记为 显然, 显然 是
λ1 ≥ λ2 ≥ ⋯≥ λr > λr+1 = ⋯= λn = 0
AH A
正规矩阵.根据性质 存在 阶酉矩阵V,使得 正规矩阵 根据性质4,存在 阶酉矩阵 使得 根据性质 存在n阶酉矩阵
所以
Σ O H A = U O OV
(证毕 证毕) 证毕 由上述定理的证明过程可知,A的奇异值是由 唯一确定的 由上述定理的证明过程可知 的奇异值是由A唯一确定的 的奇异值是由 唯一确定的, 但是,由于酉矩阵 和 是不唯一的 是不唯一的,故 的奇异值分解 的奇异值分解(2.41) 但是 由于酉矩阵U和V是不唯一的 故A的奇异值分解 由于酉矩阵 式也是不惟一的. 式也是不惟一的
= 5,σ 2 = 0 ，
Σ = ( 5)1×1 ，且使得
V = (V1
V2 ) =
1
2 ， 5 5 其中 2 1 − 5 5
V1 =
1 2 5 ,V = 5 2 2 1 − 5 5
§4 矩阵的奇异值分解 矩阵的奇异值分解在矩阵理论中的重要性是不言而喻的，它在 矩阵的奇异值分解在矩阵理论中的重要性是不言而喻的， 最优化问题、特征值问题、最小二乘方问题、 最优化问题、特征值问题、最小二乘方问题、广义逆矩阵问题 和统计学等方面都有十分重要的应用。 和统计学等方面都有十分重要的应用。 一.预备知识 预备知识 为了论述和便于理解奇异值分解， 为了论述和便于理解奇异值分解，本节回顾线性代数有关知识。 定义2.14 若实方阵Q满足 ,则称 是正交矩阵. ,则称Q是正交矩阵 定义2.14 若实方阵Q满足 QT Q = E则称Q是正交矩阵. 定义2.15 若存在正交矩阵 使得 PT AP = B则称 正交相似于 若存在正交矩阵P,使得 ,则称 正交相似于B. 则称A正交相似于 定义 n n 定义2.16 A∈C × 共轭转置矩阵记为 AH即 AH = AT . ,即 定义 定义2.17 若 AH = A ,则称 为Hermit矩阵 则称A为 矩阵. 定义 则称 矩阵 定义2.18 设 A∈Cn×n ,若 AH A = AAH,则称 为正规矩阵 则称A为正规矩阵 定义 若 则称 为正规矩阵.
A = Pdiag(δ1 ,δ 2 ,⋯,δ n )Q−1 称上式是A的正交对角分解 的正交对角分解. 称上式是 的正交对角分解
性质4 性质 (1) 设 A∈Cm×n ,则A酉相似于对角阵的充分必要条件 则 酉相似于对角阵的充分必要条件 为正规矩阵; 是A为正规矩阵 为正规矩阵 (2) 设
A∈R
n×n ,且A的特征值都是实数 则正交相似于对角矩 的特征值都是实数,则正交相似于对角矩 且 的特征值都是实数
V = (V1 V2 ),V1 ∈C
n×r r
,V2 ∈C
n×(n−r ) n−r
Σ 2 O = V1 Σ 2 O AH AV = AH AV1 AH AV2 = (V1 V2 ) O O 即 AH AV2 = O AH AV1 = V1 Σ 2
则有
(
)
(
)
,
A AV1 = V1 Σ V1H AH AV1 = Σ 2
1 1 2 1 经计算 5 1 −1 U1 = AV1 Σ = 0 0 = 0 2 5 , 0 0 0 5 3 将U 扩张成 R 的正交标准基
Σ O H A = U O OV = 0 1 0 0 0 0 1 0
, 恒存在正交阵Q， 恒存在正交阵 ，使得 QAQ = diag(λ1 , λ2 ,⋯ λn )
而且Q的 个列向量是的一个完备的标准正交特征向量系 个列向量是的一个完备的标准正交特征向量系。 而且 的n个列向量是的一个完备的标准正交特征向量系。 性质2 是非奇异矩阵，则存在正交阵P和 ， 性质 若 A∈ Rn×n ，是非奇异矩阵，则存在正交阵 和Q， 使得 PT AQ = diag(δ1,δ2 ,⋯,δn ) 其中. 其中
H 令U1 = AV Σ −1 = (u1 ,u2 ,⋯,ur ) 性代数理论知，可将两两正交的单位列向量 u1 ,u2 ,⋯,ur 根据线性代数理论知， 扩充为 Cm的标准正交基 u1 ,u2 ,⋯, ur , ur+1,⋯, um ，记矩阵 U2 = (ur+1,⋯, um ) 阶酉矩阵， 是m阶酉矩阵，且 阶酉矩阵
由
H
2 ,得 得
或
( AV1 Σ −1 ) H ( AV1 Σ −1 ) = Er
,
其中. 其中
λ1 Σ = ⋱
σ1 = ⋱ λr σr
或
由 AH AV2 = O
,得 ( AV2 ) H ( AV2 ) = O 得
AV2 = O
λ1 ≥ λ2 ≥ ⋯≥ λr > λr+1 = ⋯= λn = 0
Σ O H A = U O OV
（2.41） ）
其中矩阵 Σ = diag(σ1,σ 2 ,⋯,σ r ) ,而数 而数
σ1,σ 2 ,⋯,σ r
是矩阵A的所有非零奇异值 称式 的奇异值分解. 是矩阵 的所有非零奇异值.称式（2.41）是矩阵 的奇异值分解 的所有非零奇异值 称式（ ）是矩阵A的奇异值分解
1 0 0 U = (U1 U2 ) = 0 1 0 0 0 1 1 则A的奇异值分解是 的奇异值分解是 1 0 0 5 0
1
2 5 0 5 2 − 1 0 5 5
1 0 1 经过计算， 解 经过计算，矩阵 H A A = 0 1 1 1 1 2 的特征值为 λ1 = 3, λ2 = 1 λ3 = 0 ,对应的特征向量分别是 对应的特征向量分别是 ,
定义2.19 设 A∈Cn×n ,若AH A = AAH = E则称 为酉矩阵 ,则称 为酉矩阵. 则称A为酉矩阵 定义 若 定义2.20 设 A∈Cn×n ,若存在酉矩阵 使得 P H AP = B 若存在酉矩阵P,使得 定义 若存在酉矩阵 ,则A称酉相似于 则 称酉相似于 称酉相似于B. 性质1 阶实对称矩阵， 是的特征值， 性质 若A是n阶实对称矩阵， i (i = 1,2,⋯, n) 是的特征值，则 是 阶实对称矩阵 λ
H 1
，则
U = (U1 U2 ) = (u1 ,⋯,ur ,ur+1 ,⋯,um )
U U1 = Er ,
U U2 = O
H 2
于是
UH AV = UH (AV1
H U1 AV2 ) = H U1Σ U 2
(
O
)
U1HU`1 Σ O Σ O = H U U Σ O = O O 2 1
则称A与 正交相抵 正交相抵. 阵V,使得 B = U −1 AV ,则称 与B正交相抵 使得 则称 在上述定义中,若 和 都是 阶方阵,U=V,则 都是n阶方阵 在上述定义中 若A和B都是 阶方阵 则
B = U −1 AU
正交相似.可见正交相似概念是正交相抵概念的特殊情况 即A与B正交相似 可见正交相似概念是正交相抵概念的特殊情况 与 正交相似 可见正交相似概念是正交相抵概念的特殊情况. 定理2.10 正交相抵的两个矩阵具有相同的奇异值 正交相抵的两个矩阵具有相同的奇异值. 定理 证 若 B = U −1 AV ,则 则