Matrix3-2矩阵的奇异值分解
矩阵的奇异值分解
矩阵的奇异值分解（Singular Value Decomposition，SVD）是一种重要的矩阵分解方法，可以将一个复杂的矩阵分解为三个简单的矩阵相乘的形式。
SVD 可以应用于各种领域，如图像处理、语音识别、推荐系统等。
SVD 分解将一个m × n 的矩阵 M 分解为U × Σ × V^T 的形式，其中 U 是一个m × m 的酉矩阵（unitary matrix），Σ 是一个m × n 的矩阵，只有对角线上的元素大于等于 0，V^T 是一个n × n 的酉矩阵。
通常情况下，SVD 可以通过奇异值分解定理进行求解。
首先，我们需要计算矩阵M × M^T 和M^T × M 的特征向量和特征值。
设 M 是一个m × n 的矩阵，M^T 是它的转置矩阵，那么M × M^T 是一个m × m 的矩阵，M^T × M 是一个n × n 的矩阵。
我们可以通过特征值分解方法求解这两个矩阵的特征向量和特征值。
然后，我们可以将M × M^T 和M^T × M 的特征向量和特征值组成两个酉矩阵 U 和 V。
特征值的平方根构成了Σ 矩阵的对角线元素。
我们可以将 U 和V 按照特征值降序排列，以保证U × Σ × V^T 是一个矩阵。
最后，我们可以利用奇异值分解定理，将 M 分解为U × Σ × V^T 的形式。
这样的分解可以帮助我们理解原始矩阵的结构和特征，提取重要信息，并进行维度降低等操作。
在某些情况下，SVD 还可以作为矩阵的伪逆（pseudo-inverse），帮助我们解决线性方程组等问题。
SVD 分解在各个领域都有广泛的应用。
在图像处理中，SVD 可以用于图像压缩和降噪等操作。
在语音识别中，SVD 可以用于语音特征提取和模式匹配。
矩阵的奇异值分解
非对称矩阵分解
非对称矩阵的特征值分解
对于非对称矩阵，其特征值可能是复数，因此不能直接进行实数域上的特征值分 解。但是，可以通过引入复数域上的特征向量和特征值，将非对称矩阵分解为复 数域上的特征向量矩阵和特征值矩阵的乘积。
非对称矩阵的奇异值分解
对于任意实非对称矩阵，都可以进行奇异值分解，即$A = USigma V^T$，其中 $U$和$V$是正交矩阵，$Sigma$是对角矩阵，对角线上的元素是$A$的奇异值。 非对称矩阵的奇异值分解在数据降维、图像处理等领域有广泛应用。
通信信道均衡策略
信道均衡原理
在通信系统中，信道均衡是一种用于补偿信道失真、提高通信质量的技术。奇异值分解可用于信道均衡中的信道 矩阵分解，从而实现对信道特性的准确估计和补偿。
基于奇异值分解的信道均衡算法
利用奇异值分解对信道矩阵进行分解，根据得到的奇异值和左右奇异向量设计均衡器，实现对信道失真的有效补 偿。
3
个性化推荐
结合用户历史行为数据和相似度计算结果，为用 户推荐与其兴趣相似的物品或服务。
05 奇异值分解在信号处理和 通信中应用
信号降噪与重构技术
基于奇异值分解的信号降噪
利用奇异值分解能够将信号分解为多个独立成分的特点，对含噪信号进行降噪处理，提高信号质量。
信号重构技术
通过保留奇异值分解得到的主要成分，对信号进行重构，实现信号的压缩和恢复。
特殊类型矩阵分解
正定矩阵的Cholesky分解
对于正定矩阵，可以进行Cholesky分解，即$A = LL^T$，其中$L$是下三角 矩阵。Cholesky分解在求解线性方程组、最优化问题等场景中具有重要作用。
稀疏矩阵的分解
对于稀疏矩阵，可以采用特定的分解方法，如LU分解、QR分解等，以便更有效 地进行存储和计算。这些分解方法在数值计算、科学计算等领域有广泛应用。
矩阵奇异值分解具体计算过程_解释说明以及概述
矩阵奇异值分解具体计算过程解释说明以及概述1. 引言1.1 概述矩阵奇异值分解（Singular Value Decomposition，简称SVD）是一种重要的矩阵分解方法，广泛应用于数据降维、图像处理、推荐系统和信号处理等领域。
通过将一个矩阵分解为三个独特的部分，即原始矩阵的奇异向量和奇异值，SVD 可以提供有关原始数据的宝贵信息。
本文旨在详细介绍矩阵奇异值分解的具体计算过程，并对其应用领域以及算法优化和改进方向进行探讨。
首先，我们将给出该方法的定义和基本原理，并描述其计算方法和数学推导。
接着，我们将深入探究矩阵奇异值分解在图像压缩与降维、推荐系统和数据挖掘以及信号处理和模式识别等方面的应用。
然后，我们将讨论近似求解算法、加速技术以及大规模矩阵奇异值分解算法的最新进展。
最后，我们还将探索结合其他矩阵分解技术发展方向。
1.2 文章结构本文共包含五个主要部分。
第一部分是引言，主要概述了本文的目的和结构。
第二部分将详细介绍矩阵奇异值分解的具体计算过程，包括定义、基本原理、计算方法和数学推导。
第三部分将解释说明矩阵奇异值分解在不同领域中的应用，如图像压缩与降维、推荐系统和数据挖掘以及信号处理和模式识别。
第四部分将讨论矩阵奇异值分解算法的优化和改进方向，包括近似求解算法、加速技术以及结合其他矩阵分解技术的发展方向。
最后一部分是结论，总结文章的主要内容和贡献，并对未来研究方向进行展望。
1.3 目的本文旨在通过详细讲解矩阵奇异值分解的具体计算过程，深入理解其原理和应用，并探讨其改进方向。
通过对该方法进行全面系统地介绍，希望能够增加读者对矩阵奇异值分解有关知识的了解，并为相关领域的研究者提供参考和启示。
同时，本文也为后续相关领域深入研究和应用提供了理论基础和开发方向。
2. 矩阵奇异值分解具体计算过程2.1 矩阵奇异值分解定义和基本原理矩阵奇异值分解（Singular Value Decomposition，简称SVD）是一种常用的矩阵分解方法。
矩阵奇异值分解定理的直观证明
矩阵奇异值分解定理的直观证明
矩阵奇异值分解（Singular Value Decomposition，SVD）是线性代数中的一个重要概念，它为各种机器学习和数据挖掘技术提供了基础。
其独特之处在于把一个矩阵分解为三个矩
阵的乘积，因此又被称为三角分解或者三因子分解。
它的定理被称为矩阵奇异值分解定理，是关于任意实矩阵M可以分解为三个矩阵乘积的一个重要结论。
矩阵奇异值分解定理的证明过程涉及到一些数字计算，它的证明可以分为多个步骤：
1）将M矩阵以特征值分解的形式写出：M=UΣV'，其中U是特征向量矩阵，Σ是特征值所组成的对角矩阵，V'是转置矩阵。
2）首先，将M矩阵看作是U列空间和V行空间组成的两个子空间。
3）从U空间中选取最大特征值对应的特征向量u1，此向量与V空间中相关的特征向量v1
正交，故令v1与u1的点积为0，则u1'V=0。
4）又因为V剩下的特征向量组成的子空间可以被U剩下的特征向量组成的原子空间（超
平面）正交，可以得到U剩下的特征向量的线性相关，即U剩下的特征向量也可以写成U1的线性组合。
5）通过这几个步骤，得出结论M可以分解成三个矩阵的乘积：M=UΣV'，其中U和V分别
是M的左奇异矩阵和右奇异矩阵，Σ是M的特征值所组成的对角矩阵。
经过以上证明，矩阵奇异值分解定理得以证明，它提供了矩阵M可以分解成低秩矩阵的一
种方法。
SVD可以用来对矩阵进行降维，可以有效削减矩阵的维数，减少计算量，提高程
序的运行速度，广泛应用于机器学习和数据挖掘技术，是一种重要而有用的数学计算方法。
[整理]矩阵的奇异值分解
![[整理]矩阵的奇异值分解](https://img.taocdn.com/s3/m/afe785200a4c2e3f5727a5e9856a561253d3215f.png)
§2 矩阵的奇异值分解定义 设A 是秩为r 的m n ⨯复矩阵，T A A 的特征值为1210r r n λλλ>λλ+≥≥≥=== .则称i σ=(1,2,,)i n = 为A 的奇异值.易见，零矩阵的奇异值都是零，矩阵A 的奇异值的个数等于A 的列数，A 的非零奇异值的个数等于其秩.矩阵的奇异值具有如下性质：（1）A 为正规矩阵时，A 的奇异值是A 的特征值的模；（2）A 为半正定的Hermite 矩阵时，A 的奇异值是A 的特征值；（3）若存在酉矩阵,m m n n ⨯⨯∈∈U V C C ，矩阵m n ⨯∈B C ，使=UAV B ，则称A 和B 酉等价.酉等价的矩阵A 和B 有相同的奇异值.奇异值分解定理 设A 是秩为r (0)r >的m n ⨯复矩阵，则存在m 阶酉矩阵U 与n 阶酉矩阵V ，使得H⎡⎤==⎢⎥⎣⎦O U AV O O ∑∆. ①其中12diag(,,,)r σσσ= ∑，i σ(1,2,,)i r = 为矩阵A 的全部非零奇异值.证明 设Hermite 矩阵H A A 的n 个特征值按大小排列为1210r r n λλλ>λλ+≥≥≥=== .则存在n 阶酉矩阵V ，使得12H H()n λλ⎡⎤⎡⎤⎢⎥==⎢⎥⎢⎥⎣⎦⎢⎥⎣⎦O V A A V OO ∑. ②将V 分块为 12()=V V V ，其中1V ，2V 分别是V 的前r 列与后n r -列.并改写②式为2H⎡⎤=⎢⎥⎣⎦O A AV V O O ∑.则有H 2H 112==A AV V A AV O ， ∑. ③由③的第一式可得H H 2H 1111()()r ==V A AV AV AV E ， 或者∑∑∑.由③的第二式可得H 222()() ==AV AV O AV O 或者.令111-=U AV ∑，则H 11r =U U E ，即1U 的r 个列是两两正交的单位向量.记作112(,,,)r =U u u u ，因此可将12,,,r u u u 扩充成m C 的标准正交基，记增添的向量为1,,r m +u u ，并构造矩阵21(,,)r m +=U u u ，则12121(,)(,,,,,,)r r m +==U U U u u u u u是m 阶酉矩阵,且有 H H1121 r ==U U E U U O ，.于是可得H HH1121H 2()()⎡⎤⎡⎤===⎢⎥⎢⎥⎣⎦⎣⎦O U U AV U AV AV U O O O U ，，∑∑.由①式可得H H HH 111222r r r σσσ⎡⎤==+++⎢⎥⎣⎦O A U V u v u v u v O O ∑. ④称④式为矩阵A 的奇异值分解.值得注意的是：在奇异值分解中121,,,,,,r r m +u u u u u 是H AA 的特征向量，而V 的列向量是H A A 的特征向量，并且H AA 与H A A 的非零特征值完全相同.但矩阵A 的奇异值分解不惟一.证明2 设Hermite 矩阵H A A 的n 个特征值按大小排列为1210r r n λλλ>λλ+≥≥≥=== .则存在n 阶酉矩阵V ，使得12H H()n λλ⎡⎤⎡⎤⎢⎥==⎢⎥⎢⎥⎣⎦⎢⎥⎣⎦O V A A V OO ∑. ②将V 分块为12(,,,)n =V v v v ，它的n 个列12,,,n v v v 是对应于特征值12,,,n λλλ 的标准正交的特征向量.为了得到酉矩阵U ，首先考察m C 中的向量组12,,,r Av Av Av ，由于当i 不等于j 时有H H H H H (,)()()0i j j i j i j i i i j i λλ=====Av Av Av Av v A Av v v v v所以向量组12,,,r Av Av Av 是m C 中的正交向量组.又 2H H H 2||||i i i i i i iλσ===Av v A Av v v ，所以 ||||i i i σ=Av .令1i i i=u Av σ，1,2,,i r = ，则得到m C 中的标准正交向量组12,,,r u u u ，把它扩充成为m C 中的标准正交基11,,,,r r m +u u u u ，令11(,,,,)r r m +=U u u u u则U 是m 阶酉矩阵.由已知及前面的推导可得i i i σ=Av u ，1,2,,i r = ；i =Av 0，1,,i r n =+ ；从而 121(,,,)(,,,,,)n r ==AV A v v v Av Av 0011120(,,,,,)(,,,)0r m r σσσσ⎛⎫⎪ ⎪== ⎪ ⎪ ⎪⎝⎭O u u u u u O O 00 ⎛⎫= ⎪⎝⎭ΣO U O O故有=AV U Δ，即H =U AV Δ.例1 求矩阵120202⎡⎤=⎢⎥⎣⎦A 的奇异值分解.解 T52424044⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦A A 的特征值为1239,4,0λλλ===， 对应的单位特征向量依次为T T T 1231,1),(2,1,2)3==-=-v v v .所以5052643⎡-⎢=⎥⎥-⎥⎣⎦V .于是可得()2r =A ，3002∑⎡⎤=⎢⎥⎣⎦.计算111221∑-⎡⎤==⎢⎥-⎣⎦U AV ，则A 的奇异值分解为T 300020⎡⎤=⎢⎥⎣⎦A U V .在A 的奇异值分解中，酉矩阵V 的列向量称为A 的右奇异向量，V 的前r 列是H A A 的r 个非零特征值所对应的特征向量，将他们取为矩阵V 1，则12(,)=V V V .酉矩阵U 的列向量被称为A 的左奇异向量，将U 从前r 列处分块为12(,)=U U U ，由分块运算，有H H H H1111212H H H22122()⎡⎤⎛⎫⎡⎤=== ⎪⎢⎥⎢⎥⎣⎦⎣⎦⎝⎭O U U AV U AV U AV AV AV O O U U AV U AV ，∑ 从而 211=A V A V U Σ，=0.正交基；（2）1U 的列向量组是矩阵A 的列空间(){}R =A Ax 的一组标准正交基；（1）1V 的列向量组是矩阵A 的零空间(){}N ==A x Ax 0正交补H ()R A 的一组标准正交基；（1）2U 的列向量组是矩阵A 的列空间(){}R =A Ax 正交补H ()N A 的一组标准正交基.在A 的奇异值分解中，酉矩阵U 和V 不是惟一的.A 的奇异值分解给出了矩阵A 的许多重要信息.更进一步，由于12(,,)m =U u u u ，12(,,,)n =V v v v ，可借助于奇异值分解，将A 表示为H 11H 212H 0(,,,)0m r n σσ⎛⎫⎛⎫⎪ ⎪ ⎪ ⎪= ⎪ ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭v O v A u u u O O v H HH 111222r r r σσσ=+++u v u v u v归纳这一结果，有如下定理.定理 设m n ⨯∈A C ，A 的非零奇异值为12r σσσ≥≥≥ ，12,,ru u u 是应于奇异值的左奇异向量，12,,,r v v v 是应于奇异值的右奇异向量，则T TT 111222r r r σσσ=+++A u v u v u v .上式给出的形式被称为矩阵A 的奇异值展开式，对一个k r ≤，略去A 的一些小的奇异值对应的项，去矩阵k A 为T T T111222k k k kσσσ=+++A u v u v u v .则k A 是一个秩为k 的m ×n 矩阵.可以证明，k A 是在所有秩为k 的m ×n 矩阵中，从Frobenius 范数的意义下，与矩阵A 距离最近的一个矩阵.这在实际中应用广泛.例如，在图像数字化技术中，一副图片可以转换成一个m ×n 阶像素矩阵来储存，存储量m ×n 是个数.如果利用矩阵的奇异值展开式，则只要存储A 的奇异值i σ，奇异向量,i i u v 的分量，总计r （m +n +1）个数.取m =n =1000，r =100作一个比较， m ×n =1000000，r （m +n +1）=100（1000+1000+1）=200100.取A 的奇异值展开式，，存储量较A 的元素情形减少了80%.另外，可取k r <，用k A 逼近A ，能够达到既压缩图像的存储量，又保持图像不失真的目的.由矩阵A 的奇异值分解可得T TT 111222r r r σσσ=+++A u v u v u v可见，A 是矩阵T TT 1122,,,r r u v u v u v 的加权和，其中权系数按递减排列120r σσσ≥≥≥> .显然，权系数大的那些项对矩阵A 的贡献大，因此当舍去权系数小的一些项后，仍然能较好的“逼近”矩阵A ，这一点在数字图像处理方面非常有用.矩阵的秩k 逼近定义为T T T111222 1k k k k r σσσ=+++≤≤A u v u v u v秩r 逼近就精确等于A ，而秩1逼近的误差最大.矩阵的奇异值分解不但在线性方程组，矩阵范数，广义逆，最优化等方面有着广泛的应用.而且在数字计算，数字图像处理，信息检索，心里学等领域也有着极重要的应用.有兴趣的读者可参阅有关教科书，如Steven J.Leon 的《线性代数》.３ 矩阵Ａ的奇异值分解与线性变换T A设A 是一个秩为r 的m ×n 复矩阵，即m n⨯∈A C，rank()r =A ，则由()T ==A A βαα可以定义线性变换:n m T →A C C .设矩阵A 有奇异值分解H=A U ΣV ，则将矩阵n n⨯∈V C 的列向量组12,,,n v v v 取作空间nC 的标准正交基；则将矩阵m m⨯∈U C的列向量组12,,m u u u 取作空间mC的标准正交基，则在所取的基下，线性变换T A 对应的变换矩阵就是Σ.设n ∈C α，α在基12,,,n v v v 下坐标向量为T12(,,,)n x x x =x ，=Vx α.那么α在线性变换T A 下的像β具有形式：11H()()()00r r x x T σσ⎛⎫ ⎪ ⎪ ⎪===== ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭A A U ΣV Vx U Σx U βαα.其中12,,,r σσσ 是A 的非零奇异值，所以，α的像()T =A βα在m C 中基12,,m u u u 下的坐标是T 11(00)r rx x σσ==y Σx .从中可以看出，当rank()r =A 时，在取定的基下，线性变换()T A α的作用是将原像坐标中的前r 个分量分别乘以A 的非零奇异值12,,,r σσσ ，后（n-r ）分量化为零.如果原像坐标满足条件：222121n x x x +++= ，则像坐标满足条件：2221212()()()1rry y y σσσ+++≤ .在rank()r n ==A 时，等式成立.因此，有如下定理.定理 设H=A U ΣV 是m ×n 实矩阵A 的奇异值分解，rank()r =A ，则nR 中的单位圆球面在线性变换T A 下的像集合是：（1）若r n =，则像集合是mR 中的椭球面；（2）若r n <，则像集合是mR 中的椭球体.例2 设矩阵120202⎡⎤=⎢⎥⎣⎦A ，求3R 中的单位圆球面在线性变换:T A y =Ax 下的像的几何图形.解 由例1，矩阵A 有如下奇异值分解T5012300262102043⎛⎫⎡-⎪⎢⎛⎫⎡⎤⎡⎤⎪=⎥⎪⎢⎥⎢⎥-⎪⎣⎦⎣⎦⎥⎭⎪-⎥⎣⎦⎝⎭A. rank()23,n=<=A由定理，单位球面的像满足不等式221222132y y+≤.即单位球面的像是实心椭圆2212194y y+≤.。
奇异值分解定理
奇异值分解定理奇异值分解（Singular Value Decomposition，简称SVD）是线性代数中一种重要的矩阵分解方法，常用于数据分析、信号处理、图像压缩等领域。
SVD的定理表明，任何矩阵都可以分解成三个矩阵的乘积，其中一个矩阵是正交矩阵，另外两个矩阵是对角矩阵，且对角线上的元素称为奇异值。
奇异值分解定理的数学概念比较复杂，需要一定的线性代数基础。
下面将对奇异值分解定理进行详细解释。
给定一个m行n列的实数矩阵A，假设rank(A)为r.那么存在两个实数方阵U(m×r)和V(n×r)，使得：A = UΣV^T其中，U的每一列是A^TA的特征向量，V的每一列是AA^T的特征向量，Σ是一个对角矩阵，对角线上的元素称为奇异值。
奇异值分解定理的证明比较复杂，这里只给出一个简要的证明思路。
假设A的列向量为{a1, a2, ..., an}，它们构成了一个n维向量空间的一组基。
我们可以将这组基转化为标准正交基，得到一组正交矩阵U和V。
然后我们可以通过对U和V进行一些数学操作，得到UΣV^T形式的矩阵。
最后，我们可以证明这个矩阵确实满足奇异值分解定理的要求。
奇异值分解定理在数据分析中有广泛的应用。
例如，在推荐系统中，我们可以通过SVD将用户对物品的评分矩阵分解，得到用户和物品的特征矩阵，从而进行个性化推荐。
在语音识别中，我们可以通过SVD将语音信号分解成一组基本声音的叠加，从而实现语音信号的降噪和特征提取。
在图像压缩中，我们可以通过SVD将图像分解成一组基本的图像模式，从而实现图像的降噪和压缩。
奇异值分解定理的应用不仅局限于上述领域，还可以应用于信号处理、图像处理、文本处理等其他领域。
通过奇异值分解，我们可以将复杂的问题转化为简单的线性代数运算，从而大大简化问题的求解过程。
然而，奇异值分解也有一些限制。
首先，奇异值分解是一种数值方法，对计算精度要求较高。
其次，奇异值分解的计算复杂度较高，对于大规模矩阵的分解可能会很耗时。
矩阵的奇异值分解
rankA rankA H A 1
O 5 0 O 0 0
λ1 2 Σ V H ( A H A)V O 成立的正交矩阵为 λ n
5, 2 0 ，
Σ ( 5 )11 ，且使得
则有Байду номын сангаас
O V1 Σ 2 O
O
,
A AV1 V1 Σ V1H A H AV1 Σ 2
由
H
2 ,得
或
( AV1 Σ 1 ) H ( AV1 Σ 1 ) E r
,
其中.
1 Σ
1 r r
现在开始论述矩阵的奇异值分解。 定义2.21 设 A C r mn (r 0) ，A H A 的特征值为
1 2 r r 1 n 0
则称 i i (i 1,2,, n) 是A的奇异值；规定零矩阵0的奇异值 都是0. 定理2.9 设 A C mn (r 0), 则存在m阶酉矩阵U和n阶酉 r
B B (U AV ) (U AV ) V A (U ) U AV
T T T T
1
1
1 T
1
V ( A A)V V ( AA)V
T T
1
上式表明 AT A 与 B T B 相似,而相似矩阵有相同的特征值, 所以A与B有相同的奇异值.证毕
直接验证可知, 正交相抵具有自反性、对称性和传递性，因
，求它的奇异值分解.
解 经过计算，矩阵
1 0 1 H A A 0 1 1 1 1 2
的特征值为 1 3, 2 1, 3 0 ,对应的特征向量分别是 ，
矩阵分解
矩阵分解奇异值分解法SVD分解作者：XIAOFU 发表时间：九月- 13 - 2009 | 人气: 2,451 VIEWS |矩阵分解(decomposition, factorization), 顾名思义, 就是将矩阵进行适当的分解, 使得进一步的处理更加便利。
矩阵分解多数情况下是将一个矩阵分解成数个三角阵(triangular matrix)。
依使用目的的不同，一般有三种矩阵分解方法：1)三角分解法(Triangular decomposition)，2)QR 分解法(QR decomposition)，3)奇异值分解法(Singular Value Decompostion)。
1) 三角分解法(Triangular decomposition)三角分解法是将方阵(square matrix)分解成一个上三角矩阵﹝或是排列(permuted) 的上三角矩阵﹞和一个下三角矩阵，该方法又被称为LU分解法。
例如, 矩阵X=[1 2 3;4 5 6;7 8 9], 运用该分解方法可以得到:上三角矩阵L=[0.1429 1.0000 00.5714 0.5000 1.00001.0000 0 0]和下三角矩阵U=[7.0000 8.0000 9.00000 0.8571 1.71430 0 0.0000]不难验证L* U = X.该分解方法的用途主要在简化大矩阵的行列式值的计算,矩阵求逆运算和求解联立方程组。
需要注意的是, 这种分解方法所得到的上下三角形矩阵不是唯一的，我们还可找到若干对不同的上下三角矩阵对，它们的乘积也会得到原矩阵。
对应MATLAB命令: lu2) QR分解法QR分解法是将矩阵分解成一个单位正交矩阵(自身与其转置乘积为单位阵I)和一个上三角矩阵。
对应MATLAB命令: qr3) 奇异值分解法(SVD)奇异值分解(sigular value decomposition,SVD) 是另一种正交矩阵分解法；SVD是最可靠的分解法，但是它比QR 分解法要花上近十倍的计算时间。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
左奇异向量
V=[v 1，v2，…，vr ，… ，v n] =[V1 V2]∈C n×n的列向 量是空间C 的标准正交基。 量是空间C n的标准正交基。 U=[u 1，u2，…，ur ，… ，u m] =[U1 U2]∈C m×m的列 向量是空间C 的标准正交基。 向量是空间C m的标准正交基。
U1 的列向量是R(A)的标准正交基。 的列向量是R(A)的标准正交基 的标准正交基。 U2的列向量是R ⊥ (A)的标准正交基。 的列向量是R (A)的标准正交基 的标准正交基。 右奇异向量 V2的列向量是空间N(A)的标准正交基。 的列向量是空间N(A)的标准正交基 的标准正交基。 V1的列向量是空间 N ⊥ (A) 的标准正交基。 的标准正交基。
2. 奇异值的定义：(P.197) 奇异值的定义： A∈C m×n，秩(A)=r，设AHA的特征值λ1 ≥ λ2 ≥… ≥ )=r， 的特征值λ λr > 0，λr+1= λr+2 =…=λ n =0.，则矩阵的奇异值 =0.
σi = λi , i =1,2,...,r.
3. 特殊矩阵的奇异值： 特殊矩阵的奇异值：
σr
0
0
O
σr
证明思想： 证明思想： 2 ∆ ，⇒酉矩阵V。 AHA正规，VHAHAV= 正规， 酉矩阵V 0
• 令 ui =
Avi
σi
，i=1，2，…，r，得U1=[u1，u2， … ，ur] =1， 扩充为标准正交基 ⇒酉矩阵U。 酉矩阵U
二、矩阵的奇异值分解
1. 定理3.14 定理3 14(P.201)
任何矩阵A 任何矩阵A∈C m×n，秩(A)=r，则存在酉矩阵 (A)=r， U∈C m×m，V∈C n×n，使得 σ1 σ1 σ σ2 H 0 2 A =U V ∆ = O
3 2 5 2
3 2 − 1 2
1 2 3 2
σ 1 x1 σ x 2 2 M σ r xr 0
变换T 在单位球上的象： 变换TA在单位球上的象： 定理3 定理3.16 (P.88)
四、矩阵的极分解(Polar Decomposition) 矩阵的极分解(Polar
方阵的极分解
设矩阵A 设矩阵A∈C n×n ，则矩阵A的奇异值分解: 则矩阵A的奇异值分解: A=UΣ A=UΣVH=U Σ(UH U)VH = (U Σ UH)UVH=PQ P是半正定的Hermite 矩阵，P相似于Σ 。 是半正定的Hermite 矩阵， 相似于Σ Q是酉矩阵
σ1 σ2 ∆= O σr
0 0 m×n
奇异值分解基本适用于内积空间 奇异值分解基本适用于内积空间中与矩阵秩相关 内积空间中与矩阵秩相关 的问题 A的奇异值分解依赖于正规矩阵A HA 的酉相似分 的奇异值分解依赖于正规矩阵A 解。
一、矩阵A的奇异值及其性质 矩阵A
§3.3 矩阵的奇异值分解
Singular value decomposition (SVD)
§3.3 矩阵的奇异值分解
概述： 概述
矩阵的奇异值分解是酉等价型的分解: 矩阵的奇异值分解是酉等价型的分解: A∈C m×n， 酉等价型的分解 酉矩阵U V∈ 使得A=U ∃酉矩阵U∈C m×m, V∈C n×n , 使得A=U ΣVH。 矩阵A等价于Σ 矩阵A等价于Σ= ∆ 0
1. 矩阵AHA和AAH的性质： 矩阵A 的性质：
A∈C m×n ⇒ Hermite矩阵: AHA∈C n×n， Hermite矩阵 矩阵: AAH∈Cm×m ， 定理3 12 定理3.12(P.197)
1. 秩(A)＝秩(AHA)=秩(AAH)。 (A)＝ A)=秩 2. AHA 和AAH 的非零特征值相等。 的非零特征值相等。 3. AHA和AAH 是半正定矩阵。 是半正定矩阵。 AHA和AAH 的特征值是非负实数：λ1 ≥ λ2 ≥… ≥ λn 的特征值是非负实数：
方阵极分解的意义和应用
描述变换Y=AX的拉伸和扭曲 描述变换Y=AX的拉伸和扭曲
3 2 例题1 求矩阵A= 的极分解， 例题1 求矩阵A= 的极分解， 0 3
依此讨论变换Y=AX的几何特性。 依此讨论变换Y=AX的几何特性。 的几何特性
解:
5 A = PQ = 2 3 2
3. 奇异值分解的展开形式及其应用
H H H A =σ1u1v1 +σ2u2v2 +L σrurvr +
例题：图像的数字化技术与矩阵的奇异值分解 例题 图像的数字化技术与矩阵的奇异值分解
计算机处理图像技术的第一步是图像的数字化 存储技术，即将图像转换成矩阵来存储。 存储技术，即将图像转换成矩阵来存储。 转换的原理是将图形分解成象素(pixels)的一个 转换的原理是将图形分解成象素(pixels)的一个 矩形的数阵， 矩形的数阵，其中的信息就可以用一个矩阵 A=(a A=(a ij)m×n来存储。矩阵A的元素a ij是一个正的 来存储。矩阵A的元素a 它相应于象素的灰度水平(gray 数，它相应于象素的灰度水平(gray level) 的度 量值。 量值。 由于一般来讲， 由于一般来讲，相邻的象素会产生相近的灰度 水平值， 水平值，因此有可能在满足图像清晰度要求的 条件下，将存储一个m 条件下，将存储一个m×n阶矩阵需要存储的 m×n个数减少到n+m+1的一个倍数。 个数减少到n+m+1的一个倍数 的一个倍数。
H r r r
压缩矩阵A的方法是取一个秩为k (k≤r)的矩阵 压缩矩阵A的方法是取一个秩为k (k≤r)的矩阵Ak来 的矩阵A 矩阵A 逼近 矩阵A。 Ak按如下方法选取： 按如下方法选取：
A =σ u v +σ u v +L+σ u v k
H 1 1 1 H 2 2 2
H k k k
有在秩为k (k≤n)的所有矩阵中 矩阵A 有在秩为k (k≤n)的所有矩阵中，矩阵Ak所对应的图象和矩 的所有矩阵中， 所对应的图象最相近。一般的， 越大图象就越清晰。 阵A所对应的图象最相近。一般的，k越大图象就越清晰。经 典的方法是选取接近k 的存储量比A 典的方法是选取接近 k， 使 Ak 的存储量比 A 的存储量减少 20% 20%。
矩阵的奇异值分解和线性变换T 三、矩阵的奇异值分解和线性变换TA
矩阵A 矩阵A∈C m×n可以定义线性变换 TA ： C n →C m 设矩阵的奇异值分解A=U 则将U 设矩阵的奇异值分解A=U ΣVH ，则将U和V的列分 别取做空间C 的基，则变换T 的矩阵为Σ 别取做空间C m 、C n的基，则变换TA的矩阵为Σ: ∀α=VX ∀α=VX ∈C m ,则TAX=(U ΣVH)VX=U(ΣX)=U X=(U VX=U(Σ
正规矩阵A的奇异值等于A的特征值的模长。 正规矩阵A的奇异值等于A的特征值的模长。 正定的Hermite矩阵 的奇异值就是A的特征值。 矩阵A 正定的Hermite矩阵A的奇异值就是A的特征值。 酉等价矩阵的奇异值相等。 酉等价矩阵的奇异值相等。
A和B酉等价，则AHA和BHB酉相似。 酉等价， 酉相似。 奇异值是酉等价的不变性质。(P.198, 例1) 奇异值是酉等价的不变性质。
压缩数字化图形存储量的方法主要是应用矩阵的 奇异值分解和矩阵范数下的逼近。 奇异值分解和矩阵范数下的逼近。如果图象的数 字矩阵A的奇异值分解为：A=UΣ 其展开式： 字矩阵 A的奇异值分解为 ： A=UΣVT， 其展开式：
A =σ u v +σ u v +L+σ u v
H 1 1 1 H 2 2 2
存储矩阵A 只需要存储k个奇异值， 存储矩阵Ak只需要存储k个奇异值，k个m维向 维向量v 的所有分量，共计k(m+n+1)个 量ui和n维向量vj的所有分量，共计k(m+n+1)个 元素。 元素。 如果m=n=1000，存储原矩阵A 如果m=n=1000，存储原矩阵A需要存储 1000×1000个元素 1000×1000个元素。取k=100时，图象已经非 个元素。 k=100时 常清晰了， 常清晰了，这时的存储量是 100(2000+1)=200100个数 100(2000+1)=200100个数。 个数。 和矩阵A比较，存储量减少了80%。 和矩阵较，存储量减少了80%。
例题1 例题1 (P.202，例3) 求矩阵A的奇异值分解， 求矩阵A的奇异值分解，
1 1 A= 0 0 。 −1 −1
T
1 0 1 0 1 1 求矩阵A的奇异值分解， 求矩阵A的奇异值分解，A= 0 0 0
例题2 例题2
2. 矩阵U，V的空间性质 矩阵U 的空间性质：