SVD矩阵的奇异值分解
SVD奇异值分解
SVD奇异值分解
继而可以得到A矩阵的奇异值分解：
现在可以来对A矩阵的映射过程进行分析了：如果在 n维空间中找到一个（超）矩形，其边都落在A'A的特 征向量的方向上，那么经过A变换后的形状仍然为（超）矩形！ vi为A'A的特征向量，称为A的右奇异向量，ui=Avi实际上为AA'的特征向量，称为A的左奇异向量。下面 利用SVD证明文章一开始的满秩分解：
特征值分解——EVD
所以可得到A的特征值分解（由于对称阵特征向量两两正交，所以U为正交阵，正交阵的逆矩阵等于其转置）
SVD奇异值分解
现在假设存在M*N矩阵A，事实上，A矩阵将n维空间中的向量映射到k（k<=m）维空间中， k=Rank(A)。现在的目标就是：在n维空间中找一组正交基，使得经过A变换后还是正交的。假设已经找到 这样一组正交基： 则A矩阵将这组基映射为： 如果要使他们两两正交，即 根据假设，存在
利用矩阵分块乘法展开得：
SVD奇异值分解
可以看到第二项为0，有
令
则A=XY即是A的满秩分解。
SVD奇异值分解
SVD奇异值分解
SVD奇异值分解
SVD奇异值分解
SVD奇异值分解
SVD奇异值分解
这样就找到了正交基使其映射后还是正交基了，现在，将映射后的正交基单位化： 因为
SVD奇异值分解
所以有
所以取单位向量
由此可得 当k < i <= m时，对u1，u2，...，uk进行扩展u(k+1),...,um，使得u1，u2，...，um为m维空间中的一组 正交基，即
同样的，对v1，v2，...，vk进行扩展v(k+1),...,vn（这n-k个向量存在于A的零空间中，即Ax=0的解空间的 基），使得v1，v2，...，vn为n维空间中的一组正交基，即
矩阵论中的奇异值分解方法研究
矩阵论中的奇异值分解方法研究矩阵论是数学中的重要分支，研究矩阵的性质和特征。
奇异值分解（Singular Value Decomposition，简称SVD）是矩阵论中的一种重要方法，广泛应用于线性代数、信号处理、图像处理等领域。
本文将对奇异值分解方法进行深入研究和讨论。
一、奇异值分解的基本原理在介绍奇异值分解之前，我们首先需要了解特征值分解（Eigenvalue Decomposition）的基本概念。
特征值分解是将一个矩阵分解为特征向量和特征值的形式，用于寻找矩阵的主要特征。
奇异值分解是特征值分解的推广，适用于非方阵以及具有零特征值的方阵。
对于任意一个矩阵A，可以将其分解为以下形式：A = UΣV^T其中，U和V是正交矩阵，Σ是一个对角矩阵。
U的列向量称为左奇异向量，V的列向量称为右奇异向量，Σ对角线上的元素称为奇异值。
奇异值的大小表示了矩阵A在相应方向上的重要性，越大的奇异值表示了越重要的特征。
二、奇异值分解的应用领域奇异值分解方法在多个领域中被广泛应用。
以下是几个典型的应用领域：1. 线性代数奇异值分解在线性代数中有着广泛的应用，特别是在最小二乘问题的求解中。
通过对矩阵进行奇异值分解，可以得到一个最优的近似解，从而解决线性方程组的问题。
2. 信号处理在信号处理中，奇异值分解被用于降噪和信号压缩。
通过分解并选取奇异值较大的部分，可以过滤噪声并减少数据维度，从而提高信号质量和处理效率。
3. 图像处理奇异值分解在图像处理领域中也有广泛的应用。
通过对图像矩阵进行奇异值分解，可以实现图像压缩和去噪等处理，同时保留图像的主要特征。
三、奇异值分解的算法奇异值分解的计算过程一般可以通过各种数值计算方法来实现。
常见的奇异值分解算法包括Jacobi迭代法、幂迭代法和Golub-Kahan迭代法等。
其中，Golub-Kahan迭代法是一种效率较高的算法。
该算法通过不断迭代，逐步逼近奇异值和奇异向量。
四、奇异值分解的优缺点奇异值分解作为一种重要的矩阵分解方法，具有以下优点：1. 稳定性奇异值分解对于数据的扰动具有较好的稳定性。
矩阵SVD算法在机器学习特征提取中的应用
矩阵SVD算法在机器学习特征提取中的应用机器学习是近年来快速发展的热门领域，其在各个行业和领域中的应用越来越广泛。
在机器学习模型的建立过程中，特征提取是至关重要的一步，它对最终模型的性能和效果有着直接的影响。
而矩阵SVD （奇异值分解）算法作为一种经典的线性代数工具，被广泛地应用于机器学习中的特征提取任务。
本文将介绍矩阵SVD算法在机器学习特征提取中的应用，并探讨其优势和不足。
一、矩阵SVD算法概述矩阵SVD算法，即奇异值分解算法，是一种常用的矩阵分解方法。
对于一个m×n的矩阵A，奇异值分解将其分解为三个矩阵的乘积：A=UΣVT，其中U、Σ、V分别是m×m、m×n和n×n的矩阵，并且满足UUT=I、VVT=I，Σ是一个对角矩阵，对角线上的元素称为奇异值。
奇异值分解的主要应用领域是信号处理、图像压缩和数据降维等。
二、矩阵SVD算法在特征提取中的应用1. 数据降维在机器学习中，通常遇到的问题是维度灾难，即数据的维度非常高。
高维数据不仅会增加计算的复杂性，而且还可能导致过拟合等问题。
矩阵SVD算法可以通过保留奇异值较大的特征向量，将原始数据投影到一个低维空间中，从而实现数据的降维。
这样一来，可以保留更多与目标变量相关的信息，提高模型的预测性能。
2. 特征选择在机器学习中，特征选择是指从原始特征中挑选出对目标变量有较强相关性的特征。
矩阵SVD算法可以通过计算特征矩阵的奇异值，判断每个特征对应的重要性。
通过保留奇异值较大的特征向量，可以实现对特征的选择，提高模型的泛化能力。
3. 文本挖掘在文本挖掘任务中，常常需要对大量的文本数据进行特征提取。
矩阵SVD算法可以将文本数据转化为一个低维的向量表示，从而方便后续的分类、聚类等任务。
通过将文本数据投影到奇异值较大的特征向量上，我们可以获得文本的主题信息，忽略掉噪声和冗余信息。
三、矩阵SVD算法的优势和不足1. 优势（1）矩阵SVD算法具有数学原理清晰、稳定可靠的特点，是一种被广泛验证和应用的算法；（2）矩阵SVD算法能够提取数据中的主要特征，降低数据的维度，减少冗余信息，提高模型的效率和泛化能力；（3）矩阵SVD算法适用于不同类型的数据，包括数值型数据、文本型数据等。
稀疏矩阵svd分解 简化算法
稀疏矩阵svd分解简化算法
稀疏矩阵的SVD（奇异值分解）是一种重要的矩阵分解方法，
用于在矩阵中发现潜在的模式和结构。
在处理稀疏矩阵时，传统的SVD算法可能会面临计算复杂度高和存储空间需求大的问题。
因此，针对稀疏矩阵的SVD分解，通常会采用一些简化算法来提高效率和
降低计算成本。
一种常见的简化算法是截断SVD（Truncated SVD），它通过仅
计算最大的奇异值和对应的奇异向量来近似原始矩阵的SVD分解。
这种方法可以有效地降低计算复杂度，并且适用于处理大规模的稀
疏矩阵。
另外，截断SVD还可以用于降维和特征提取，对于机器学
习和数据分析等领域有着重要的应用价值。
除了截断SVD，还有一些其他简化算法，如随机SVD （Randomized SVD）和迭代SVD（Iterative SVD）。
这些算法通过
引入随机性或迭代优化的方式，来加速稀疏矩阵的SVD分解过程，
同时保持较高的精度。
总的来说，针对稀疏矩阵的SVD分解，简化算法在提高计算效
率和降低存储成本方面发挥着重要作用。
不同的简化算法适用于不
同的场景，可以根据实际需求选择合适的算法来进行稀疏矩阵的SVD分解。
奇异值分解降阶原理
奇异值分解降阶原理1.引言1.1 概述概述奇异值分解（Singular Value Decomposition，简称SVD）是一种常用的矩阵分解方法，它将一个矩阵分解为三个矩阵的乘积。
SVD在数据处理、图像处理、推荐系统等领域有着广泛的应用。
本文将重点探讨奇异值分解在降阶中的原理及其应用。
降阶是指将一个高维矩阵通过奇异值分解转化为低维矩阵，从而减少矩阵的维度。
在降阶过程中，我们可以根据奇异值的大小选择保留重要的信息，同时丢弃那些对数据影响较小的信息。
这个过程在不损失太多信息的情况下，大大降低了计算复杂性，提高了计算效率。
奇异值分解的优点主要体现在以下几个方面。
首先，SVD能够将高维矩阵分解为低维矩阵，从而降低问题的复杂程度。
其次，SVD可以去噪，过滤掉对数据贡献较小的信息，提高数据的质量和可解释性。
此外，SVD 还可以用于数据压缩和特征提取等领域，具有广泛的应用前景。
本文的主要目的是介绍奇异值分解在降阶中的原理和应用，通过理论和实例的展示，揭示奇异值分解的优势和潜力。
同时，对于奇异值分解在降阶中的应用前景进行展望，探讨其在未来的发展方向和可能的改进点。
继续阅读下一节，我们将详细介绍奇异值分解的基本概念和原理。
1.2 文章结构本文主要围绕"奇异值分解降阶原理"展开讨论。
文章分为引言、正文和结论三个部分。
引言部分首先对奇异值分解的概念进行概述，说明奇异值分解在矩阵分解领域的重要性和广泛应用。
接着介绍文章的结构，明确文章的组织架构和每个部分的主要内容。
最后，阐明文章的目的，即通过介绍奇异值分解降阶原理，探讨其在降维和数据处理方面的应用。
正文部分主要分为两个章节，分别是奇异值分解的基本概念和原理，以及奇异值分解在降阶中的应用。
在2.1节中，将详细介绍奇异值分解的基本概念，包括矩阵的奇异值分解过程、奇异值分解的数学原理以及奇异值分解的性质和特点。
在2.2节中，将探讨奇异值分解在降阶中的应用，并介绍具体的算法和方法。
稀疏协方差矩阵svd分解
稀疏协方差矩阵svd分解
稀疏协方差矩阵的SVD（奇异值分解）是一种常见的数据分解
技术，它在数据处理和降维领域有着重要的应用。
首先，让我们来
了解一下稀疏矩阵和协方差矩阵的概念。
稀疏矩阵是指大部分元素为零的矩阵，它在实际数据中很常见，例如在自然语言处理、推荐系统和网络分析等领域。
协方差矩阵则
是描述随机变量之间线性关系的矩阵，它在统计学和机器学习中被
广泛应用。
SVD是一种矩阵分解的方法，可以将一个矩阵分解为三个矩阵
的乘积。
对于稀疏协方差矩阵的SVD分解，它可以帮助我们发现数
据中的潜在结构和模式，从而进行数据降维、去噪或者特征提取。
在稀疏协方差矩阵的SVD分解中，我们首先需要处理稀疏性，
可以利用稀疏矩阵的特性进行优化计算。
接着，我们可以利用SVD
分解将协方差矩阵分解为三个矩阵，U、Σ和V。
其中，U和V是正
交矩阵，Σ是一个对角矩阵，它们分别代表了数据的左奇异向量、
奇异值和右奇异向量。
通过SVD分解，我们可以对数据进行降维，只保留最重要的特征，从而减少数据的复杂度和噪声，提高模型的泛化能力。
此外，SVD分解还可以用于矩阵的压缩和重构，使得数据更易于处理和分析。
总之，稀疏协方差矩阵的SVD分解是一种重要的数据分解技术，它可以帮助我们理解数据的结构和模式，从而进行数据降维、特征
提取和模型优化。
在实际应用中，我们需要根据具体情况选择合适
的算法和参数，以获得最佳的分解效果。
svd奇异值分解
1. 奇异值的特征1) 奇异值分解的第一个特征是可以降维。
A 表示n 个m 维向量，通过奇异值分解可表示成m+n 个r 维向量，若A 的秩r 远远小于m 和n ，则通过奇异值分解可以大大降低A 的维数。
可以计算出，当1nm r m n =++时，可以达到降维的目的，同时可以降低计算机对存贮器的要求。
2)奇异值分解的第二个特征是奇异值对矩阵的扰动不敏感，而特征值对矩阵的扰动敏感。
3)奇异值的第三个特征是奇异值的比例不变性。
4)奇异值的第四个特征是奇异值的旋转不变性。
奇异值的比例和旋转不变性特征在数字图像的旋转、镜像、平移、放大、缩小等几何变化方面有很好的应用。
5) 当A 是方阵时，其奇异值的几何意义是：若x 是n 维单位球面上的一点，则Ax 是一个n 维椭球面上的点，其中椭球的n 个半轴长正好是A 的n 个奇异值。
简单地说，在二维情况下，A 将单位圆变成了椭圆，A 的两个奇异值是椭圆的长半轴和短半轴。
2.基于SVD 的图像水印数值分析中的奇异值分解 ( SVD) 是一种将矩阵对角化的数值算法. 在图像处理中应用 SVD 的主要理论背景是 : ( 1) 图像奇异值的稳定性非常好 ,即当图像被施加小的扰动时 ,图像的奇异值不会有大的变化 ; (2) 奇异值所表现的是图像的内蕴特性而非视觉特性.从线性代数的角度看 , 一幅灰度图像可以被看成是一个非负矩阵. 若一幅图像用 A 表示定义为n n A R ⨯∈ ( 为方便起见 , 以后均只对方阵进行讨论) , 其中 R 表示实数域. 则矩阵A 的奇异值分解定义如下 : TA USV = ( 1)其中n n U R ⨯∈和n n V R ⨯∈均为正交阵 , n n S R ⨯∈为对角阵 ,上标 T 表示矩阵转置.水印的嵌入和检测SVD 方法的基本原理是将水印嵌入到原始图像的奇异值中. 在水印的嵌入过程中 , 先做 n ×n 灰度图像 A 的奇异值分解 , 得到两个正交矩阵 U 、 V 及一个对角矩阵 S . 尽管假设 A 是方阵 , 但其他非方阵可以完全用同样的方法来处理. 这个特性是 SVD 方法的一个优点 , 因为很多流行的水印算法都不能直接处理长方阵. 水印n n W R ⨯∈被叠加到矩阵 S 上 , 对新产生的矩阵 S +aW 进行奇异值分解 , 得到 U1 、 S1 和 V1( S + aW =111T U S V ) ,其中常数 a > 0 调节水印的叠加强度. 然后将矩阵 U 、 S1 和TV 相乘 , 得到处理后的包含水印的图像 A1 . 即如果矩阵 A 和W 分别表示原始图像和水印 , 那么通过如下三个步骤得到水印图像 A1 :T A USV ⇒,111T S W U SV +⇒,11T A USV ⇐. 在水印的检测过程中 , 如果给出矩阵 U1 、 S 、 V1 和可能损坏的水印图像*A , 那么通过简单的逆过程就就可以提取出可能已经失真的水印*W , 即 :****1T A U S V ⇒,**111T D U S V ⇐,**1(D S)W a⇐- 注意到三个矩阵 U1 、 S 和 V1 的总的自由度为2n , 即等于一个 n ×n 矩阵的自由度. 与其他一些水印算法要求原始图像来提取水印不同的是 , SVD 算法需要上面的三个矩阵来提取水印 , 但没有要求额外的信息量。
SVD(奇异值分解)算法及其评估
由此得到的是LS问题的最小范数解。
而文献[3]中还给出了一般通解的形式如下：
其中 如前定义，而 是任意的 维向量。
(4)广义逆问题(pseudo-inverse)
记 ，从(2.3)式我们可以看出，最小二乘法的解为 ，和一般的线性方程组 的解为 相类似，所以我们当我们已知矩阵 的奇异值分解 后可以定义 的广义逆为 。
， ， ；
（iii）如果存在i满足 使得
，
则 ，转步（iv），否则转步（4）.
（iv）确定 和 使
//这也相对于 所以可以直接调用算法3.1.1得到
//这相当于
（v）如果 ，则
， ， ， ，
转步（iv），否则转步（i）.
（4）SVD迭代：应用算法3.1.3于二对角阵
（4）如果 ，则 ；否则进行下一步
（5）计算 和 使得
//可直接输入x，y调用算法3.1.1得到 和 ；
//利用算法3.1.2
//其中 分别为矩阵 的第k和k+1列
（6）如果 ，则
，转步（3）；
否则，
迭代结束。
上述算法的导出是在 不可约的条件下进行的。从 容易推出，T不可约的充分必要条件是 和 （除 外）都不为零，而当某个 时，B具有形状
对于一般的n，用完全类似的方法可确定2n－3个Givens变换 , , , ,…, , 将 中不受欢迎的元素都驱逐出境，即使：
为二对角矩阵，而且这样得到的 满足
这样我们就得到了计算二对角阵奇异值的最基本的QR迭代算法了。
为了方便，我们在《QR分解算法及其评估》中的算法2.3.1的基础上构造以下算法；构造函数 ，当已知 的值时，计算出满足
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
方程组 Rx b 中，若 b 不等于 0
且有解，则其解不会构成子空间，因为没
有0元素.
Left nullspace
N ( R ) { y : R y 0, y R }
T T m
Left nullspace??
R y0 y R0
T T
T
y1 1, 3, 5, 0, 7 y2 0, 0, 0, 1, 2 y3 0, 0, 0, 0, 0
线性变换不同于线性变换的一个描述 对于同一个线性变换，选定一组基，就可 以找到一个矩阵来描述这个线性变换；换一组
基，就得到一个不同的矩阵.
所有这些矩阵都是这同一个线性变换的描
述，但又不是线性变换本身.
同一个线性变换的矩阵具有性质： 若A和B是同一个线性变换的两个不同矩阵， 则一定存在非奇异矩阵P，使得
0,
0, 0, 0, 0
T
y (0,0, y3 ) N (R )
dim N ( R ) m r
T
例2
设
A33
1 0 3 1 0 3 0 1 2 R33 0 1 2 1 1 5 0 0 0
行基
1 =（ 1， 0， 3） 2 =（ 0， 1，） 2
Rm
N(A) dim n-r
Ax=0
N(AT) dim m-r AX=b有解 b N(AT)
xr
Row space
Axr b x xr xn
Column space
b
Ax
xn
nullspace
Axn 0
Action of A on
Left nullspace
x xr xn
Amn
2
n
Column space
C( A ) {Ax : x R } R
n
m
span(1 , 2,
1 3 5 0 7 0 0 0 1 2 1 3 5 1 9
, n )
Amn
n=5
Row space
C ( A ) {A x : x R } R
矩阵既是坐标系，又是变换.
数学定义： 矩阵就是由 行 n列数 m
放在一起组成的数学对象
数学书上的语言是经过千锤百炼的。这 种抽象的语言，精准的描述了人类对数学某 些局部理解的精微. 这些描述的语言可能可以有更完善的改 进，就像编写的程序有些地方的语句可以改
得更巧妙更坚固一样.
数学容许我们每个人按自己的理解方 式来理解, 这就看你怎样对它加工，使它
集合，而空间的运动由变换所规定.
矩阵
矩阵是什么 些运算规则. 2. 矩阵是一列列向量，如果每一列向量列举
了对同一个客观事物的多个方面的观察值.
3. 矩阵是一个图像，它的每一个元素代表相 对位置的像素值. 4. 矩阵是一个线性变换，它可以将一些向量 变换为另一些向量. 要回答“矩阵是什么”，取决于你从什 么角度去看它.
b
Mb M (Ib) Mb a
变换
a Ia
a
Mb
Mb (MI )b Mb
坐标
T M
( RM ) ( RM ) I TI
I
从变换的观点来看，对坐标系M施加R变换， 就是对组成坐标系M的每一个向量施加R变换. 从坐标系的观点来看，对坐标系M的每一个 基向量，把它在I坐标系中的坐标找出来,然后通 过R组成一个新的（坐标系）矩阵.
T
2 由 A y 0 解得 y 1
则
N ( A ) span( y)
T
T C ( A ) N ( A ) 显然
C(AT) dim r Row space all ATy
C(A) dim r
Column space
all Ax
互为正交补
Rn Nullspace Left nullspace ATy=0
线性代数的几个基本概念
(一)
张剑湖
2010年7月
引 言
F
(a, b，c)
实用 直观
几何的抽象化
抽象
数学的表述方式和抽象性产生了全面的升华 !
按照现行的国际标准，线性代数是通 过公理化、系统性表述的，具有很强的逻
辑性、抽象性，是第二代数学模型.
通常的教学模式 概念——相应定理公式——例题求解
n
Rmn
1 3 5 0 7 , , , , 0 0 0 1 2 1 2 3 4 5 0 0 0 0 0
x k22 k33 k55
有三个自由变量：x2 , x3 , x5 . 方程 Rx 0 有解：
dim N ( R) n r
矩阵的乘法规则怎样定义？
矩阵的相似是什么意思？
P AP B ~A
特征值的本质是什么？
1
Ax x
纯粹的数学理论描述、证
明不能令人满意和信服 ！
一、线性空间和矩 阵的几个核心概念
空
基本定义:
间
存在一个集合，在这个集合上定义某某概 念，然后满足某些性质”，就可以被称为空间. 为什么要用“空间”来称呼一些这样的集 合呢？奇怪!
使得
PT AQ diag (1,2 ,...n )
(2)
其中 i 0(i 1, 2,...n) 证 因为A非奇异，所以 AT A 为实对称正定矩阵，于是存 在正交矩阵Q使得， QT ( AT A)Q diag (1, 2 ,...n ) 其中 i 0(i 1, 2,...n) 为 AT A 特征值 令 i i (i 1, 2,...n) , diag ( , ,... ) 1 2 n
三维的空间
1. 由很多（实际上是无穷多个）位置点组成；
2. 这些点之间存在相对的关系；
3. 可以在空间中定义长度、角度；
4. 这个空间可以容纳运动.
这里我们所说的运动是从一个点到另一个点的 跳跃（变换）,而不是微积分意义上的“连续” 性的运动.
容纳运动是空间的本质特征
“空间”是容纳运动的一个对象
明确、使它华丽、使它完美. 使它更易于
理解和使用. 这个过程也就是一个人学懂
数学的过程.
数无形时少直观,
形无数时难入微,
数形结合百般好, 隔离分家万事休.
--------华罗庚
将抽象思维形象化 将理论知识实用化
二、矩阵的四个基本子空间
基本定义 记：
1 2 1 m
直觉性丧失！
问
向量是什么？
题
向量表面上只是一列数，但是其实由于它 的有序性， 所以除了这些数本身携带的信息之 外，还可以在每个数的对应位置上携带信息. 线性空间中的任何一个对象，通过选取基 和坐标的办法，都可以表达为向量的形式. 向量是具有n个相互独立的性质（维度） 的对象的表示
矩阵是什么？
A P BP
即同一个线性变换在不同的坐标系下表现为不同 的矩阵，但其本质相同，所以特征值相同.
1
相似矩阵，就是同一个线性变换的不同的
描述矩阵. 或者说相似矩阵都是同一个线性变
换的描述 .
线性变换可以用矩阵的形式呈现，也就是 说，矩阵是形式，而变换 ——也就是各种映射 才是本质， 而代数的重要任务之一就是研究各 种数学结构之间的关系——也就是映射.
4 x 3
三、矩阵的奇异值分解
应用领域
1.最优化问题； 特征值问题； 最小二乘问题； 广义逆矩阵问题等. 2.统计分析； 信号与图像处理； 系统理论和控制等.
矩阵的正交对角分解
若A是n阶实对称矩阵，则存在正交矩阵Q，使得
QT AQ diag (1, 2 ,...n )
矩阵与坐标系
n 维线性空间里的方阵 A 的 n 个 n维向量
如果线性无关，那么它们就可以成为度量
n维
线性空间的一组基，事实上就是一个坐标系体系.
1 A 0
0 1
矩阵描述了一个坐标系
b b?
1 b 0 0 b Ib 1
b
M b MIb M b ?
(1)
其中 i (i 1, 2,...n) 为矩阵A的特征值，而Q的n个列向
量组成A的一个完备的标准正交特征向量系. 对于实的非对称矩阵A，不再有像式（1）的分解， 但却存在两个正交矩阵P和Q，使 PT AQ 为对角矩阵， 即有下面的正交对角分解定理.
定理
设
A R nn 非奇异，则存在正交矩阵P和Q，
1 0 A33 X 0 1 1 1 3 x1 2 x2 0 5 x3
由
R
33
1 0 0
0 1 0
3 x1 2 x2 0 0 x3
X , X L(1,2 ) X C(A ) N ( A)
- 3 5 7 1 0 0 其中2 = 0 ,3 1 ,5 0 0 0 2 0 0 1
dim N ( R) n r 5 2 3
Pivot rows
m=3 n=5
r=2
1 and 2
Pivot columns 1 and 4
rankR dim C( R) dim C( R ) 2
T
Null space
N ( A) {x : Ax 0, x R }
n
N ( R) {x : Rx 0, x R }
称式（3）为正交矩阵A的正交对角分解
1 2
1，， 0 3） X=0 1 X=（ 0， 1，） 2 X = 0 2 X=（