奇异值分解和图像主分量复原_20180129
奇异值处理方法
奇异值处理方法概述
奇异值处理是矩阵运算中常用的一种方法，主要用于处理奇异矩阵或近似奇异矩阵。
奇异值处理的方法主要包括以下几种：
1. 奇异值分解（Singular Value Decomposition，SVD）：将矩阵分解为三个部分，分别是左奇异向量矩阵、奇异值矩阵和右奇异向量矩阵。
奇异值矩阵是一个对角矩阵，对角线上的元素即为奇异值。
奇异值分解是处理奇异值最常用和最基础的方法。
2. 截断奇异值分解（Truncated Singular Value Decomposition）：在奇异值分解的基础上，将奇异值矩阵截断为一个较小的矩阵，保留主要的特征信息，忽略较小的特征。
这种方法常用于降噪、矩阵压缩和特征提取等。
3. 广义逆矩阵（Generalized Inverse Matrix）：对于奇异矩阵或近似奇异矩阵，其逆矩阵不存在或不稳定。
此时可以使用广义逆矩阵来求解线性方程组等问题。
常用的广义逆矩阵包括Moore-Penrose逆、加权Moore-Penrose逆等。
4. 正则化方法（Regularization Methods）：对于一些病态问题或数据噪声较大时，直接求解可能会出现不稳定或误差较大的情况。
此时可以使用正则化方法，如岭回归、Lasso回归等，对问题进行约束和优化，提高求解的稳定性和准确性。
以上是奇异值处理的一些常用方法，具体使用哪种方法需要根据具体问题和数据来选择。
了解奇异值分解的基本概念与原理(Ⅰ)
奇异值分解（Singular Value Decomposition，简称SVD）是一种数学方法，用于将一个矩阵分解为三个矩阵的乘积。
它在数据分析、图像压缩、信号处理等领域都有广泛的应用。
在本文中，我们将深入探讨SVD的基本概念和原理，希望读者能够对这一重要的线性代数工具有更清晰的认识。
首先，我们来介绍一下SVD的基本概念。
对于一个实数域上的m×n矩阵A，SVD可以将其分解为三个矩阵的乘积：A = UΣV^T，其中U是一个m×m的正交矩阵，Σ是一个m×n的对角矩阵，V^T是一个n×n的正交矩阵。
对角矩阵Σ的对角元素称为奇异值，通常按照从大到小的顺序排列。
这种分解的重要性在于，它可以提供矩阵A的基本结构信息，从而为后续的数据处理和分析提供了便利。
接下来，让我们深入了解SVD的原理。
SVD的原理涉及到线性代数和矩阵分解的许多概念，其中最重要的是特征值和特征向量。
对于任意一个n×n的矩阵M，如果存在一个非零向量v和一个标量λ，使得Mv = λv，那么λ称为M的特征值，v称为M的特征向量。
SVD的思想就是利用矩阵M的特征值和特征向量来实现矩阵的分解。
具体来说，我们可以先对矩阵A^TA进行特征值分解，得到特征值和特征向量。
然后，取特征值的平方根作为奇异值的值，特征向量作为U矩阵的列向量。
接着，再对矩阵AA^T进行特征值分解，同样得到特征值和特征向量，将特征向量作为V矩阵的列向量。
最后，将奇异值按照从大到小的顺序排列，得到对角矩阵Σ。
这样就完成了矩阵A的SVD分解。
值得注意的是，SVD的计算过程是非常复杂的，尤其是当矩阵的维度很大时。
因此，现实中的SVD通常会利用一些近似算法来加快计算速度。
另外，对于特别大的数据集，我们还可以利用分布式计算和并行计算的方法来加速SVD的计算过程。
除了理论层面的研究，SVD在实际应用中也有着重要的作用。
例如，在推荐系统中，我们可以利用SVD来对用户-物品评分矩阵进行分解，从而实现对未评分物品的预测。
奇异值分解在图像处理中的实际案例分析(九)
奇异值分解在图像处理中的实际案例分析奇异值分解（Singular Value Decomposition，SVD）是一种重要的矩阵分解方法，它在图像处理领域有着广泛的应用。
本文将通过实际案例分析，讨论奇异值分解在图像处理中的应用。
1. 奇异值分解简介奇异值分解是将一个复杂的矩阵分解为三个简单的矩阵相乘的形式，即 A = UΣV^T，其中 U 和 V 是正交矩阵，Σ 是对角矩阵。
这种分解可以帮助我们理解数据的结构和特征，并且在降维、信号处理、图像处理等领域有着广泛的应用。
2. 图像压缩奇异值分解可以帮助我们对图像进行压缩。
通过对图像的奇异值分解，我们可以将图像矩阵近似为较小的对角矩阵，从而实现图像的压缩。
这种压缩方法可以在一定程度上减小数据的存储空间，同时保留图像的主要特征，是一种有效的数据压缩方法。
3. 图像去噪在图像处理中，往往会遇到图像受到噪声干扰的情况。
奇异值分解可以帮助我们对图像进行去噪。
通过对图像的奇异值分解，我们可以将噪声信号和图像信号分离开来，然后去除噪声信号，最后重构出清晰的图像。
这种方法在图像处理中有着重要的应用价值。
4. 图像拼接在图像拼接中，奇异值分解也发挥着重要的作用。
通过对多幅图像的奇异值分解，我们可以将它们进行拼接，从而得到一副更大的图像。
这种方法在全景图像的拼接、医学影像的处理等领域有着重要的应用。
5. 实际案例分析以人脸识别为例，奇异值分解可以帮助我们提取图像的主要特征，从而实现人脸的识别。
通过对人脸图像进行奇异值分解，我们可以得到人脸的特征向量，然后通过比对特征向量来进行人脸识别。
这种方法在人脸识别、人脸验证等领域有着重要的应用。
6. 总结奇异值分解在图像处理中有着广泛的应用，包括图像压缩、图像去噪、图像拼接、人脸识别等方面。
通过对图像进行奇异值分解，我们可以更好地理解图像的结构和特征，从而实现图像的处理和分析。
相信随着技术的不断进步，奇异值分解在图像处理中的应用将会变得更加广泛，为图像处理领域带来更多的创新和发展。
如何利用奇异值分解进行特征提取(九)
奇异值分解（Singular Value Decomposition，简称SVD）是一种非常重要的矩阵分解方法，它在数据分析、机器学习和图像处理等领域都有广泛的应用。
在这篇文章中，我们将探讨如何利用奇异值分解进行特征提取。
首先，让我们来了解一下奇异值分解的基本原理。
给定一个矩阵A，奇异值分解可以将矩阵A分解为三个矩阵的乘积：A=UΣV^T，其中U和V是正交矩阵，Σ是一个对角矩阵，对角线上的元素称为奇异值。
奇异值分解的主要作用是将原始数据映射到一个更低维的空间中，并保留数据的主要特征。
利用奇异值分解进行特征提取的第一步是对原始数据进行预处理。
在实际应用中，通常会对原始数据进行中心化和标准化处理，以消除数据之间的量纲差异和均值偏移对特征提取的影响。
接下来，我们可以利用奇异值分解将预处理后的数据进行降维，从而提取数据的主要特征。
在实际应用中，奇异值分解常常用于图像处理和推荐系统中。
在图像处理中，我们可以利用奇异值分解对图像进行压缩和去噪，从而提取图像的主要特征。
在推荐系统中，奇异值分解可以帮助我们发现用户和物品之间的隐藏特征，从而实现个性化推荐。
除了在图像处理和推荐系统中，奇异值分解还可以应用于数据降维和特征提取。
在机器学习领域，我们常常会遇到高维数据，而高维数据中往往包含了大量冗余信息，这时就可以利用奇异值分解将数据进行降维，从而提取数据的主要特征。
通过降维处理，我们可以减少数据的存储空间和计算复杂度，同时还可以提高模型的泛化能力。
除了奇异值分解外，还有一些其他常用的特征提取方法，比如主成分分析（PCA）、独立成分分析（ICA）等。
这些方法各有特点，可以根据具体的应用场景选择合适的方法进行特征提取。
在实际应用中，我们可能会结合多种特征提取方法，以获得更好的特征表示和模型性能。
总之，奇异值分解是一种非常重要的特征提取方法，它可以帮助我们从原始数据中提取主要特征，从而实现数据的降维和信息的压缩。
在实际应用中，我们可以结合奇异值分解和其他特征提取方法，以获得更好的特征表示和模型性能。
奇异值分解
5.48
根据上述定义我们不难证明，在X 的奇异值分解X UDV T中U的列和V 的行分别 为XX T 和X T X 的特征向量. 这是因为 XX T UDV T VDU T UD 2U T , 即 XX T U Udiag 1 , 2 , , r , 0,
T
T i i
, M 进行加权求和，即X i ui viT .这种情况等于维数
i 1
r
没有得到压缩，因此意义不大.如果各道地震数据都相似即M 道全线性相关时，X 的秩r 1， 即只要用一个特征图像加权，即X i ui viT 就可完全重建X 了以上显然是两种特殊的情况， . 一般情况存在一个p r , 按 5.55 式对特征图像进行加权求和来重建X ，
r
2 i
.
的下标划分为三个区间： 1 i p 1, p i q, q 1 i r，则按照 5.55 式可得到三种奇异值 分解式图像：
现在我们把地震道分成相关性好的、不太好和差的三种情况进行分类，相应地把 i
T X LP i ui viT U LU L X XVLVLT , i 1 q T X BP i ui viT U BU B X XVBVBT , i p r
5.6.2 奇异值分解法的优缺点 矩阵的奇异值分解计算量比较大，特别是一个较高阶矩阵的奇异值分解，所以在实际 应用中受到了限制.随着高速计算机的发展，上述问题是能解决的.解决A UDV T 在数学 上是十分简单方便的，因为正交矩阵参与计算 不放大误差，且正交矩阵求逆很方便： U 1 U T ,V 1 V T，即求逆等于转置.求对角矩阵的逆也很方便： 1 1 D 1 如要解方程组AX B, 则 X A1 B UDV T B VD 1U T B.
奇异值分解及其应用
PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。
特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。
而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。
奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。
就像是描述一个人一样，给别人描述说这个人长得浓眉大眼，方脸，络腮胡，而且带个黑框的眼镜，这样寥寥的几个特征，就让别人脑海里面就有一个较为清楚的认识，实际上，人脸上的特征是有着无数种的，之所以能这么描述，是因为人天生就有着非常好的抽取重要特征的能力，让机器学会抽取重要的特征，SVD是一个重要的方法。
在机器学习领域，有相当多的应用与奇异值都可以扯上关系，比如做feature reduction的PCA，做数据压缩（以图像压缩为代表）的算法，还有做搜索引擎语义层次检索的LSI（Latent Semantic Indexing）奇异值与特征值基础知识特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。
两者有着很紧密的关系，我在接下来会谈到，特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。
先谈谈特征值分解吧：特征值如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式：这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。
特征值分解是将一个矩阵分解成下面的形式：其中Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值。
我这里引用了一些参考文献中的内容来说明一下。
首先，要明确的是，一个矩阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量，其实就相当于将这个向量进行了线性变换。
比如说下面的一个矩阵：它其实对应的线性变换是下面的形式：因为这个矩阵M乘以一个向量(x,y)的结果是：上面的矩阵是对称的，所以这个变换是一个对x，y轴的方向一个拉伸变换（每一个对角线上的元素将会对一个维度进行拉伸变换，当值>1时，是拉长，当值<1时时缩短），当矩阵不是对称的时候，假如说矩阵是下面的样子：它所描述的变换是下面的样子：这其实是在平面上对一个轴进行的拉伸变换（如蓝色的箭头所示），在图中，蓝色的箭头是一个最主要的变化方向（变化方向可能有不止一个），如果我们想要描述好一个变换，那我们就描述好这个变换主要的变化方向就好了。
奇异值分解在图像处理中的应用(六)
奇异值分解（Singular Value Decomposition，简称SVD）是一种重要的矩阵分解方法，它在图像处理领域有着广泛的应用。
SVD将一个矩阵分解为三个矩阵的乘积，这种分解具有很强的数学意义和实际应用价值。
下面我们将从图像压缩、图像去噪和图像恢复三个方面来介绍奇异值分解在图像处理中的应用。
图像压缩是图像处理中的重要问题之一。
在实际应用中，为了减小图像文件的大小，提高传输和存储效率，人们经常需要对图像进行压缩。
奇异值分解在图像压缩中发挥着重要的作用。
通过SVD，可以对图像进行降维处理，从而达到压缩的效果。
具体地，对于一张m×n的灰度图像，可以将其表示为一个m×n的矩阵A，然后对矩阵A进行奇异值分解，得到三个矩阵U、Σ和V，其中U和V是正交矩阵，Σ是一个对角矩阵。
在实际应用中，去掉Σ中较小的奇异值，然后用U、Σ和V的子矩阵来近似表示原始图像，从而实现图像的压缩。
除了图像压缩，奇异值分解还可以应用于图像去噪。
在图像采集和传输的过程中，往往会受到各种干扰和噪声的影响，这就需要对图像进行去噪处理。
奇异值分解可以通过保留较大的奇异值，去掉较小的奇异值来对图像进行去噪。
具体地，对于一张受到噪声干扰的图像，可以将其表示为一个矩阵A，然后对矩阵A进行奇异值分解，得到三个矩阵U、Σ和V，去掉Σ中较小的奇异值，然后用U、Σ和V 的子矩阵来重构图像，从而实现去噪的效果。
此外，奇异值分解还可以应用于图像恢复。
在图像传输和存储的过程中，往往会出现图像损坏或丢失的情况，这就需要对图像进行恢复处理。
奇异值分解可以通过保留较大的奇异值，去掉较小的奇异值来对图像进行恢复。
具体地，对于一张损坏或丢失部分信息的图像，可以将其表示为一个矩阵A，然后对矩阵A进行奇异值分解，得到三个矩阵U、Σ和V，去掉Σ中较小的奇异值，然后用U、Σ和V 的子矩阵来重构图像，从而实现图像的恢复。
综上所述，奇异值分解在图像处理中有着重要的应用价值。
奇异值分解在图像处理中的应用(Ⅲ)
奇异值分解（Singular Value Decomposition，简称SVD）是一种常用的矩阵分解方法，它在图像处理中有着广泛的应用。
在本文中，我们将探讨奇异值分解在图像处理中的具体应用，以及其在图像压缩、图像去噪和图像恢复等方面的重要作用。
首先，我们来了解一下奇异值分解的基本原理。
给定一个矩阵A，奇异值分解将其分解为三个矩阵的乘积：A = UΣV^T，其中U和V是正交矩阵，Σ是对角矩阵。
在图像处理中，我们可以将一幅图像看作一个矩阵，而奇异值分解则可以帮助我们对图像进行分解和重构。
在图像压缩方面，奇异值分解可以帮助我们实现图像的压缩和去除冗余信息。
通过保留奇异值较大的部分，我们可以将图像进行压缩，从而节省存储空间和提高传输效率。
同时，奇异值分解还可以帮助我们去除图像中的噪声，提高图像的质量和清晰度。
此外，奇异值分解还可以帮助我们实现图像的恢复和重建。
当图像受到损坏或者变形时，我们可以利用奇异值分解对图像进行重构，从而使其恢复原貌。
这在图像恢复和医学图像处理等领域具有重要的应用价值。
除了上述应用之外，奇异值分解还在图像处理的其他方面发挥着重要作用。
例如，在图像的特征提取和图像的模式识别中，奇异值分解可以帮助我们提取图像的主要特征和信息，从而实现图像的分类和识别。
此外，奇异值分解还可以用于图像的拼接和图像的配准，从而帮助我们实现多幅图像的无缝拼接和匹配。
综上所述，奇异值分解在图像处理中具有着广泛的应用。
它不仅可以帮助我们实现图像的压缩、去噪和恢复，还可以帮助我们进行图像的特征提取、模式识别、拼接和配准等工作。
因此，深入了解和掌握奇异值分解的原理和方法对于图像处理工作者来说是非常重要的。
希望本文的介绍能够帮助读者更好地理解奇异值分解在图像处理中的应用，并对相关领域的研究和实践产生积极的影响。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
奇异值分解(SVD)和图像矩阵的分解测试
· SVD简单介绍
在很多情况下，数据的绝大部分信息往往集中在很小一部分数据上，我们知道线性代数中有很多矩阵的分解技术可以将矩阵表示成易于处理或是表达简化的形式。
最常见的一就种是SVD(Singular Value Decomposition)算法。
SVD将数据分解成三个矩阵U，S，VT，这里得到的S是一个对角阵，其中对角元素为奇异值，它代表着矩阵的重要特征，从左上角到右下角重要程度递减。
因为奇异值往往对应着矩阵中隐含的重要信息，而且奇异值大小与重要性正相关。
优点：简化数据，优化数据的表达形式。
缺点：难于计算。
关于奇异值分解的定义和相关推导，推荐参考这篇文章，介绍的非常清晰易懂：机器学习中的数学(5)-强大的矩阵奇异值分解(SVD)及其应用
故公式什么的这里就不列出了，理解了理论后，我们来小小测试一下，以体会其强大之处。
· matlab测试图像SVD
这里使用的是matlab函数svd()：[U,S,V]=svd(A)；
输出结果：图像大小为256x256，奇异值有256个，结果可见前50个特征就基本涵盖了原图所有信息。
理解PCA和SVD
发表于 2015-12-04 | 分类于数学杂谈| | 阅读次数 4136
By Z.H. Fu
切问录
摘要
本文主要从分解形式上讲述了PCA（Principal Component Analysis，主成分分析）和SVD（Singular Value Decomposition奇异值分解）的目的和方法，对于两种方法都给出了一种直观的理解。
简单起见，本文不给出具体的应用实例。
## PCA 主成分分析（PCA）常用于提取一系列多维样本的共同特征。
那么，怎么理解特征？我们假设每个样本是由一系列的特征线性组合而成的，PCA的目的就是去找到这些特征，然后将每一个样本表示为这些特征的组合，实际上PCA找到了样本空间中的一组基，将每一个样本表示为这组基的线性组合，因此，每一个基就是一个特征。
那么，特征需要满足哪些性质呢？其实就一点，特征之间的关系应该越少越好。
用基来描述就是
这应该是一组正交基。
下面我们来看该怎么构造这组基。
我们假设我们的样本矩阵为A m×n Am×n每一行为一个样本，共m个样本，每一列是一个特征，共n个特征。
我们来看怎么刻画特征不相关这个事情。
我们可以看两个随机变量不相关是怎么刻画的，两个随机变量不相关，即他们的协方差为0，即：
cov(X,Y)=E([X−E[X]][Y−E[Y])=0cov(X,Y)=E([X−E[X]][Y−E[Y])=0
这启发我们，能不能通过某个线性变换，将样本矩阵变换为一个新矩阵，让新矩阵的每一列不相关，那么为了表示矩阵每一列不相关这个事，我们要先做一个简化，先来考虑均值为0的两个随机变量X,Y X,Y，那么他们的协方差可表示为：
cov(X,Y)=E([X−0][Y−0])=E(XY)cov(X,Y)=E([X−0][Y−0])=E(XY)
即点乘为0，因此我们先求出每一列的均值并将均值归为0（即每一列的所有元素减去当前列的均值）。
这样矩阵A通过某个线性变换得出的新矩阵B的每一列都正交，用矩阵表示即为：
B T B=D BTB=D
其中，D是一个对角阵。
那么我们假设这个变换是AM=B AM=B，将这个带入得：
(AM)T(AM)=DM T A T AM=DA T A=(M T)−1DM−1(AM)T(AM)=DMTATAM=DATA=(MT)−1DM−1
而我们知道A T A ATA是一个对角阵，那么它的特征值分解A T A=VDV−1ATA=VDV−1中的V是正交单位阵，那么有V T=V−1VT=V−1，那么这个V就满足我们对M的要求。
所以，我们对矩阵A做PCA的步骤就是：
1.将A的每一列按均值做归一化，使归一化后的A的每一列均值为0；
2.求出A T A ATA的特征值
D=diag{λ1,λ2,⋯,λn}D=diag{λ1,λ2,⋯,λn}和特征矩阵V； 3.令矩阵B=AV B=AV。
这个矩阵B就是我们需要的新矩阵，它的每一列均值为0，且每一列正交，而A=BV T A=BVT其中，V T VT的每一行就是我们想要的特征，B的每一行就是特征的组合系数。
SVD
SVD（Singular Value Decomposition奇异值分解）是一种矩阵分解的方法，目的很明确，就是将矩阵A分解为三个矩阵UΣV T UΣVT的乘积的形式，我们不妨接着PCA的步骤往下做。
我们有A=BV T A=BVT，我们将B写成归一化的形式，其拆开成B=UΣB=UΣ，其中U的每一列是单位向量，而Σ=diag{σ1,σ2,⋯,σn}Σ=diag{σ1,σ2,⋯,σn}则是B中每个向量的模长且σ1>σ2>⋯>σnσ1>σ2>⋯>σn。
而B中每一列的模长为Av i Avi，由于v i vi是A T A ATA的特征向量，对应特征值为λiλi，那么Av i Avi平方为
(Av i)T Av i=(Av i)T Av i=v Ti A T Av i=v Ti A T Av i=v Tiλi v i=λi v Ti v i=λi(Avi)TAvi=(Avi)TAvi=viTATAvi=viTATAvi=viTλivi=
λiviTvi=λi
所以有|Av i|=λi−−√|Avi|=λi，所以将B写成B=UΣB=UΣ的形式后，U是正交矩阵，而ΣΣ是一个对角阵，其每一个元素σi=λi−−√σi=λi。
我们再来看SVD的图示：
从图中看出，中间的奇异值矩阵由大到小排列，越后面的值对结果的影响越小，因此，如果只保留较大的奇异值和其对应的U、V中的向量，对于矩阵压缩则能起到很好的作用。
在该例子中，m>n m>n，能通过
u i=Av iσi ui=Aviσi得出的u i ui只有n个，剩下m-n个基直接随便找正交基补全即可，他们在计算中实际上也没什么用。
我们把SVD分解的结果带入协方差矩阵：
A T A=(UΣV T)T UΣV T=VΣU T UΣV T=VΣ2V T ATA=(UΣVT)TUΣVT=VΣUTUΣVT=VΣ2VT
可以看出，中间那个U消掉了，这也能部分反映SVD和PCA间的关系。
参考文献
[1] /~lerman/math5467/svd.pdf
·应用方面
1.图像压缩（image compression）：较少的奇异值就可以表达出图像中大部分信息，舍弃掉一部分奇异值来实现压缩。
2.图像降噪（image denoise）：噪声一般存在于图像高频部分，也表现在奇异值小的部分，故可以借助SVD实现去噪。
3.音频滤波（filtering）：Andrew Ng的机器学习课程上有个svd将混杂声音分离的例子，其实和噪声滤波类似。
4.求任意矩阵的伪逆（pseudo-inverse）：由于奇异矩阵或非方阵矩阵不可求逆，在特殊情况下需要广义求逆时可用svd方法。
5.模式识别（pattern recognition）：特征为矩阵，数据量较大时，可以用svd提取主要的成分。
6.潜在语义索引（Latent Semantic Indexing）：NLP中，文本分类的关键是计算相关性，这里关联矩阵A=USV’，分解的三个矩阵有很清楚的物理含义，可以同时得到每类文章和每类关键词的相关性。