PCA算法推倒精要教程文件
PCA算法原理及实现
PCA算法原理及实现作者：Jones来源：海边的拾遗者众所周知，PCA(principal component analysis)是一种数据降维的方式，能够有效的将高维数据转换为低维数据，进而降低模型训练所需要的计算资源。
以上是比较官方的说法，下面是人话(正常人讲的话)版。
pca就是一种能够有效压缩数据的方法！打个不太准确的例子：我们现在有一个描述人的健康状况的数据：(年龄，身高，体重，地区，血压，心率，肺活量，体温，体脂），也就是说(年龄，身高，体重，地区，血压，心率，肺活量，体温，体脂）这些东西是特征，而这些特征对应的标签是健康状况：健康/亚健康/不健康。
那么pca就是通过一些方法，将这9个特征压缩到只有4个，3个甚至更少的特征(暂且称之为x1, x2, x3, x4)，但是我们仍能用这些特征来准确预测它们对应的健康状况。
在这里补充一下，在数学/机器学习中，我们会把特征抽象为向量，比如上面提到的健康状况的数据：(年龄，身高，体重，地区，血压，心率，肺活量，体温，体脂），我们会抽象为（18, 180, 70, 广东, 100, 80, 5000, 37, 0.1）, 其中地区这一项显得与众特别，毕竟其他的维度都是数值，就它是文字。
我们把这样的维度称为类别，因为它是在有限的选项中选出来的（从世界上所有的地区中取一个），在计算机中表示这样的信息，我们可以有很多方式，但是为了简化难度，这边我就暂且不搞，直接把这一列删掉。
于是乎我们的数据（其实就是向量！）就是（18, 180, 70, 100, 80, 5000, 37, 0.1），值得一提的是，这样的一个数据是属于一个实体的（也就是说这是描述一个人的健康状况的），在机器学习中，我们倾向于将一个实体的数据排成一列，也就是（18, 180, 70, 100, 80, 5000, 37, 0.1）^T（转置）。
本文要介绍的目录为：•使用PCA的必要性•PCA的本质•前置知识的介绍•PCA的数学原理•PCA的思想•PCA的实现使用PCA的必要性前面说了，pca就是将高维（很多列属性）数据转换为低维（较少列）数据的方法，同时保留大部分信息（可以用保留的信息准确预测）。
PCA(主成分分析)降维算法详解和代码
PCA（主成分分析）降维算法详解和代码PCA的原理：1.中心化数据：对原始数据进行中心化处理，即将每个特征减去其均值，使得数据以原点为中心。
2.计算协方差矩阵：计算中心化后的数据的协方差矩阵。
协方差矩阵描述了不同特征之间的关系和相关性。
3.计算特征值和特征向量：对协方差矩阵进行特征值分解，得到特征值和对应的特征向量。
特征值代表每个特征的重要性，特征向量表示特征的方向。
4.选择主成分：根据特征值的大小，选择最大的k个特征值对应的特征向量作为主成分。
5.降维：将原始数据投影到所选主成分上，得到降维后的数据。
投影后的数据保留了最重要的特征，且维度减少。
PCA的代码实现：下面是一个基于Numpy库实现PCA算法的示例代码：```pythonimport numpy as npdef pca(X, k):#中心化数据X = X - np.mean(X, axis=0)#计算协方差矩阵cov = np.cov(X.T)#特征值分解eigvals, eigvecs = np.linalg.eig(cov)#选择主成分idx = np.argsort(eigvals)[::-1][:k]eigvecs = eigvecs[:, idx]#降维X_pca = np.dot(X, eigvecs)return X_pca#测试X = np.random.rand(100, 5) # 生成100个样本，每个样本有5个特征k=2#目标降维维度X_pca = pca(X, k)print(X_pca.shape) # 输出降维后的数据维度```在上述代码中，使用`numpy`库进行了主成分分析的各个步骤。
首先，通过计算均值，对原始数据进行中心化。
然后，使用`cov`函数计算协方差矩阵，并通过`numpy.linalg.eig`函数进行特征值分解。
接下来，通过`argsort`函数对特征值进行排序，选择前k个特征值对应的特征向量作为主成分。
PCA的原理及详细步骤
一、基本原理主成分分析是数学上对数据降维的一种方法.其基本思想是设法将原来众多的具有一定相关性的指标X1,X2，…，XP （比如p 个指标），重新组合成一组较少个数的互不相关的综合指标Fm 来代替原来指标.那么综合指标应该如何去提取，使其既能最大程度的反映原变量Xp 所代表的信息，又能保证新指标之间保持相互无关（信息不重叠）。
设F1表示原变量的第一个线性组合所形成的主成分指标，即11112121...p pF a X a X a X =+++，由数学知识可知，每一个主成分所提取的信息量可用其方差来度量，其方差Var(F1)越大,表示F1包含的信息越多。
常常希望第一主成分F1所含的信息量最大，因此在所有的线性组合中选取的F1应该是X1，X2，…，XP 的所有线性组合中方差最大的，故称F1为第一主成分。
如果第一主成分不足以代表原来p 个指标的信息，再考虑选取第二个主成分指标F2,为有效地反映原信息，F1已有的信息就不需要再出现在F2中,即F2与F1要保持独立、不相关，用数学语言表达就是其协方差Cov(F1, F2)=0，所以F2是与F1不相关的X1，X2,…,XP 的所有线性组合中方差最大的，故称F2为第二主成分，依此类推构造出的F1、F2、……、Fm 为原变量指标X1、X2……XP 第一、第二、……、第m 个主成分。
11111221221122221122...............p p p pm m m mp p F a X a X a X F a X a X a X F a X a X a X =+++⎧⎪=+++⎪⎨⎪⎪=+++⎩ 根据以上分析得知：（1) Fi 与Fj 互不相关,即Cov(Fi ，Fj) = 0，并有Var （Fi ）=ai ’Σai,其中Σ为X 的协方差阵（2）F1是X1,X2，…，Xp 的一切线性组合(系数满足上述要求）中方差最大的,……，即Fm 是与F1，F2，……，Fm －1都不相关的X1,X2，…，XP 的所有线性组合中方差最大者。
算法讲义-PCA_SVD培训课件
复习：对称阵的特征向量
实对阵矩阵的不同特征值对应的特征向量一定是正交的 证明： 令实对称矩阵为A，它的两个不同的特征值λ1λ2对应的特征向量
分别是μ1μ2 则有：Aμ1=λ1μ1， Aμ2=λ2μ2 (Aμ1)T =(λ1μ1)T，从而：μ1TA=λ1μ1T 所以：μ1TAμ2=λ1μ1Tμ2 同时，μ1TAμ2=μ1T (Aμ2)=μ1Tλ2μ2= λ2μ1Tμ2 所以，λ1μ1Tμ2=λ2μ1Tμ2 故：(λ1-λ2) μ1Tμ2=0 而λ1≠λ2，所以μ1Tμ2=0，即：μ1，μ2正交。
非零特征值的平方根。
15/20
直观的解释
在矩阵A的奇异值分解中A=UΣVT U的列组成一套对A的正交"输入"或"分析"的
基向量。这些向量是AAT的特征向量。 V的列组成一套对A的正交"输出"的基向量。
这些向量是ATA的特征向量。 Σ对角线上的元素是奇异值，可视为是在输
入与输出间进行的标量的“膨胀控制”。这 些是ATA及AAT的奇异值，并与U和V的行向 量相对应。
λ的值的大小表示原始观测数据经在向量u的方向上 投影值的方差的大小。 实践中，先将A去均值，然后得到A的协方差矩阵 以上即为主成分分析PCA的核心推导过程。
3/20
PCA的两个特征向量
4/20
PCA的重要应用
OBB树
Oriented Bounding Box GIS中的重要应用
特征提取 数据压缩
6/20
重要应用——去噪
7/20
PCA的重要应用——降维
8/20
关于特征值的进一步推广
若A是m×n阶矩阵，不妨认为m>n，则A’A是 n×n阶方阵。按照上面的方法，得到：
主成分分析PCA(含有详细推导过程以和案例分析matlab版)
主成分分析法(PCA)在实际问题中.我们经常会遇到研究多个变量的问题.而且在多数情况下.多个变量之间常常存在一定的相关性。
由于变量个数较多再加上变量之间的相关性.势必增加了分析问题的复杂性。
如何从多个变量中综合为少数几个代表性变量.既能够代表原始变量的绝大多数信息.又互不相关.并且在新的综合变量基础上.可以进一步的统计分析.这时就需要进行主成分分析。
I. 主成分分析法(PCA)模型（一）主成分分析的基本思想主成分分析是采取一种数学降维的方法.找出几个综合变量来代替原来众多的变量.使这些综合变量能尽可能地代表原来变量的信息量.而且彼此之间互不相关。
这种将把多个变量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。
主成分分析所要做的就是设法将原来众多具有一定相关性的变量.重新组合为一组新的相互无关的综合变量来代替原来变量。
通常.数学上的处理方法就是将原来的变量做线性组合.作为新的综合变量.但是这种组合如果不加以限制.则可以有很多.应该如何选择呢？如果将选取的第一个线性组合即第一个综合变量记为1F .自然希望它尽可能多地反映原来变量的信息.这里“信息”用方差来测量.即希望)(1F Var 越大.表示1F 包含的信息越多。
因此在所有的线性组合中所选取的1F 应该是方差最大的.故称1F 为第一主成分。
如果第一主成分不足以代表原来p 个变量的信息.再考虑选取2F 即第二个线性组合.为了有效地反映原来信息.1F 已有的信息就不需要再出现在2F 中.用数学语言表达就是要求0),(21 F F Cov .称2F 为第二主成分.依此类推可以构造出第三、四……第p 个主成分。
（二）主成分分析的数学模型 对于一个样本资料.观测p 个变量p x x x ,,21.n 个样品的数据资料阵为：⎪⎪⎪⎪⎪⎭⎫⎝⎛=np n n p p x x x x x x x x x X 212222111211()p x x x ,,21=其中：p j x x x x nj j j j ,2,1,21=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=主成分分析就是将p 个观测变量综合成为p 个新的变量（综合变量）.即⎪⎪⎩⎪⎪⎨⎧+++=+++=+++=ppp p p p pp p p x a x a x a F x a x a x a F x a x a x a F 22112222121212121111 简写为：p jp j j j x x x F ααα+++= 2211p j ,,2,1 =要求模型满足以下条件：①j i F F ,互不相关（j i ≠.p j i ,,2,1, =） ②1F 的方差大于2F 的方差大于3F 的方差.依次类推 ③.,2,1122221p k a a a kp k k ==+++于是.称1F 为第一主成分.2F 为第二主成分.依此类推.有第p 个主成分。
主成分分析(PCA)详解(附带详细公式推导)
主成分分析（PCA）详解（附带详细公式推导）1.假设有一个m维的数据集X，其中每个数据点有n个样本。
需要将其降维到k维，且k<m。
2. 首先需进行数据的中心化，即对每个维度的数据减去该维度的均值，即X' = X - mean(X)。
3.然后计算协方差矩阵C=(1/n)*X'*X'^T，其中X'^T表示X'的转置。
4.对协方差矩阵C进行特征值分解，得到特征值和对应的特征向量。
5.接下来，将特征值按从大到小的顺序排列，选取前k个最大的特征值及其对应的特征向量。
6. 最后，将选取的k个特征向量组成一个投影矩阵W =[e1,e2,...,ek]，其中ei表示第i个特征向量。
7.对中心化的数据集进行降维，Y=W*X'，其中Y即为降维后的数据。
上述推导过程中，协方差矩阵C的特征值代表了数据的方差，特征向量则代表了数据的主成分。
选取最大的k个特征值和对应的特征向量，即实现了数据的降维。
PCA的应用包括但不限于以下几个方面：1.数据可视化：PCA能够将高维度的数据映射到二维或三维空间，从而方便数据的可视化展示。
2.数据预处理：PCA能够降低数据的维度，从而减少噪声和冗余信息，提升后续模型的精度和效率。
3.特征提取：PCA能够提取数据中最重要的特征，从而辅助后续建模和特征工程。
4.噪声过滤：PCA能够降低数据的维度，从而过滤掉一些无关的噪声信息。
需要注意的是，PCA只能应用于线性数据，并且假设数据的方差和协方差是固定的。
同时，PCA对于数据中非线性关系的捕捉能力较弱，因此在处理非线性数据时，需考虑使用其他非线性降维方法，如核主成分分析（Kernel PCA）等。
综上所述，PCA是一种常用的多变量数据降维技术，在数据分析和机器学习领域有着广泛的应用。
通过线性变换，PCA将高维度的数据投影到低维空间中，从而减少数据的维度，并保留了数据中的主要信息。
pca操作流程
pca操作流程Principal Component Analysis (PCA) is a widely used technique in the field of statistics, machine learning, and data analysis. It is a method for reducing the dimensionality of data by transforming it into a set of linearly uncorrelated variables known as principal components. PCA is commonly used for data visualization, noise reduction, feature extraction, and pattern recognition. Its main goal is to identify the directions in which the data varies the most and project the data onto these directions.主成分分析（PCA）是统计学、机器学习和数据分析领域中广泛使用的一种技术。
它是一种通过将数据转换为一组线性不相关的变量（称为主成分）来降低数据的维度的方法。
PCA通常用于数据可视化、降噪、特征提取和模式识别。
它的主要目标是识别数据变化最明显的方向，并将数据投影到这些方向上。
The PCA process involves several steps. The first step is to standardize the data by subtracting the mean and dividing by the standard deviation of each variable. This is important to ensure that all variables have the same scale. The next step is to compute thecovariance matrix of the standardized data. The covariance matrix gives us information about how the variables in the data are relatedto each other.PCA的过程包括几个步骤。
PCA算法的原理及其示例
为了区分人脸和非人脸，还需要计算原始图像 与由特征脸空间重
2 f
其中：
2
f w
，则输入图像不是人脸图像； ，且 i ， i 则输入图像包含未知人脸； ，且 i ， i 则输入图像为库中第 k 个人的人脸。
根据以下规则对人脸进行分类： 1)若 2)若 3)若
PCA 算法的原理及其示例
郑琛
(北京师范大学，北京 100875)
摘要：主成分分析是一种掌握事物主要矛盾的统计分析方法， 它可以从多元事物 中解析出主要影响因素，揭示事物的本质，简化复杂的问题，对于某些复杂数据 就可应用主成分分析法对其进行简化。 计算主成分的目的是将高维数据投影到较 低维空间。文中介绍了 PCA 算法的基本概念和基本原理，利用算法在降维和特 征提取方面的有效性，结合人脸识别的实例进行详细的阐述。 关键字：主成分分析；数据降维；特征提取
五、结束语 PCA 技术的一大好处是对数据进行降维的处理。我们可以对新 求出的“主元”向量的重要性进行排序,根据需要取前面最重要的部 分,将后面的维数省去,可以达到降维从而简化模型或是对数据进行压 缩的效果。同时最大程度的保持了原有数据的信息。 在前文的例子中,经过 PCA 处理后的数据只剩下了一维,也就是 弹簧运动的那一维,从而去除了冗余的变量,揭示了实验数据背后的物 理原理。 PCA 技术的一个很大的优点是,它是完全无参数限制的。在 PCA 的计算过程中完全不需要人为的设定参数或是根据任何经验模型对 计算进行干预,最后的结果只与数据相关,与用户是独立的。但是,这一 点同时也可以看作是缺点。如果用户对观测对象有一定的先验知识, 掌握了数据的一些特征,却无法通过参数化等方法对处理过程进行干 预,可能会得不到预期的效果,效率也不高。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
在许多实际问题中，多个变量之间是具有一定的 相关关系的。因此，能否在各个变量之间相关关 系研究的基础上，用较少的新变量代替原来较多 的变量，而且使这些较少的新变量尽可能多地保 留原来较多的变量所反映的信息？事实上，这种 想法是可以实现的. 主成分分析原理: 是把原来多个变量化为少数几个 综合指标的一种统计分析方法，从数学角度来看， 这是一种降维处理技术。
2020/6/10
现在我们从A点向B所在直线引一条垂线。我们
知道垂线与B的交点叫做A在B上的投影，再设
A与B的夹角是a，则投影的矢量长度为 其
中
是向量A的模也就是A线段的标量长度
2020/6/10
到这里还是看不出内积和这东西有什么关系， 不过如果我们将内积表示为另一种我们熟悉的 形式：
A与B的内积等于A到B的投影长度乘以B的模。 再进一步，如果我们假设B的模为1，即让那么 就变成了
此处(1,0)和(0,1)叫做二维空间中的一组基 要准确描述向量，首先要确定一组基，然后给 出在基所在的各个直线上的投影值，就可以了。 我们之所以默认选择(1,0)和(0,1)为基，当然是 比较方便，因为它们分别是x和y轴正方向上的 单位向量。
2020/6/10
(1,1)和(-1,1)也可以成为一组基。一般来说， 我们希望基的模是1，因为从内积的意义可以看 到，如果基的模是1，那么就可以方便的用向量 点乘基而直接获得其在新基上的坐标了！ 那么上面的基可以变为 和
2020/6/10
我们想获得(3,2)在新基上的坐标，即在两个方
向上的投影矢量值，那么根据内积的几何意义，
我们只要分别计算(3,2)和两个基的内积，不难
得到新的坐标为
，下图给出了新的基以
及(3,2)在新基上坐标值的示意图：
2020/6/10
推导>>3
基变换的矩阵表示 将(3,2)变换为新基上的坐标，就是用(3,2)与第 一个基做内积运算，作为第一个新的坐标分量， 然后用(3,2)与第二个基做内积运算，作为第二 个新坐标的分量。实际上，我们可以用矩阵相 乘的形式简洁的表示这个变换：
也就是说，设向量B的模为1，则A与B的内积 值等于A向B所在直线投影的矢量长度！这就是 内积的一种几何解释。
2020/6/10
推导>>2
基: 一个二维向量可以对应二维笛卡尔直角坐标系 中从原点出发的一个有向线段。例如下面这个 向量：
上面的向量可以表示为(3,2)
2020/6/10
向量(x,y)实际上表示线性组合
2020/6/10
第一个字段均值为2，第二个字段均值为3，所 以变换后： 我们可以看下五条数据在平面直角坐标系内的 样子：
2020/6/10
通过上一节对基变换的讨论我们知道，这个问 题实际上是要在二维平面中选择一个方向，将 所有数据都投影到这个方向所在直线上，用投 影值表示原始记录。这是一个实际的二维降到 一维的问题。 那么如何选择这个方向（或者说基）才能尽量 保留最多的原始信息呢？一种直观的看法是： 希望投影后的投影值尽可能分散。
内积运算将两个向量映射为一个实数。其计算方 式非常容易理解，但是其意义并不明显。下面我 们分析内积的几何意义。
2020/6/10
假设A和B是两个n维向量，我们知道n维向
量可以等价表示为n维空间中的一条从原点发射
的有向线段，为了简单起见我们假设A和B均为
二维向量，
,在二维平面上A和B
可以用两条发自原点的有向线段表示，见下图：
2020/6/10
其中矩阵的两行分别为两个基，乘以原向量， 其结果刚好为新基的坐标。可以稍微推广一下， 如果我们有m个二维向量，只要将二维向量按 列排成一个两行m列矩阵，然后用“基矩阵” 乘以这个矩阵，就得到了所有这些向量在新基 下的值。例如(1,1)，(2,2)，(3,3)，想变换到刚 才那组基上，则可以这样表示：
2020/6/10
PCA:Principal Component Analysis,即主成份分析 PCA是一种具有严格数学基础并且已被广泛采用 的降维方法。下面我不会直接描述PCA，而是通过
逐步分析问题，让我们一起重新推倒PCA算法。
2020/6/10
推导>>1
内积与投影: Biblioteka 个维数相同的向量的内积被定义为此2020时/6/1已0 经达到降维的目的。
推导>>4
协方差矩阵 上面我们讨论了选择不同的基可以对同样一组 数据给出不同的表示，而且如果基的数量少于 向量本身的维数，则可以达到降维的效果。但 是我们还没有回答一个最最关键的问题：如何 选择基才是最优的。或者说，如果我们有一组 N维向量，现在要将其降到K维（K小于N）， 那么我们应该如何选择K个基才能最大程度保 留原有的信息？
2020/6/10
为了避免过于抽象的讨论，我们仍以一个具体 的例子展开。假设我们的数据由五条记录组成， 将它们表示成矩阵形式：
其中每一列为一条数据记录，而一行为一个字 段。为了后续处理方便，我们首先将每个字段 内所有值都减去字段均值，其结果是将每个字 段都变为均值为0（这样做的道理和好处后面会 看到）。
2020/6/10
推导>>5
方差 我们希望投影后投影值尽可能分散，而这种分 散程度，可以用数学上的方差来表述。此处， 一个字段的方差可以看做是每个元素与字段均 值的差的平方和的均值，即：
2020/6/10
由于上面我们已经将每个字段的均值都化为0了， 因此方差可以直接用每个元素的平方和除以元 素个数表示：
2020/6/10
以上图为例，可以看出如果向x轴投影，那么最 左边的两个点会重叠在一起，中间的两个点也 会重叠在一起，于是本身四个各不相同的二维 点投影后只剩下两个不同的值了，这是一种严 重的信息丢失，同理，如果向y轴投影最上面的 两个点和分布在x轴上的两个点也会重叠。所以 看来x和y轴都不是最好的投影选择。我们直观 目测，如果向通过第一象限和第三象限的斜线 投影，则五个点在投影后还是可以区分的。
于是上面的问题被形式化表述为：寻找一个一 维基，使得所有数据变换为这个基上的坐标表 示后，方差值最大。
2020/6/10
推导>>6
协方差 对于上面二维降成一维的问题来说，找到那个 使得方差最大的方向就可以了。不过对于更高 维，还有一个问题需要解决。考虑三维降到二 维问题。与之前相同，首先我们希望找到一个 方向使得投影后方差最大，这样就完成了第一 个方向的选择，继而我们选择第二个投影方向。