主成分分析法(PCA)
主成分分析 ( Principal Component Analysis , PCA )
主成分分析（Principal Component Analysis ，PCA ）主成分分析（Principal Component Analysis ，PCA ）是一种掌握事物主要矛盾的统计分析方法，它可以从多元事物中解析出主要影响因素，揭示事物的本质，简化复杂的问题。
计算主成分的目的是将高维数据投影到较低维空间。
给定n 个变量的m 个观察值，形成一个n ′m 的数据矩阵，n 通常比较大。
对于一个由多个变量描述的复杂事物，人们难以认识，那么是否可以抓住事物主要方面进行重点分析呢？如果事物的主要方面刚好体现在几个主要变量上，我们只需要将这几个变量分离出来，进行详细分析。
但是，在一般情况下，并不能直接找出这样的关键变量。
这时我们可以用原有变量的线性组合来表示事物的主要方面，PCA 就是这样一种分析方法。
PCA 主要用于数据降维，对于一系列例子的特征组成的多维向量，多维向量里的某些元素本身没有区分性，比如某个元素在所有的例子中都为1，或者与1差距不大，那么这个元素本身就没有区分性，用它做特征来区分，贡献会非常小。
所以我们的目的是找那些变化大的元素，即方差大的那些维，而去除掉那些变化不大的维，从而使特征留下的都是“精品”，而且计算量也变小了。
对于一个k维的特征来说，相当于它的每一维特征与其他维都是正交的（相当于在多维坐标系中，坐标轴都是垂直的），那么我们可以变化这些维的坐标系，从而使这个特征在某些维上方差大，而在某些维上方差很小。
例如，一个45度倾斜的椭圆，在第一坐标系，如果按照x,y坐标来投影，这些点的x和y的属性很难用于区分他们，因为他们在x,y轴上坐标变化的方差都差不多，我们无法根据这个点的某个x属性来判断这个点是哪个，而如果将坐标轴旋转，以椭圆长轴为x轴，则椭圆在长轴上的分布比较长，方差大，而在短轴上的分布短，方差小，所以可以考虑只保留这些点的长轴属性，来区分椭圆上的点，这样，区分性比x,y轴的方法要好！所以我们的做法就是求得一个k维特征的投影矩阵，这个投影矩阵可以将特征从高维降到低维。
主成分分析PCA介绍
主成分分析PCA介绍PCA的基本思想是找到投影向量，使得数据在该投影上的方差最大。
通过选择方差最大的投影向量，我们可以保留尽可能多的原始数据信息。
具体来说，PCA首先计算数据的协方差矩阵，然后对该矩阵进行特征值分解，得到特征向量和特征值。
特征向量就是我们要找的投影向量，而特征值表示数据在特征向量上的方差。
选择前k个特征向量，就可以将原始数据映射到k维空间中。
这样，通过选择适当的k值，既可以降低数据的维度，又可以尽量保留原始数据的信息。
PCA的应用非常广泛。
首先，PCA可以用于数据预处理，包括去除噪声、异常值和缺失值，以及数据标准化和归一化。
其次，PCA可以用于数据降维，减少冗余特征，提高计算效率。
特别是在高维数据集上，PCA可以减少特征的个数，提高模型的训练速度和结果的精确度。
此外，PCA还可以用于数据可视化，将高维数据投影到二维平面上，以便更好地理解数据的分布和结构。
除了基本的PCA方法外，还有一些对其进行改进和扩展的方法。
其中，核主成分分析（Kernel PCA）是一种非线性的PCA方法，通过将数据映射到高维特征空间来处理非线性关系。
自适应主成分分析（Adaptive PCA）可以根据数据的分布自动选择合适的特征数目。
增量主成分分析（Incremental PCA）可以处理大规模数据集，并能够在数据流中进行在线学习和更新。
然而，PCA也有一些限制和缺点。
首先，PCA假设数据服从线性分布，对于非线性关系的数据可能会失效。
其次，PCA只能找到数据集中的线性主成分，无法处理复杂的非线性关系。
最后，PCA对异常值和噪声敏感，可能会导致降维结果的偏差。
总的来说，PCA是一种常用的数据降维方法，可以在保留原始数据信息的同时，减少特征的个数，提高计算效率和模型的准确度。
通过选择适当的投影向量和特征数目，PCA可以应用于各种学科和领域，有助于数据分析和模式识别的进展。
但需要注意其在处理非线性数据和异常值方面的局限性，以及对噪声的敏感性。
主成分分析法及其应用
主成分分析法及其应用一、本文概述主成分分析法（Principal Component Analysis，简称PCA）是一种广泛应用于数据降维和特征提取的统计方法。
它通过正交变换将原始数据集中的多个变量转换为少数几个互不相关的主成分，这些主成分能够最大程度地保留原始数据集中的信息。
本文旨在全面介绍主成分分析法的基本原理、实现步骤以及在各个领域中的应用案例。
我们将详细阐述主成分分析法的数学基础和算法流程，包括协方差矩阵、特征值、特征向量等关键概念的计算方法。
然后，我们将通过实例演示如何使用主成分分析法进行数据降维和特征提取，以及如何通过可视化工具展示降维后的数据效果。
我们将探讨主成分分析法在机器学习、图像处理、生物信息学、社会科学等多个领域中的实际应用，展示其在数据分析和处理中的重要价值和潜力。
二、主成分分析法的基本原理主成分分析法（Principal Component Analysis，简称PCA）是一种在多个变量中找出主要影响因素，并通过降维技术把多个变量转化为少数几个互不相关的综合变量的统计方法。
这种方法在保持数据信息损失最小的原则下，通过正交变换将原始数据转化为一个新的坐标系统，使得在这个新的坐标系统中，任何数据的最大方差都投影在第一主成分上，第二大的方差都投影在第二主成分上，以此类推。
变量降维：在多数情况下，原始数据集中可能存在多个变量，这些变量之间可能存在相关性。
主成分分析通过构造新的变量（即主成分），这些新变量是原始变量的线性组合，并且新变量之间互不相关，从而将原始的高维数据空间降维到低维空间，实现数据的简化。
方差最大化：主成分分析的另一个重要原理是方差最大化。
这意味着，第一个主成分将捕获数据中的最大方差，第二个主成分捕获第二大方差，以此类推。
通过这种方式，主成分分析能够识别出数据中的主要变化方向和模式。
数据解释性：主成分分析生成的主成分是对原始数据的线性变换，因此，每个主成分都可以被解释为原始变量的某种组合。
主成分分析—PCA
主成分分析—PCA⼀.定义 主成分分析（principal components analysis)是⼀种⽆监督的降维算法，⼀般在应⽤其他算法前使⽤，⼴泛应⽤于数据预处理中。
其在保证损失少量信息的前提下，把多个指标转化为⼏个综合指标的多元统计⽅法。
这样可达到简化数据结构，提⾼分信息效率的⽬的。
通常，把转化⽣成的综合指标称为主成分，其中每个成分都是原始变量的线性组合，且每个主成分之间互不相关，使得主成分⽐原始变量具有某些更优越的性能。
⼀般，经主成分分析分析得到的主成分与原始变量之间的关系有：（1）每个主成分都是各原始变量的线性组合（2）主成分的数⽬⼤⼤骚鱼原始变量的数⽬（3）主成分保留了原始变量的绝⼤多数信息（4）各主成分之间互不相关⼆.过程 其过程是对坐标系旋转的过程，各主成分表达式就是新坐标系与原坐标系的转换关系，在新坐标系中，各坐标轴的⽅向就是原始数据变差最⼤的⽅向。
（参见《多元统计分析》P114-117,新坐标轴Y1和Y2，⽤X1和X2的线性组合表⽰，⼏何上是将坐标轴按逆时针⽅向旋转⼀定的⾓度⽽得出） 详细版：数据从原来的坐标系转换到新的坐标系。
转换坐标系时，以⽅差最⼤的⽅向作为新坐标轴⽅向（数据的最⼤⽅差给出了数据的最重要的信息）。
第⼀个新坐标轴选择的是原始数据中⽅差最⼤的⽅法，第⼆个新坐标轴选择的是与第⼀个新坐标轴正交且⽅差次⼤的⽅向。
重复以上过程，重复次数为原始数据的特征维数。
在重复中，我们不断地得到新的坐标系。
Generally,⽅差集中于前⾯⼏个综合变量中，且综合变量在总⽅差中所占的⽐重依次递减，⽽后⾯新的坐标轴所包含的⽅差越来越⼩，甚⾄接近0。
实际应⽤中，⼀般只要挑选前⼏个⽅差较⼤的主成分即可。
那么，我们如何得到这些包含最⼤差异性的主成分⽅向呢？事实上，通过计算数据矩阵的协⽅差矩阵，然后得到协⽅差矩阵的特征值及特征向量，选择特征值最⼤（也即包含⽅差最⼤）的N个特征所对应的特征向量组成的矩阵，我们就可以将数据矩阵转换到新的空间当中，实现数据特征的降维（N维）。
PCA(主成分分析)的原理与应用
PCA(主成分分析)的原理与应用简介主成分分析（PCA）是一种常用的多变量数据降维技术，用于发现数据中的主要模式与关系。
通过PCA，可以将高维数据转换为低维表示，从而减少计算复杂度、去除冗余信息、提取关键特征等。
本文将介绍PCA的基本原理和常见的应用场景。
1. PCA的基本原理PCA的基本思想是通过线性变换将原始数据投影到新的坐标系中，新的坐标系由一组互相正交的基向量构成。
这些基向量被称为主成分，每个主成分都是原始数据的一个线性组合。
通过保留最重要的主成分，可以实现数据降维。
1.1 数据标准化在应用PCA之前，通常需要对原始数据进行标准化处理。
标准化可以使不同特征的数据具有相同的尺度，避免某些特征对PCA结果的影响过大。
常见的标准化方法有均值方差标准化和最大最小值标准化。
1.2 协方差矩阵与特征值分解PCA的核心是通过计算协方差矩阵来确定主成分。
协方差矩阵反映了不同维度之间的相关性。
通过对协方差矩阵进行特征值分解，可以得到特征值和特征向量。
特征值表示了数据在对应特征向量方向上的方差，特征向量则表示了变换后的坐标系中各维度的方向。
1.3 选择主成分在进行特征值分解后，主成分的选择是根据特征值的大小进行的。
通常保留较大的特征值对应的特征向量作为主成分，因为这些特征值表示了数据的主要变化模式。
1.4 重构数据通过选取主成分，可以将原始数据投影到新的坐标系中。
重构数据可以通过将原始数据乘以选取的主成分对应的特征向量来实现。
2. PCA的应用场景PCA有广泛的应用场景，以下列举一些常见的应用领域。
2.1 降维与特征选择在高维数据中，存在大量冗余和噪音信息。
通过使用PCA，可以将高维数据降低到较低的维度，并保留重要的特征，从而提高数据的表示效果和计算效率。
2.2 数据压缩与图像处理PCA在数据压缩和图像处理中也有广泛的应用。
通过PCA，可以用较少的数据表示信息量较大的图像，从而实现图像的压缩和存储。
同时，还可以对图像进行去噪、增强和特征提取等操作。
主成分分析(principalcomponentsanalysis,PCA)又称：主分量分析,主成分回归分析法
主成分分析（principal components analysis，PCA）又称：主分量分析，主成分回归分析法什么是主成分分析法主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
在统计学中，主成分分析（principal components analysis,PCA）是一种简化数据集的技术。
它是一个线性变换。
这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。
主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。
这是通过保留低阶主成分，忽略高阶主成分做到的。
这样低阶成分往往能够保留住数据的最重要方面。
但是，这也不是一定的，要视具体应用而定。
[编辑]主成分分析的基本思想在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。
这些涉及的因素一般称为指标，在多元统计分析中也称为变量。
因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。
在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。
主成分分析正是适应这一要求产生的，是解决这类题的理想工具。
同样，在科普效果评估的过程中也存在着这样的问题。
科普效果是很难具体量化的。
在实际评估工作中，我们常常会选用几个有代表性的综合指标，采用打分的方法来进行评估，故综合指标的选取是个重点和难点。
如上所述，主成分分析法正是解决这一问题的理想工具。
因为评估所涉及的众多变量之间既然有一定的相关性，就必然存在着起支配作用的因素。
根据这一点，通过对原始变量相关矩阵内部结构的关系研究，找出影响科普效果某一要素的几个综合指标，使综合指标为原来变量的线性拟合。
权重-主成分分析法（PCA）
权重-主成分分析法（PCA）主成分分析（Principal Component Analysis, PCA），将多个变量通过线性变换以选出较少个数重要变量的⼀种多元统计分析⽅法。
在实际⽣活中，为了全⾯的分析问题，往往提出很多相关的变量因素，因为每个变量都在不同程度上反映了这个课题的某些信息。
指标/变量：在实证问题研究中，为了全⾯、系统地分析问题，我们必须考虑众多影响因素。
这些涉及的因素⼀般称作指标，在多元统计分析中也称为变量。
主成分：由原始指标综合形成的⼏个新指标。
依据主成分所含信息量⼤⼩成为第⼀主成分，第⼆主成分等；主成分与原始变量之间的关系： 1. 主成分保留了原始变量的绝⼤多数信息； 2. 主成分的个数⼤⼤少于原始变量的数⽬（变量太多会增加计算量和分析问题的复杂性）； 3. 各主成分之间互不相关； 4. 每个主成分都是原始变量的线性组合；简单来说，主成分分析类似于降维，就是使⽤⼀定的⽅法把原来的 m 个变量线性拟合为 n 个新的综合指标（m<=n）；⼀个讲的很好的博客：PCA核⼼思想：1. 降维（合并重复信息，但不损失重要信息）； 2. 得到新的综合指标； 即对于⼀个群体，找到使这个群体之间的个体区分度最⼤的维度；（就是旋转坐标轴了~）对于新的综合指标：1. 是原指标的线性组合； 2. 新指标之间的信息不重合→互不相关，即协⽅差=0； 3. 按“重要性”排序→ “重要性/信息量”通过⽅差衡量；1. 线性组合 Z = aY(我⽤加粗表⽰这个变量是向量)，那么求Z就是求a;根据线性代数知识，得知要使⽅差a TΣa（⽅差公式）最⼤，就要求协⽅差矩阵Σ的特征值特征向量；特征向量e即为所求a，对应特征值λ即为⽅差值；2. 协⽅差矩阵为对称矩阵，对称矩阵的特征向量之间互相正交，故协⽅差=0；3. ⽅差 s2=1/(n-1) * Σ(xi-x平)2，⾄于为什么分母是n-1⽽不是n，看这个除了这些基本的，还要避免量纲的影响，也就是解决数据单位不统⼀的问题，所以就要归⼀化了；归⼀化就是把坐标原点平移到x,y平均值的那个中⼼点（中⼼化，⽅便计算⽅差和协⽅差），再对两个坐标轴按⽐例缩放（统⼀量纲了）；对所有样本点作变化 x i=(x i-x平)/标准差，标准差就是⽅差开平⽅根。
主成分分析报告PCA(含有详细推导过程以及案例分析报告matlab版)
主成分分析法(PCA)在实际问题中，我们经常会遇到研究多个变量的问题，而且在多数情况下，多个变量之间常常存在一定的相关性。
由于变量个数较多再加上变量之间的相关性，势必增加了分析问题的复杂性。
如何从多个变量中综合为少数几个代表性变量，既能够代表原始变量的绝大多数信息，又互不相关，并且在新的综合变量基础上，可以进一步的统计分析，这时就需要进行主成分分析。
I. 主成分分析法(PCA)模型（一）主成分分析的基本思想主成分分析是采取一种数学降维的方法，找出几个综合变量来代替原来众多的变量，使这些综合变量能尽可能地代表原来变量的信息量，而且彼此之间互不相关。
这种将把多个变量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。
主成分分析所要做的就是设法将原来众多具有一定相关性的变量，重新组合为一组新的相互无关的综合变量来代替原来变量。
通常，数学上的处理方法就是将原来的变量做线性组合，作为新的综合变量，但是这种组合如果不加以限制，则可以有很多，应该如何选择呢？如果将选取的第一个线性组合即第一个综合变量记为1F ，自然希望它尽可能多地反映原来变量的信息，这里“信息”用方差来测量，即希望)(1F Var 越大，表示1F 包含的信息越多。
因此在所有的线性组合中所选取的1F 应该是方差最大的，故称1F 为第一主成分。
如果第一主成分不足以代表原来p 个变量的信息，再考虑选取2F 即第二个线性组合，为了有效地反映原来信息，1F 已有的信息就不需要再出现在2F 中，用数学语言表达就是要求0),(21=F F Cov ，称2F 为第二主成分，依此类推可以构造出第三、四……第p 个主成分。
（二）主成分分析的数学模型对于一个样本资料，观测p 个变量p x x x ,,21，n 个样品的数据资料阵为：⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=np n n p p x x x x x x x x x X212222111211()p x x x ,,21=其中：p j x x x x nj j j j ,2,1,21=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛= 主成分分析就是将p 个观测变量综合成为p 个新的变量（综合变量），即⎪⎪⎩⎪⎪⎨⎧+++=+++=+++=ppp p p p p p p p x a x a x a F x a x a x a F x a x a x a F 22112222121212121111 简写为：p jp j j j x x x F ααα+++= 2211p j ,,2,1 =要求模型满足以下条件：①j i F F ,互不相关（j i ≠，p j i ,,2,1, =）②1F 的方差大于2F 的方差大于3F 的方差，依次类推③.,2,1122221p k a a a kp k k ==+++于是，称1F 为第一主成分，2F 为第二主成分，依此类推，有第p 个主成分。
PCA（主成分分析）的简单理解
PCA（主成分分析）的简单理解PCA(Principal Components Analysis)，它是⼀种“投影(projection)技巧”，就是把⾼维空间上的数据映射到低维空间。
⽐如三维空间的⼀个球，往坐标轴⽅向投影，变成了⼀个圆。
球是3维的，圆是2维的。
在球变成圆的这个投影过程中，丢失了原来物体(球)的⼀部分“性质”---圆不是球了，只有⾯积没有体积了；也保留了原来物体的⼀部分性质---圆和球还是很像的……⽽对于⼀个训练样本y⽽⾔，假设它有M个特征(M维)，y={y1, y2,...y M}，通过PCA，进⾏投影，降维成D维(M>D)。
为什么要降维？最主要的两个原因是：①可视化，我们只能看到⼀维、⼆维、三维空间上的物体，当某物体需要4维或以上特征表⽰时，只能想象了……②特征选择(feature selection)，⽐如说采集到的某个样本由 20维特征组成，其中有⼀些特征属于“噪⾳(noise)"，⽽由于某些原因，我们不想要这些“噪⾳”。
⼜⽐如说，存在特征冗余，描述⼀个球，可以⽤如下特征：(体积、⾯积、直径、半径)，其实我只需要知道半径、直径、⾯积、体积这些都可以通过公式求出来。
因此，体积、⾯积、直径这些特征，相对于半径来说，是冗余的特征。
如何降维？PCA降维的⽬标就是：找到⼀种投影⽅式，将原来的M维样本y 变成 D维样本x，并且使得投影之后的D维样本x，能够尽可能多地保存原来的样本y中的信息。
由于将y投影成x，可以有不同的投影⽅向，那哪个投影⽅向⽐较好呢？即，能够尽可能多地保存原来的样本y中的信息呢？maintains the characteristics of the original object as much as possible可以使⽤⽅差来衡量投影⽅向的好坏。
如下图：上图中有“两团点”，在聚类算法中称为有两个聚簇。
将这两个簇中的点往B⽅向投影，B箭头指向的那条直线上的点，表⽰投影之后得到的新样本点，已经看不出有两个簇了。
主成分分析法
主成分分析法主成分分析（Principal Component Analysis，简称PCA）是一种常用的降维方法，它通过线性变换将高维数据转换为低维数据，从而提取出数据的最主要特征。
本文将详细介绍主成分分析的原理、应用以及算法流程。
一、原理主成分分析是一种基于统计学的数据降维方法。
其基本思想是将原始数据通过线性变换，得到一组新的不相关变量，即主成分，用来代替原始变量。
这些主成分在不同维度上的方差依次递减，即第一主成分包含最多的原始变量信息，第二主成分包含不重叠的信息量，以此类推。
主成分分析的目标是最大化原始数据的方差，从而保留尽可能多的信息。
首先，通过计算协方差矩阵来评估各个变量之间的相关性，然后通过特征值分解找出协方差矩阵的特征向量，即主成分。
最后，根据特征值的大小来选择保留的主成分个数。
二、应用主成分分析广泛应用于数据预处理、特征提取和数据可视化等领域。
以下是主成分分析的几个典型应用：1. 数据降维：主成分分析可以将高维数据转换为低维数据，从而减少计算量和存储空间，并提高模型的计算效率。
2. 特征提取：主成分分析可以将原始数据中高度相关的特征转换为互不相关的主成分，保留了原始数据的主要信息。
这样可以提高模型的训练速度和泛化能力。
3. 图像压缩：主成分分析可以将图像的冗余信息去除，从而实现图像的压缩和存储。
通过保留图像中的主要特征，可以在减少存储空间的同时保持图像的质量。
4. 数据可视化：主成分分析可以将高维数据映射到二维空间，从而实现数据的可视化。
通过显示主成分的分布，可以更好地理解数据之间的关系，并发现数据中的模式和异常。
三、算法流程主成分分析的算法流程如下：1. 数据标准化：将原始数据进行标准化处理，使得每个变量具有相同的尺度，从而避免变量之间的差异对主成分的影响。
2. 计算协方差矩阵：根据标准化后的数据计算协方差矩阵，该矩阵表示各个变量之间的相关性。
3. 特征值分解：对协方差矩阵进行特征值分解，得到特征值和特征向量。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
❖ 我们知道如果 z W T x ，则 cov(z) W T W ，我们希 望它等于一个对角矩阵，于是，可以令 W C
❖ 在实践中，即使所有的特征值都大于0，我们知道， 某些特征值对方差的影响很小，并且可以丢失，因 此，我们考虑例如贡献90%以上方差的前k个主要 成分，当 i 降序排列时，由前k个主要成分贡献的 方差比例为
维度规约
主成分分析（PCA）
❖ 在模式识别中，一个常见的问题就是特征选 择或特征提取，在理论上我们要选择与原始 数据空间具有相同的维数。然而，我们希望 设计一种变换使得数据集由维数较少的“有 效”特征来表示。
主成分分析
❖ 主成分分析(或称主分量分析，principal component analysis) 由皮尔逊(Pearson,1901)首先引入，后来被霍特林 (Hotelling,1933)发展了。
e
(
yi
,
f
(xi
))
0
如果 yi f (xi ) yi f (xi ) 否则
❖ 这意味着我们容忍高达 的误差，并且超出的误
差具有线性而不是平方影响。这种误差函数更能抵 制噪声，因而更加鲁棒
❖ 类似的，我们引入松弛变yi量来处理超过 的偏差
min
1 2
m
w 2 C
(
i
i
)
i1
w1T w2 w2T w1 w2T 1w1 1w2T w1 0
❖ 可知 0 ，并且可得 w2 ，w2
❖ 这表明w2应该是 的特征向量，具有第二大特征 值 2 ,
❖ 类似的，我们可以证明其它维被具有递减的特征值
的特征向量给出
❖ 我们来看另一种推导： z W T x,W是矩阵
2 w1 2w1 0 w1 w1
如果 w1 是 的特征向量， 是对应的特征值，则上
式是成立的
❖ 同时我们还得到
w1T w1 w1T w1
❖ 为了使方差最大，选择具有最大特征值的特征向量 ，
因此，第一个主成分 w1 是输入样本的协方差阵的
具有最大特征值对应的特征向量
❖ 第二个主成分 w2 也应该最大化方差，具有单位长度， 并且与 w1 正交
❖ 主成分分析的目的就是为了减少变量的个数，因而一般是不 会使用所有 主成分的，忽略一些带有较小方差的主成分将 不会给总方差带来大的影响。
❖ 前 k 个主成分的贡献率之和
k
i
i1 n
j
j 1
称为主成分 1, 2 k 的累计贡献率，它表明 z1, z2, zk
解释 x1, x2 xn 的能力。
❖ 对于第二个主成分，我们有
max w2
w2T
w2
(w2T
w2
1)
(w2T
w1
0)
(2)
❖ 关于w2求导并令其为0，我们有
2 w2 2w2 w1 0
❖ 上式两边乘以 w1T
2w1T w2 2 ，w1T w2 w1T w1 0
❖ 其中 w1T w2 0，且w1T w2是标量 w1T w2 w2T w1
1 2 k 1 2 n
❖ 实践中，如果维是高度相关的，则只有很少 一部分特征向量具有较大的特征值，k远比n 小，并且可能得到很大的维度归约
❖ 总方差中属于主成分 zi 的比例为
i k j j 1
称为主成分 zi 的贡献率。
❖ 第一主成分 z1的贡献率最大，表明它解释原始变量 x1, x2, xn 的能力最强，而 z1, z2 zk 的解释能力依次递减。
❖ 如果我们建立一个矩阵C，其第i列是 的规范化
的特征向量，则 CTC I ，并且 CCT (c1, c2, cn )CT ( c1, c2, cn )CT
1 c1c1T ncncnT
CDCT
❖ 其中， D是对象矩阵，其对角线元素是特征值
❖ 1，2 ，n，这称为 的谱分解
❖ 其中C是一个训练误差和惩罚项 w 2 之间的权衡
❖ 受限于
yi
(wT
xi
b)
i
(wT
xi
b)
yi
i
❖ 和我们做分类的方法一样，建立拉格朗日函 数，然后取它的对偶问题（这里也可以使用 核函数），与分类一样，我们也会得到一些 支持向量，而回归线将用它们表示.
❖ 通常取较小的 k ，使得累计贡献达到一个较高的百分比(如 80％～90％)。此时，z1, z2, zk 可用来代替 x1, x2 xn ，从而 达到降维的目的，而信息的损失却不多。
主成分分析的应用
❖ 在主成分分析中，我们首先应保证所提取的前几个 主成分的累计贡献率达到一个较高的水平，其次对 这些被提取的主成分必须都能够给出符合实际背景 和意义的解释。
支持向量机（补充讲义）
❖ 上节课，我们讨论了SVM的分类，这里简略地讨论 如何将SVM推广到回归上
❖ 我们还是使用线性模型：
❖
f (x) wT x b
❖ 对于回归，我们使用差的平方作为误差:
e( yi , f (xi )) ( yi f (xi ))2
❖ 对于支持向量机的回归，我们使用 - 敏感损失函数
❖ 主成分的解释其含义一般多少带有点模糊性，不像 原始变量的含义那么清楚、确切，这是变量降维过 程中不得不付出的代价。
❖ 如果原始变量之间具有较高的相关性，则前面少数 几个主成分的累计贡献率通常就能达到一个较高水 平，也就是说，此时的累计贡献率通常较易得到满 足。
❖ 主成分分析的困难之处主要在于要能够给出主成分 的较好解释，所提取的主成分中如有一个主成分解 释不了，整个主成分分析也就失败了。
❖ 在PCA中，我们感兴趣的是找到一个从原d维输入空间到新 的k维空间的具有最小信息损失的映射
❖ X在方向w上的投影为
z wT x
主成分分析（PCA）
❖ 一、主成分的定义及导出 ❖ 二、主成分的性质 ❖ 三、从相关阵出发求主成分
一、 xn )T 为一个 n 维随机向量，Cov(x)
❖ 主成分是这样的 w1，样本投影到 w1 上之后被广泛 散布，使得样本之间的差别变得最明显，即最大化 方差。
❖ 设 z1 w1T x 希望在约束条件 w1 1 下寻求向量 w1，使 var(z1) w1T w1 最大化
写成拉格朗日问题
max w1
w1T
w1
(w1T
w1
1)
(1)
现在关于 w1 求导并令其等于0，得到