主成分分析法

1 引言

对于整个数据，我们把对社区的满意度作为因变量，把年龄、性别、婚姻、文化、是否有未成年的孩子、是否有老人、家庭月均收入、经常居住的房屋类型、物业费这九个因素作为自变量，我们希望可以得到一个因变量和自变量的映射关系，使得我们可以通过确定自变量的值得出对应因的变量的值。但是由于自变量的个数过多，映射会变得非常复杂，而且有很多的重复信息，我们希望可以通过某种方法找出最具代表性的少数自变量，可以通过较少的自变量就能确定因变量的值。采用主成分分析法可以帮助我们解决这一问题。

2 原理

主成分分析法即对原变量进行适当的变换，得到一组新的互相无关的几个综合变量，使数据都分布在新的变量组成的坐标系上，可以通过坐标系上的坐标确定原变量中的任意一个。简而言之，就是将原变量的维数降低，利用低维数坐标表示高维数变量。

设代表原变量的矩阵为X ，为m n ?阶，每列代表每次实验产生的同一类数据，每行代表每次试验产生的各个种类的数据。(考虑一般数据试验实验次数远远大于数据种类，我们认为m 远远大于n )例如对于某个实验，总共进行3次，每次试验将进行长度和重量两项测试，得到的数据矩阵为

22431?? ? ? ??

其中第2行第三列数值为4，就说明第二次实验中的测得的重量为4。对X 利用奇异值分解，可以得到

X WSV =

其中，m m ?阶矩阵W 为T XX 的特征向量矩阵，而且是正交矩阵（T XX 为实对称矩阵，其特征向量矩阵一定为正交阵），n n ?阶矩阵V 为T X X 的特征向量矩阵，也是正交矩阵。

S 是半正定m n ?阶对角矩阵，对角线上的元素是X 的奇异值，S 被称为奇异矩阵，设S 中

对角元素中非0的个数为k ，显然k n ≤ 令

()T

Y XV W S V V W S ===

由于S 是对角阵，则Y 只有前k 列为线性无关非o 向量，后面的列全部为0，则可以利用Y 的前k 列元素线性表示X 中所有列的元素，从而完成了对X 的降维。

3 具体步骤

设有m 类数据12,m x x x ，进行了n 次试验得到原始数据矩阵X '

(l)对X '进行标准化处理（让矩阵每一列内积为1,不同列内积为0），得到标准化的矩阵X (2)建立X 的相关系数矩阵R 得到特征值,1,2,i i n λ= n 及各个主成分的方差贡献率和方差累计贡献率，（方差贡献率表示同一公共因子对各变量所提供的方差贡献的总和，用来衡量每一个公共因子相对重要性的一个尺度。累积贡献率就是各个主成分的贡献率相加所得到的。）并根据累计贡献率确定主成份保留的个数。. (3)写出m 个基本方程组

求解该方程组，令

()j kj b =

再令

k k

x x x

s -=

从而得到用12,m x

x x 所表示的主成分j kj

k kj

k j k

z b

x a ==+∑∑

(4)将12,m x x x 的观测值带入主成分的表达式中计算各个主成份的值。

(5)根据载荷矩阵（因子载荷的绝对值和他的符号可反映主成份z ，与原指标式之间相关关系密切的程度和性质。）分析主成分的意义，数学模型建立。

4 基于SPSS 求解的基本步骤

1. 我们首先要修改手中的数据，将表格中表示变量的A ，B …修改成1，2…，以方便程序

的计算。

2. 将excel 文件直接拖入spss 界面中，完成数据载入

3. 基于数据进行分析，在菜单中一次选择analysis ——data reduction ——factor 进入主对话

框，设置主成分分析的参数变量。

4. 相关参数的选择。在主对话框中选中所有变量。

5. 把指标数据选入V ariables 框，点击Descriptives:在 Correlation Matrix 框组中选中

Coefficients ，点击Exrtaction ，在Mathod 选择框中选中Principal CompenentS 表示选择

主成分分析法，Analyz选择框中选择Correlation matrix表示从相关矩阵出发，在display 选择框中选择Scree plot。以此类推在各个选择相中选择主成分分析的相关参数。

5 主要成分的确定

主成分的选取确定主成分的个数可以综合考虑三方面因素。

1)是取所有特征值大于某一确定值的成分为主成分。此项目确定该值为1

2)是根据累计贡献率达到的百分比值确定。例如选取累计贡献率达到80%以上，其含义

是此前L个主成分所包含的信息占原始变量包含的总信息的80%以上，其余M一L个新变量对方差影响很小，我们认为可以接受，取前L个成分为成分。

3)是根据运行SPSS软件所生成的碎石图(Scree Plot)判断，Scree Plt是以按照特征值排列

的大小序号为横轴，以特征值为纵轴的碎石图，典型的碎石图有明显的拐点，在拐点之前是与大因子连接的陡峭的折线，之后是与小因子相连的缓坡折线。一般取拐点前所有的因子及拐点后的第一个因子作为主成分。

6 程序实现结果

图1 相关性矩阵（为了观察因变量与自变量的相关性，输出这个图时，要把社区满意度也

拖入Variables 框，当做自变量来观察）

图2 特征值与方差贡献度

图3 碎石图

图4 载荷矩阵

7 结论

首先我们观察相关性矩阵，发现随社区满意度与各个因素的相关性都很差，我们无法通过相关性矩阵确定可以怕出那个因素。但我们发现，物业费与年龄的相关性非常高，说明两个因素可以去掉其中一个，但考虑只去掉一个元素对于下面的计算影响并不大，所以再下面的计算中我们仍保留9个因素来进行计算。

根据载荷矩阵与主成分特征值，我们可以求出三个主成分的表达式。

F1=0.507606510349042X1-0.195407345X2-0.142917241X3+0.407426605X4+0.092759741X5+ 0.071324184X6+0.417861735X7+0.516239065X8-0.251061264X9

F2=-0.273815221X1+0.03114258X2-0.555430824X3+0.288615705X4+0.386392136X5+0.51391 13X6+0.182753571X7-0.282541883X8-0.073335178X9

F3=0.012335576X1+0.778881473X2+0.085769639X3+0.028013423X4-0.058108218X5-0.0370 94396X6+0.030367511X7-0.033856185X8-0.614650491X9

其中，Xi的前面的系数是利用对应的载荷矩阵的值除以该主要成分的特征值的开方值。

我们可以看出，这三个主要成分包括了原数据59.3%的信息，效果并不是很到，但我们还是将利用这三个主要成分对数据进行分析。但分析的结果可能会很不理想。

主成分分析法

一、概述在处理信息时，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠，例如，高校科研状况评价中的立项课题数与项目经费、经费支出等之间会存在较高的相关性；学生综合评价研究中的专业基础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。而变量之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。为了解决这些问题，最简单和最直接的解决方案是削减变量的个数，但这必然又会导致信息丢失和信息不完整等问题的产生。为此，人们希望探索一种更为有效的解决方法，它既能大大减少参与数据建模的变量个数，同时也不会造成信息的大量丢失。主成分分析正式这样一种能够有效降低变量维数，并已得到广泛应用的分析方法。主成分分析以最少的信息丢失为前提，将众多的原有变量综合成较少几个综合指标，通常综合指标（主成分）有以下几个特点：主成分个数远远少于原有变量的个数原有变量综合成少数几个因子之后，因子将可以替代原有变量参与数据建模，这将大大减少分析过程中的计算工作量。主成分能够反映原有变量的绝大部分信息因子并不是原有变量的简单取舍，而是原有变量重组后的结果，因此不会造成原有变量信息的大量丢失，并能够代表原有变量的绝大部分信息。主成分之间应该互不相关通过主成分分析得出的新的综合指标（主成分）之间互不相关，因子参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问题。

主成分具有命名解释性总之，主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成少数几个因子，如何使因子具有一定的命名解释性的多元统计分析方法。二、基本原理主成分分析是数学上对数据降维的一种方法。其基本思想是设法将原来众多的具有一定相关性的指标X1，X2，…，XP（比如p个指标），重新组合成一组较少个数的互不相关的综合指标Fm来代替原来指标。那么综合指标应该如何去提取，使其既能最大程度的反映原变量Xp所代表的信息，又能保证新指标之间保持相互无关（信息不重叠）。设F1表示原变量的第一个线性组合所形成的主成分指标，即 ,由数学知识可知，每一个主成分所提取的信息量可用其方差来度量，其方差 Var(F1)越大，表示F1包含的信息越多。常常希望第一主成分F1所含的信息量最大，因此在所有的线性组合中选取的F1应该是X1，X2，…，XP的所有线性组合中方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来p个指标的信息，再考虑选取第二个主成分指标F2，为有效地反映原信息，F1已有的信息就不需要再出现在F2中，即F2与F1要保持独立、不相关，用数学语言表达就是其协方差Cov(F1, F2)=0，所以F2是与F1不相关的X1，X2，…，XP的所有线性组合中方差最大的，故称F2为第二主成分，依此类推构造出的F1、F2、……、Fm为原变量指标X1、X2……XP第一、第二、……、第m个主成分。根据以上分析得知：

主成分分析法matlab实现,实例演示

利用Matlab 编程实现主成分分析 1.概述 Matlab 语言是当今国际上科学界 (尤其是自动控制领域) 最具影响力、也是最有活力的软件。它起源于矩阵运算，并已经发展成一种高度集成的计算机语言。它提供了强大的科学运算、灵活的程序设计流程、高质量的图形可视化与界面设计、与其他程序和语言的便捷接口的功能。Matlab 语言在各国高校与研究单位起着重大的作用。主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。 1.1主成分分析计算步骤 ① 计算相关系数矩阵 ?? ? ???? ???? ?? ?=pp p p p p r r r r r r r r r R 2 122221 11211 （1）在（3.5.3）式中，r ij （i ，j=1，2，…，p ）为原变量的xi 与xj 之间的相关系数，其计算公式为 ∑∑∑===----= n k n k j kj i ki n k j kj i ki ij x x x x x x x x r 1 1 2 2 1 )() () )(( （2）因为R 是实对称矩阵（即r ij =r ji ），所以只需计算上三角元素或下三角元素即可。

② 计算特征值与特征向量首先解特征方程0=-R I λ，通常用雅可比法（Jacobi ）求出特征值 ),,2,1(p i i =λ，并使其按大小顺序排列，即0,21≥≥≥≥p λλλ ；然后分别求出对应于特征值i λ的特征向量),,2,1(p i e i =。这里要求i e =1，即112 =∑=p j ij e ，其中ij e 表示向量i e 的第j 个分量。 ③ 计算主成分贡献率及累计贡献率主成分i z 的贡献率为 ),,2,1(1 p i p k k i =∑=λ λ 累计贡献率为 ) ,,2,1(11 p i p k k i k k =∑∑==λ λ 一般取累计贡献率达85—95%的特征值m λλλ,,,21 所对应的第一、第二，…，第m （m ≤p ）个主成分。 ④ 计算主成分载荷其计算公式为 ) ,,2,1,(),(p j i e x z p l ij i j i ij ===λ （3）

主成分分析法总结

主成分分析法总结在实际问题研究中，多变量问题是经常会遇到的。变量太多，无疑会增加分析问题的难度与复杂性，而且在许多实际问题中，多个变量之间是具有一定的相关关系的。因此，人们会很自然地想到，能否在相关分析的基础上，用较少的新变量代替原来较多的旧变量，而且使这些较少的新变量尽可能多地保留原来变量所反映的信息？一、概述在处理信息时，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠，例如，高校科研状况评价中的立项课题数与项目经费、经费支出等之间会存在较高的相关性；学生综合评价研究中的专业基础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。而变量之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。为了解决这些问题，最简单和最直接的解决方案是削减变量的个数，但这必然又会导致信息丢失和信息不完整等问题的产生。为此，人们希望探索一种更为有效的解决方法，它既能大大减少参与数据建模的变量个数，同时也不会造成信息的大量丢失。主成分分析正式这样一种能够有效降低变量维数，并已得到广泛应用的分析方法。主成分分析以最少的信息丢失为前提，将众多的原有变量综合成较少几个综合指标，通常综合指标（主成分）有以下几个特点： ↓主成分个数远远少于原有变量的个数原有变量综合成少数几个因子之后，因子将可以替代原有变量参与数据建模，这将大大减少分析过程中的计算工作量。 ↓主成分能够反映原有变量的绝大部分信息因子并不是原有变量的简单取舍，而是原有变量重组后的结果，因此不会造成原有变量信息的大量丢失，并能够代表原有变量的绝大部分信息。 ↓主成分之间应该互不相关通过主成分分析得出的新的综合指标（主成分）之间互不相关，因子参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问题。 ↓主成分具有命名解释性总之，主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成少数几个因子，如何使因子具有一定的命名解释性的多元统计分析方法。主成分分析的具体步骤如下：（1）计算协方差矩阵计算样品数据的协方差矩阵：Σ=(s ij )p ?p ，其中 1 1()() 1n ij ki i kj j k s x x x x n ==---∑i ，j=1，2，…，p （2）求出Σ的特征值 i λ及相应的正交化单位特征向量i a Σ的前m 个较大的特征值λ1≥λ2≥…λm>0,就是前m 个主成分对应的方差，i λ对应的单位特征向量 i a 就是主成分Fi 的关于原变量的系数，则原变量的第i 个主成分Fi 为：

主成分分析法及其在SPSS中的操作

一、主成分分析基本原理概念：主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法。从数学角度来看，这是一种降维处理技术。思路：一个研究对象，往往是多要素的复杂系统。变量太多无疑会增加分析问题的难度和复杂性，利用原变量之间的相关关系，用较少的新变量代替原来较多的变量，并使这些少数变量尽可能多的保留原来较多的变量所反应的信息，这样问题就简单化了。原理：假定有n 个样本，每个样本共有p 个变量，构成一个n ×p 阶的数据矩阵，记原变量指标为x 1，x 2，…，x p ，设它们降维处理后的综合指标，即新变量为 z 1，z 2，z 3，… ，z m (m ≤p)，则系数l ij 的确定原则： ①z i 与z j （i ≠j ；i ，j=1，2，…，m ）相互无关； ②z 1是x 1，x 2，…，x P 的一切线性组合中方差最大者，z 2是与z 1不相关的x 1，x 2，…，x P 的所有线性组合中方差最大者； z m 是与z 1，z 2，……，z m －1都不相关的x 1，x 2，…x P ，的所有线性组合中方差最大者。新变量指标z 1，z 2，…，z m 分别称为原变量指标x 1，x 2，…，x P 的第1，第2，…，第m 主成分。从以上的分析可以看出，主成分分析的实质就是确定原来变量x j （j=1，2 ，…， p ）在诸主成分z i （i=1，2，…，m ）上的荷载 l ij （ i=1，2，…，m ； j=1，2 ，…，p ）。 ?????? ? ???????=np n n p p x x x x x x x x x X 2 1 2222111211 ?? ??? ? ?+++=+++=+++=p mp m m m p p p p x l x l x l z x l x l x l z x l x l x l z 22112222121212121111............

主成分分析法精华讲义及实例

主成分分析类型：一种处理高维数据的方法。降维思想：在实际问题的研究中，往往会涉及众多有关的变量。但是，变量太多不但会增加计算的复杂性，而且也会给合理地分析问题和解释问题带来困难。一般说来，虽然每个变量都提供了一定的信息，但其重要性有所不同，而在很多情况下，变量间有一定的相关性，从而使得这些变量所提供的信息在一定程度上有所重叠。因而人们希望对这些变量加以“改造”，用为数极少的互补相关的新变量来反映原变量所提供的绝大部分信息，通过对新变量的分析达到解决问题的目的。一、总体主成分 1.1 定义设 X 1，X 2，…，X p 为某实际问题所涉及的 p 个随机变量。记 X=(X 1，X 2，…,Xp)T ，其协方差矩阵为 ()[(())(())], T ij p p E X E X X E X σ?∑==-- 它是一个 p 阶非负定矩阵。设 1111112212221122221122T p p T p p T p p p p pp p Y l X l X l X l X Y l X l X l X l X Y l X l X l X l X ?==+++? ==+++?? ??==+++? （1）则有 ()(),1,2,...,, (,)(,),1,2,...,. T T i i i i T T T i j i j i j V ar Y V ar l X l l i p C ov Y Y C ov l X l X l l j p ==∑===∑= （2）第 i 个主成分：一般地，在约束条件 1T i i l l =

及 (,)0,1,2,..., 1.T i k i k C ov Y Y l l k i =∑==- 下，求 l i 使 Var(Y i )达到最大，由此 l i 所确定的 T i i Y l X = 称为 X 1，X 2，…，X p 的第 i 个主成分。 1.2 总体主成分的计算设 ∑是12(,,...,) T p X X X X =的协方差矩阵，∑的特征值及相应的正交单位化特征向量分别为 120p λλλ≥≥≥≥ 及 12,,...,, p e e e 则 X 的第 i 个主成分为 1122,1,2,...,,T i i i i ip p Y e X e X e X e X i p ==+++= （3）此时 (),1,2,...,,(,)0,. T i i i i T i k i k V ar Y e e i p C ov Y Y e e i k λ?=∑==??=∑=≠?? 1.3 总体主成分的性质 1.3.1 主成分的协方差矩阵及总方差记 12(,,...,) T p Y Y Y Y = 为主成分向量，则 Y=P T X ，其中12(,,...,)p P e e e =，且 12()()(,,...,),T T p Cov Y Cov P X P P Diag λλλ==∑=Λ= 由此得主成分的总方差为 1 1 1 ()()()()(),p p p T T i i i i i i V ar Y tr P P tr P P tr V ar X λ ==== =∑=∑=∑= ∑∑∑ 即主成分分析是把 p 个原始变量 X 1，X 2，…，X p 的总方差

主成分分析分析法

第四节主成分分析方法地理环境是多要素的复杂系统，在我们进行地理系统分析时，多变量问题是经常会遇到的。变量太多，无疑会增加分析问题的难度与复杂性，而且在许多实际问题中，多个变量之间是具有一定的相关关系的。因此，我们就会很自然地想到，能否在各个变量之间相关关系研究的基础上，用较少的新变量代替原来较多的变量，而且使这些较少的新变量尽可能多地保留原来较多的变量所反映的信息？事实上，这种想法是可以实现的，本节拟介绍的主成分分析方法就是综合处理这种问题的一种强有力的方法。第一节主成分分析方法的原理主成分分析是把原来多个变量化为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。假定有 n 个地理样本，每个样本共有 p 个变量描述，这样就构成了一个 n ×p 阶的地理数据矩阵：如何从这么多变量的数据中抓住地理事物的内在规律性呢？要解决这一问题，自然要在 p 维空间中加以考察，这是比较麻烦的。为了克服这一困难，就需要进行降维处理，即用较少的几个综合指标来代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多指标所反映的信息，同时它们之间又是彼此独立的。那么，这些综合指标（即新变量）应如何选取呢？显然，其最简单的形式就是取原来变量指标的线性组合，适当调整组合系数，使新的变量指标之间相互独立且代表性最好。如果记原来的变量指标为 x 1，为 x 1，x 2，?， zm （m ≤p ）。则 x 2 ，?， x p ，它们的综合指标——新变量指标

在（2）式中，系数l ij 由下列原则来决定：（1）z1 2与z j（i ≠j ；i ，j=1 ，2，?，m）相互无关；（2）z 1是x1，x2，?，x p的一切线性组合中方差最大者；z2是与z1不相关的x1，x2，?，x p的所有线性组合中方差最大者；??；z m是与z1，z2，??z m-1 都不相关的x1，x2，?，x p的所有线性组合中方差最大者。这样决定的新变量指标z1，z2，?，zm分别称为原变量指标x1，x2，?，x p 的第一，第二，?，第m主成分。其中，z1在总方差中占的比例最大，z2，z3，?，z m的方差依次递减。在实际问题的分析中，常挑选前几个最大的主成分，这样既减少了变量的数目，又抓住了主要矛盾，简化了变量之间的关系。从以上分析可以看出，找主成分就是确定原来变量x j（j=1 ，2，?，p）在诸主成分z i （i=1 ，2，?，m）上的载荷l ij （i=1 ，2，?，m；j=1 ，2，?，p），从数学上容易知道，它们分别是x1，x2，?，x p的相关矩阵的m个较大的特征值所对应的特征向量。第二节主成分分析的解法主成分分析的计算步骤通过上述主成分分析的基本原理的介绍，我们可以把主成分分析计算步骤归纳如下：在公式（3）中，r ij （i ，j=1 ，2，?，p）为原来变量x i与x j的相关系数，其计算公式为因为R是实对称矩阵（即r ij =r ji ），所以只需计算其上三角元素或下三角元素即可。 1 计算相关系数矩阵 2 计算特征值与特征向量

主成分分析法实例

1、主成分法：用主成分法寻找公共因子的方法如下：假定从相关阵出发求解主成分，设有p 个变量，则可找出p 个主成分。将所得的p 个主成分按由大到小的顺序排列，记为1Y ，2Y ，…，P Y ，则主成分与原始变量之间存在如下关系： 11111221221122221122....................p p p p p p p pp p Y X X X Y X X X Y X X X γγγγγγγγγ=+++?? =+++??? ?=+++? 式中，ij γ为随机向量X 的相关矩阵的特征值所对应的特征向量的分量，因为特征向量之间彼此正交，从X 到Y 得转换关系是可逆的，很容易得出由Y 到 X 得转换关系为： 11112121212122221122....................p p p p p p p pp p X Y Y Y X Y Y Y X Y Y Y γγγγγγγγγ=+++?? =+++??? ?=+++? 对上面每一等式只保留钱m 个主成分而把后面的部分用i ε代替，则上式变为： 111121211 2121222221122................. ...m m m m p p p mp m p X Y Y Y X Y Y Y X Y Y Y γγγεγγγεγγγε=++++??=++++????=++++? 上式在形式上已经与因子模型相一致，且i Y （i=1,2，…，m ）之间相互独立，且i Y 与i ε之间相互独立，为了把i Y 转化成合适的公因子，现在要做的工作只是把主成分i Y 变为方差为1的变量。为完成此变换，必须将i Y 除以其标准差，由主成分分析的知识知其标准差即为特征根的平方根 i λ/i i i F Y λ=， 1122m m λγλγλγ，则式子变为：

主成分分析案例

姓名：XXX 学号：XXXXXXX 专业：XXXX 用SPSS19软件对下列数据进行主成分分析： ……

一、相关性通过对数据进行双变量相关分析，得到相关系数矩阵，见表1。表1 淡化浓海水自然蒸发影响因素的相关性由表1可知：辐照、风速、湿度、水温、气温、浓度六个因素都与蒸发速率在0.01水平上显著相关。分析：各变量之间存在着明显的相关关系，若直接将其纳入分析可能会得到因多元共线性影响的错误结论，因此需要通过主成份分析将数据所携带的信息进行浓缩处理。二、KMO和球形Bartlett检验 KMO和球形Bartlett检验是对主成分分析的适用性进行检验。 KMO检验可以检查各变量之间的偏相关性，取值范围是0～1。KMO的结果越接近1，表示变量之间的偏相关性越好，那么进行主成分分析的效果就会越好。实际分析时，KMO统计量大于0.7时，效果就比较理想；若当KMO统计量小于0.5时，就不适于选用主成分分析法。 Bartlett球形检验是用来判断相关矩阵是否为单位矩阵，在主成分分析中，若拒绝各变量独立的原假设，则说明可以做主成分分析，若不拒绝原假设，则说明这些变量可能独立提供一些信息，不适合做主成分分析。

由表2可知： 1、KMO=0.631＜0.7，表明变量之间没有特别完美的信息的重叠度，主成分分析得到的模型又可能不是非常完善，但仍然值得实验。 2、显著性小于0.05，则应拒绝假设，即变量间具有较强的相关性。三、公因子方差公因子方差表示变量共同度。表示各变量中所携带的原始信息能被提取出的主成分所体现的程度。由表3可知：几乎所有变量共同度都达到了75%，可认为这几个提取出的主成分对各个变量的阐释能力比较强。四、解释的总方差解释的总方差给出了各因素的方差贡献率和累计贡献率。

主成分分析法PCA的原理

主成分分析法原理简介 1.什么是主成分分析法主成分分析也称主分量分析，是揭示大样本、多变量数据或样本之间内在关系的一种方法，旨在利用降维的思想，把多指标转化为少数几个综合指标，降低观测空间的维数，以获取最主要的信息。在统计学中，主成分分析（principal components analysis, PCA）是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而定。 2.主成分分析的基本思想在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。这些涉及的因素一般称为指标，在多元统计分析中也称为变量。因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。主成分分析正是适应这一要求产生的，是解决这类题的理想工具。对同一个体进行多项观察时必定涉及多个随机变量X1，X2，…，X p，它们之间都存在着相关性，一时难以综合。这时就需要借助主成分分析来概括诸多信息的主要方面。我们希望有一个或几个较好的综合指标来概括信息，而且希望综合指标互相独立地各代表某一方面的性质。

主成分分析法概念及例题

主成分分析法主成分分析（principal components analysis，PCA）又称：主分量分析，主成分回归分析法 [编辑] 什么是主成分分析法主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。在统计学中，主成分分析（principal components analysis,PCA）是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而定。 [编辑] 主成分分析的基本思想

在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。这些涉及的因素一般称为指标，在多元统计分析中也称为变量。因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。主成分分析正是适应这一要求产生的，是解决这类题的理想工具。同样，在科普效果评估的过程中也存在着这样的问题。科普效果是很难具体量化的。在实际评估工作中，我们常常会选用几个有代表性的综合指标，采用打分的方法来进行评估，故综合指标的选取是个重点和难点。如上所述，主成分分析法正是解决这一问题的理想工具。因为评估所涉及的众多变量之间既然有一定的相关性，就必然存在着起支配作用的因素。根据这一点，通过对原始变量相关矩阵内部结构的关系研究，找出影响科普效果某一要素的几个综合指标，使综合指标为原来变量的线性拟合。这样，综合指标不仅保留了原始变量的主要信息，且彼此间不相关，又比原始变量具有某些更优越的性质，就使我们在研究复杂的科普效果评估问题时，容易抓住主要矛盾。上述想法可进一步概述为：设某科普效果评估要素涉及个指标，这指标构成的维随机向量为。对作正交变换，令，其中为正交阵，的各分量是不相关的，使得的各分量在某个评估要素中的作用容易解释，这就使得我们有可能从主分量中选择主要成分，削除对这一要素影响微弱的部分，通过对主分量的重点分析，达到对原始变量进行分析的目的。的各分量是原始变量线性组合，不同的分量表示原始变量之间不同的影响关系。由于这些基本关系很可能与特定的作用过程相联系，主成分分析使我们能从错综复杂的科普评估要素的众多指标中，找出一些主要成分，以便有效地利用大量统计数据，进行科普效果评估分析，使我们在研究科普效果评估问题中，可能得到深层次的一些启发，把科普效果评估研究引向深入。例如，在对科普产品开发和利用这一要素的评估中，涉及科普创作人数百万人、科普作品发行量百万人、科普产业化（科普示范基地数百万人）等多项指标。经过主成分分析计算，最后确定个或个主成分作为综合评价科普产品利用和开发的综合指标，变量数减少，并达到一定的可信度，就容易进行科普效果的评估。 [编辑] 主成分分析法的基本原理主成分分析法是一种降维的统计方法，它借助于一个正交变换，将其分量相关的原随机向量转化成其分量不相关的新随机向量，这在代数上表现为将原随机向量的协方差阵变换成对角形阵，在几何上表现为将原坐标系变换成新的正交坐标系，使之指向样本点散布最开的p 个正交方向，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变量系统，再通过构造适当的价值函数，进一步把低维系统转化成一维系统。 [编辑] 主成分分析的主要作用

主成分分析PCA(含有详细推导过程以及案例分析matlab版)

主成分分析法(PCA) 在实际问题中，我们经常会遇到研究多个变量的问题，而且在多数情况下，多个变量之间常常存在一定的相关性。由于变量个数较多再加上变量之间的相关性，势必增加了分析问题的复杂性。如何从多个变量中综合为少数几个代表性变量，既能够代表原始变量的绝大多数信息，又互不相关，并且在新的综合变量基础上，可以进一步的统计分析，这时就需要进行主成分分析。 I. 主成分分析法(PCA)模型（一）主成分分析的基本思想主成分分析是采取一种数学降维的方法，找出几个综合变量来代替原来众多的变量，使这些综合变量能尽可能地代表原来变量的信息量，而且彼此之间互不相关。这种将把多个变量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。主成分分析所要做的就是设法将原来众多具有一定相关性的变量，重新组合为一组新的相互无关的综合变量来代替原来变量。通常，数学上的处理方法就是将原来的变量做线性组合，作为新的综合变量，但是这种组合如果不加以限制，则可以有很多，应该如何选择呢？如果将选取的第一个线性组合即第一个综合变量记为1F ，自然希望它尽可能多地反映原来变量的信息，这里“信息”用方差来测量，即希望)(1F Var 越大，表示1F 包含的信息越多。因此在所有的线性组合中所选取的1F 应该是方差最大的，故称1F 为第一主成分。如果第一主成分不足以代表原来p 个变量的信息，再考虑选取2F 即第二个线性组合，为了有效地反映原来信息，1F 已有的信息就不需要再出现在2F 中，用数学语言表达就是要求 0),(21=F F Cov ，称2F 为第二主成分，依此类推可以构造出第三、四……第p 个主成分。（二）主成分分析的数学模型对于一个样本资料，观测p 个变量p x x x ,,21，n 个样品的数据资料阵为： ??????? ??=np n n p p x x x x x x x x x X 21 222 21112 11()p x x x ,,21=

主成分分析法概念及例题

主成分分析法主成分分析(principal components analysis,PCA)又称:主分量分析,主成分回归分析法 [编辑] 什么就是主成分分析法主成分分析也称主分量分析,旨在利用降维的思想,把多指标转化为少数几个综合指标。在统计学中,主成分分析(principal components analysis,PCA)就是一种简化数据集的技术。它就是一个线性变换。这个变换把数据变换到一个新的坐标系统中,使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上,第二大方差在第二个坐标(第二主成分)上,依次类推。主成分分析经常用减少数据集的维数,同时保持数据集的对方差贡献最大的特征。这就是通过保留低阶主成分,忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但就是,这也不就是一定的,要视具体应用而定。 [编辑] 主成分分析的基本思想

在实证问题研究中,为了全面、系统地分析问题,我们必须考虑众多影响因素。这些涉及的因素一般称为指标,在多元统计分析中也称为变量。因为每个变量都在不同程度上反映了所研究问题的某些信息,并且指标之间彼此有一定的相关性,因而所得的统计数据反映的信息在一定程度上有重叠。在用统计方法研究多变量问题时,变量太多会增加计算量与增加分析问题的复杂性,人们希望在进行定量分析的过程中,涉及的变量较少,得到的信息量较多。主成分分析正就是适应这一要求产生的,就是解决这类题的理想工具。同样,在科普效果评估的过程中也存在着这样的问题。科普效果就是很难具体量化的。在实际评估工作中,我们常常会选用几个有代表性的综合指标,采用打分的方法来进行评估,故综合指标的选取就是个重点与难点。如上所述,主成分分析法正就是解决这一问题的理想工具。因为评估所涉及的众多变量之间既然有一定的相关性,就必然存在着起支配作用的因素。根据这一点,通过对原始变量相关矩阵内部结构的关系研究,找出影响科普效果某一要素的几个综合指标,使综合指标为原来变量的线性拟合。这样,综合指标不仅保留了原始变量的主要信息,且彼此间不相关,又比原始变量具有某些更优越的性质,就使我们在研究复杂的科普效果评估问题时,容易抓住主要矛盾。上述想法可进一步概述为:设某科普效果评估要素涉及个指标,这指标构成的维随机向量为。对作正交变换,令,其中为正交阵,的各分量就是不相关的,使得的各分量在某个评估要素中的作用容易解释,这就使得我们有可能从主分量中选择主要成分,削除对这一要素影响微弱的部分,通过对主分量的重点分析,达到对原始变量进行分析的目的。的各分量就是原始变量线性组合,不同的分量表示原始变量之间不同的影响关系。由于这些基本关系很可能与特定的作用过程相联系,主成分分析使我们能从错综复杂的科普评估要素的众多指标中,找出一些主要成分,以便有效地利用大量统计数据,进行科普效果评估分析,使我们在研究科普效果评估问题中,可能得到深层次的一些启发,把科普效果评估研究引向深入。例如,在对科普产品开发与利用这一要素的评估中,涉及科普创作人数百万人、科普作品发行量百万人、科普产业化(科普示范基地数百万人)等多项指标。经过主成分分析计算,最后确定个或个主成分作为综合评价科普产品利用与开发的综合指标,变量数减少,并达到一定的可信度,就容易进行科普效果的评估。 [编辑] 主成分分析法的基本原理主成分分析法就是一种降维的统计方法,它借助于一个正交变换,将其分量相关的原随机向量转化成其分量不相关的新随机向量,这在代数上表现为将原随机向量的协方差阵变换成对角形阵,在几何上表现为将原坐标系变换成新的正交坐标系,使之指向样本点散布最开的p 个正交方向,然后对多维变量系统进行降维处理,使之能以一个较高的精度转换成低维变量系统,再通过构造适当的价值函数,进一步把低维系统转化成一维系统。 [编辑] 主成分分析的主要作用

主成分分析法概念及例题

主成分分析法 [ 编辑 ] 什么是主成分分析法主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。在统计学中，主成分分析（ principal components analysis,PCA ）是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标（称为第一主成分）上，第二大方差在第二个坐标（第二主成分）上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而定。 [ 编辑 ] ， PCA ）又称：主分量分析，主成分回归分析法主成分分析（ principal components analysis

主成分分析的基本思想在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。这些涉及的因素一般称为指标，在多元统计分析中也称为变量。因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。主成分分析正是适应这一要求产生的，是解决这类题的理想工具。同样，在科普效果评估的过程中也存在着这样的问题。科普效果是很难具体量化的。在实际评估工作中，我们常常会选用几个有代表性的综合指标，采用打分的方法来进行评估，故综合指标的选取是个重点和难点。如上所述，主成分分析法正是解决这一问题的理想工具。因为评估所涉及的众多变量之间既然有一定的相关性，就必然存在着起支配作用的因素。根据这一点，通过对原始变量相关矩阵内部结构的关系研究，找出影响科普效果某一要素的几个综合指标，使综合指标为原来变量的线性拟合。这样，综合指标不仅保留了原始变量的主要信息，且彼此间不相关，又比原始变量具有某些更优越的性质，就使我们在研究复杂的科普效果评估问题时，容易抓住主要矛盾。上述想法可进一步概述为：设某科普效果评估要素涉及个指标，这指标构成的维随机向量为。对作正交变换，令，其中为正交阵，的各分量是不相关的，使得的各分量在某个评估要素中的作用容易解释，这就使得我们有可能从主分量中选择主要成分，削除对这一要素影响微弱的部分，通过对主分量的重点分析，达到对原始变量进行分析的目的。的各分量是原始变量线性组合，不同的分量表示原始变量之间不同的影响关系。由于这些基本关系很可能与特定的作用过程相联系，主成分分析使我们能从错综复杂的科普评估要素的众多指标中，找出一些主要成分，以便有效地利用大量统计数据，进行科普效果评估分析，使我们在研究科普效果评估问题中，可能得到深层次的一些启发，把科普效果评估研究引向深入。例如，在对科普产品开发和利用这一要素的评估中，涉及科普创作人数百万人、科普作品发行量百万人、科普产业化（科普示范基地数百万人）等多项指标。经过主成分分析计算，最后确定个或个主成分作为综合评价科普产品利用和开发的综合指标，变量数减少，并达到一定的可信度，就容易进行科普效果的评估。 [ 编辑] 主成分分析法的基本原理主成分分析法是一种降维的统计方法，它借助于一个正交变换，将其分量相关的原随机向量转化成其分量不相关的新随机向量，这在代数上表现为将原随机向量的协方差阵变换成对角形阵，在几何上表现为将原坐标系变换成新的正交坐标系，使之指向样本点散布最开的p 个正交方向，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变量系统，再通过构造适当的价值函数，进一步把低维系统转化成一维系统。 [ 编辑] 主成分分析的主要作用

主成分分析计算方法和步骤

主成分分析计算方法和步骤：在对某一事物或现象进行实证研究时,为了充分反映被研究对象个体之间的差异, 研究者往往要考虑增加测量指标,这样就会增加研究问题的负载程度。但由于各指标都是对同一问题的反映,会造成信息的重叠,引起变量之间的共线性,因此,在多指标的数据分析中,如何压缩指标个数、压缩后的指标能否充分反映个体之间的差异,成为研究者关心的问题。而主成分分析法可以很好地解决这一问题。主成分分析的应用目的可以简单地归结为: 数据的压缩、数据的解释。它常被用来寻找和判断某种事物或现象的综合指标,并且对综合指标所包含的信息给予适当的解释, 从而更加深刻地揭示事物的内在规律。主成分分析的基本步骤分为: ①对原始指标进行标准化,以消除变量在数量极或量纲上的影响;②根据标准化后的数据矩阵求出相关系数矩阵 R; ③求出 R 矩阵的特征根和特征向量; ④确定主成分,结合专业知识对各主成分所蕴含的信息给予适当的解释;⑤合成主成分,得到综合评价值。结合数据进行分析本题分析的是全国各个省市高校绩效评价，利用全国2014年的相关统计数据(见附录)，从相关的指标数据我们无法直接评价我国各省市的高等教育绩效，而通过表5-6的相关系数矩阵，可以看到许多的变量之间的相关性很高。如：招生人数与教职工人数之间具有较强的相关性，教育投入经费和招生人数也具有较强的相关性，教工人数与本科院校数之间的相关系数最高，到达了0.963，而各组成成分之间的相关性都很高，这也充分说明了主成分分析的必要性。表5-6 相关系数矩阵本科院校数招生人数教育经费投入相关性师生比0.279 0.329 0.252 重点高校数0.345 0.204 0.310 教工人数0.963 0.954 0.896 本科院校数 1.000 0.938 0.881 招生人数0.938 1.000 0.893 教育经费投 0.881 0.893 1.000 入

主成分分析法介绍.doc

主成分分析方法我们进行系统分析评估或医学上因子分析等时，多变量问题是经常会遇到的。变量太多，无疑会增加分析问题的难度与复杂性，而且在许多实际问题中，多个变量之间是具有一定的相关关系的。因此，我们就会很自然地想到，能否在各个变量之间相关关系研究的基础上，用较少的新变量代替原来较多的变量，而且使这些较少的新变量尽可能多地保留原来较多的变量所反映的信息事实上，这种想法是可以实现的，本节拟介绍的主成分分析方法就是综合处理这种问题的一种强有力的方法。第一节主成分分析方法的原理主成分分析是把原来多个变量化为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。假定有 n 样本，每个样本共有 p 个变量描述，这样就构成了一个 n×p阶的数据矩阵： x 11 x 12 ... x 1 p x 21 x 22 ... x 2 p X ... ... ... ????(1) ... x n1 x n 2 ... x np

如何从这么多变量的数据中抓住事物的内在规律性呢要解决这一问题，自然要在 p 维空间中加以考察，这是比较麻烦的。为了克服这一困难，就需要进行降维处理，即用较少的几个综合指标来代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多指标所反映的信息，同时它们之间又是彼此独立的。那么，这些综合指标（即新变量 )应如何选取呢显然，其最简单的形式就是取原来变量指标的线性组合，适当调整组合系数，使新的变量指标之间相互独立且代表性最好。如果记原来的变量指标为 x 1 , x 2 , x p ，它们的综合指标 —— 新变量指标为 z 1 , z 2 ， z m （ m ≤p)。则 z 1 l 11x 1 l 12 x 2 l 1 p x p z 2 l 21 x 1 l 22 x 2 l 2 p x p (2) z m l m1x 1 l m2 x 2 l mp x p 在（ 2)式中，系数 l ij 由下列原则来决定：（ 1)z i 与 z j （ i ≠j；i ，j=1，2，， m)相互无关；（ 2)z 1 是 x 1，x 2，?，x p 的一切线性组合中方差最大者； z 2 是与 z 1 不相关的 x 1， x 2，?，x p 的所有线性组合中方差最大者；；z m 是与 z 1，z 2，??z m-1 都不相关的 x 1， x 2， ?， x p 的所有线性组合中方差最大者。

主成分分析法介绍

主成分分析方法我们进行系统分析评估或医学上因子分析等时，多变量问题是经常会遇到的。变量太多，无疑会增加分析问题的难度与复杂性，而且在许多实际问题中，多个变量之间是具有一定的相关关系的。因此，我们就会很自然地想到，能否在各个变量之间相关关系研究的基础上，用较少的新变量代替原来较多的变量，而且使这些较少的新变量尽可能多地保留原来较多的变量所反映的信息事实上，这种想法是可以实现的，本节拟介绍的主成分分析方法就是综合处理这种问题的一种强有力的方法。第一节主成分分析方法的原理主成分分析是把原来多个变量化为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。假定有n 样本，每个样本共有p 个变量描述，这样就构成了一个n×p 阶的数据矩阵： 11121212221 2 .....................p p n n np x x x x x x X x x x ?? ? ? = ? ? ??? (1)

如何从这么多变量的数据中抓住事物的内在规律性呢要解决这一问题，自然要在p 维空间中加以考察，这是比较麻烦的。为了克服这一困难，就需要进行降维处理，即用较少的几个综合指标来代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多指标所反映的信息，同时它们之间又是彼此独立的。那么，这些综合指标（即新变量)应如何选取呢显然，其最简单的形式就是取原来变量指标的线性组合，适当调整组合系数，使新的变量指标之间相互独立且代表性最好。如果记原来的变量指标为p x x x ,,21Λ，它们的综合指标——新变量指标为Λ21,z z ，m z （m≤p)。则 )2.........(..........22112222121212121111??? ?? ? ?+++=+++=+++=p mp m m m p p p p x l x l x l z x l x l x l z x l x l x l z ΛΛ ΛΛΛΛΛΛΛΛΛΛΛΛΛ 在（2)式中，系数l ij 由下列原则来决定：（1)z i 与z j （i≠j ；i ，j=1，2，…，m)相互无关；（2)z 1是x 1，x 2，…，x p 的一切线性组合中方差最大者；z 2是与z 1不相关的x 1，x 2，…，x p 的所有线性组合中方差最大者；……；z m 是与z 1，z 2，……z m-1都不相关的x 1，x 2，…，x p 的所有线性组合中方差最大者。

主成分分析方法及matlab运用解释

主成分分析方法在许多实际问题中，多个变量之间是具有一定的相关关系的。因此，我们就会很自然地想到，能否在各个变量之间相关关系研究的基础上，用较少的新变量代替原来较多的变量，而且使这些较少的新变量尽可能多地保留原来较多的变量所反映的信息事实上，这种想法是可以实现的，这里介绍的主成分分析方法就是综合处理这种问题的一种强有力的方法。一、主成分分析的基本原理主成分分析是把原来多个变量化为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。假定有n 个地理样本，每个样本共有p 个变量描述，这样就构成了一个n×p 阶的地理数据矩阵： 11 12121 2221 2 p p n n np x x x x x x X x x x ???=? ???（1）如何从这么多变量的数据中抓住地理事物的内在规律性呢要解决这一问题，自然要在p 维空间中加以考察，这是比较麻烦的。为了克服这一困难，就需要进行降维处理，即用较少的几个综合指标来代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多指标所反映的信息，同时它们之间又是彼此独立的。那么，这些综合指标（即新变量)应如何选取呢显然，其最简单的形式就是取原来变量指标的线性组合，适当调整组合系数，使新的变量指标之间相互独立且代表性最好。如果记原来的变量指标为x 1，x 2，…，x p ，它们的综合指标——新变量指标为z 1，z 2，…，zm （m≤p)。则 11111221221122221122 ,,.........................................,p p p p m m m mp p z l x l x l x z l x l x l x z l x l x l x =+++?? =+++?? ??=+++?（2）在（2)式中，系数l ij 由下列原则来决定：