第13章 主成分分析和因子分析
怎样用做Eviews主成分分析和因子分析
图13.6 主成分估计对话框(1)
23
24
表头描述了观测值的样本区间、计算离差矩阵的方法 以及保留成分的个数（在这个例子中显示了所有的5个主成 分）。
表的第一部分概括了特征值（Value）、相应特征值与 后一项的差（Difference）、对总方差的累积解释比例 （Cumulative Proportion）等等。由于上述结果的计算采 用相关矩阵，所以5个特征值之和等于5。第一个成分占总 方差的72.94%，第二个成分占总方差的19.22%。前两个成 分占总方差的92.16%。
20
13.3.1 EViews软件中主成分分析的计算
本节以例13.1的数据为例，介绍EViews软件中主成 分分析的实现过程。首先将所涉及的变量建成一个组(g1)， 选择组菜单的View/Principal Components...，出现如图 13.6所示的窗口。在窗口中有两个切换钮：第一个钮标着 Components，第二个钮标着Calculation，控制着组中各 序列离差矩阵的计算和估计。默认的，EViews完成主成 分分析使用普通的（Pearson）相关矩阵，也可以在这个 菜单下重新设定主成分的计算。
在实际工作中，我们通常无法获得总体的协方差矩阵
和相关矩阵R。因此，需要采用样本数据来估计。设从均值
向量为，协方差矩阵为 的 p 维总体中得到的 n 个样本，
且样本数据矩阵为
x11 x(x1,x2,, xn)x2 1
x12
x xn2 xnp
15
则样本协方差矩阵为：
i 1
i 1
（13.1.6）
当1 = e1 时有
e 1 Σ 1 e 1 1 e 11 e 1 e 11
（13.1.7）
主成分分析与因子分析的异同比较及应用
主成分分析与因子分析的异同比较及应用一、相似之处：1.降低数据维度：主成分分析和因子分析都是降维方法，通过将原始变量进行线性组合，生成一组新变量，减少原始数据的维度。
2.揭示变量之间的关系：主成分分析和因子分析都可以揭示数据中变量之间的相关性和潜在结构，更好地理解变量之间的关系。
3.数据依赖：主成分分析和因子分析都依赖原始数据的线性关系。
二、主成分分析的特点和应用：1.数据探索：主成分分析可以用于对数据进行探索性分析，揭示数据中的模式和变量之间的关系。
2.特征选择：主成分分析可以用于提取最相关的变量，帮助选择最能代表数据信息的特征。
3.数据压缩：通过保留主要的主成分，主成分分析可以将数据压缩成较低维度，减少存储和计算的开销。
4.降噪：主成分分析可以通过去除与主成分相关较小的维度，减少噪声的影响。
三、因子分析的特点和应用：因子分析的目标是通过找到能够解释原始变量间共同方差的不可观测因子，来揭示变量背后的潜在结构。
因子分析的原理是通过将多个变量通过线性函数关系表示为少数几个潜在因子的和。
因子分析可以用于以下场景：1.变量间关系建模：因子分析可以用于建立变量之间的概念模型，识别变量的共同因子、独特因子和测量误差。
2.假设测试：因子分析可以用于检验变量之间的因果关系，以验证一些假设。
3.变量缩减：通过识别共同的因子，并组合成新的因子变量，因子分析可以减少数据集的维度。
4.数据恢复：因子分析可以通过基于因子提取的结果，恢复原始变量的丢失信息。
四、主成分分析与因子分析的区别：1.目标：主成分分析的目标是将原始变量转化为一组新的不相关的维度，以解释数据方差最大化；而因子分析的目标是将原始变量转化为一组潜在因子，以解释变量间的共同方差。
2.变量假设：主成分分析假设所有变量是观测变量的线性组合，而因子分析假设所有变量既有观测变量，也有不可观测的因子变量。
3.因素解释：主成分分析的主要解释对象是方差，因而主成分的解释目标是能够包含尽可能多的方差；而因子分析的解释对象是共同方差，因而因子的解释目标是能够解释原始变量之间的共同方差。
主成分分析、因子分析
主成分分析在许多领域的研究与应用中，往往需要对反映事物的多个变量进行大量的观测，收集大量数据以便进行分析寻找规律。
多变量大样本无疑会为研究和应用提供了丰富的信息，但也在一定程度上增加了数据采集的工作量，更重要的是在多数情况下，许多变量之间可能存在相关性，从而增加了问题分析的复杂性，同时对分析带来不便。
如果分别对每个指标进行分析，分析往往是孤立的，而不是综合的。
盲目减少指标会损失很多信息，容易产生错误的结论。
因此需要找到一个合理的方法，在减少需要分析的指标同时，尽量减少原指标包含信息的损失，以达到对所收集数据进行全面分析的目的。
由于各变量间存在一定的相关关系，因此有可能用较少的综合指标分别综合存在于各变量中的各类信息。
主成分分析与因子分析就属于这类降维的方法。
主成分分析是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。
主成分分析，是考察多个变量间相关性一种多元统计方法，研究如何通过少数几个主成分来揭示多个变量间的内部结构，即从原始变量中导出少数几个主成分，使它们尽可能多地保留原始变量的信息，且彼此间互不相关.通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标。
最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var(F1)越大，表示F1包含的信息越多。
因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。
如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求Cov(F1, F2)=0，则称F2为第二主成分，依此类推可以构造出第三、第四，……，第P个主成分。
2. 问题描述下表1是某些学生的语文、数学、物理、化学成绩统计：首先，假设这些科目成绩不相关，也就是说某一科目考多少分与其他科目没有关系。
主成分分析、因子分析
主成分分析在许多领域的研究与应用中，往往需要对反映事物的多个变量进行大量的观测，收集大量数据以便进行分析寻找规律。
多变量大样本无疑会为研究和应用提供了丰富的信息，但也在一定程度上增加了数据采集的工作量，更重要的是在多数情况下，许多变量之间可能存在相关性，从而增加了问题分析的复杂性，同时对分析带来不便。
如果分别对每个指标进行分析，分析往往是孤立的，而不是综合的。
盲目减少指标会损失很多信息，容易产生错误的结论。
因此需要找到一个合理的方法，在减少需要分析的指标同时，尽量减少原指标包含信息的损失，以达到对所收集数据进行全面分析的目的。
由于各变量间存在一定的相关关系，因此有可能用较少的综合指标分别综合存在于各变量中的各类信息。
主成分分析与因子分析就属于这类降维的方法。
主成分分析是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。
主成分分析，是考察多个变量间相关性一种多元统计方法，研究如何通过少数几个主成分来揭示多个变量间的内部结构，即从原始变量中导出少数几个主成分，使它们尽可能多地保留原始变量的信息，且彼此间互不相关.通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标。
最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var(F1)越大，表示F1包含的信息越多。
因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。
如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求Cov(F1, F2)=0，则称F2为第二主成分，依此类推可以构造出第三、第四，……，第P个主成分。
2. 问题描述下表1是某些学生的语文、数学、物理、化学成绩统计：首先，假设这些科目成绩不相关，也就是说某一科目考多少分与其他科目没有关系。
主成分分析和因子分析
SPSS操作：分析——描述统计——描述
第4题
朗莱曾分析美国联邦政府雇员人数（Y）与国民总产出 隐含平减指数（X1），国民总产出（X2），失业人数（ X3），武装力量人数（X4），14岁及以上非慈善机构人 口数（X5），时间变量（X6）等的关系，数据如下。他 利用了美国47—62年数据（如下）做多元线性回归。现 请你重新做下朗莱的工作，判断有无多重共线性，如有 ，试用主成分法回归分析消除多重共线性。
计算各企业经济效益的综合得分
由综合得分可排出企业经济效益的名次。
九章第2题
在企业经济效益的评价中,涉及的指标往往很多.为了简化系 统结构,抓住经济效益评价中的主要问题,可利用主成分分析法进 行综合评价。在对我国部分省,市,自治区独立核算的工业企业的 经济效益评价中,涉及到9项指标,用主成分分析进行综合评价。
第一主成分的方差为3.686，第二主成分的 方差为1.237 根据成分矩阵得到两个主成分的线性方程：
计算两个主成分对应的值：
两个主成分对应值如下表：
做标准化的因变量与主成分的线性回归：
原始变量均值和标准差如下表：
第5题
经济工作者希望通过国内总产值x1，存储量x2， 消费总量x3,去预测进口总额y,为此收集了某地区 共计十一年的有关数据，利用主成分估计建立回归 方程。
第一主成分得分
2.858915 3.756416 -0.54939 -1.73507 -3.08695 0.320264
主成分分析与因子分析的联系与区别
一、问题的提出在科学研究或日常生活中，常常需要判断某一事物在同类事物中的好坏、优劣程度及其发展规律等问题。
而影响事物的特征及其发展规律的因素（指标）是多方面的，因此，在对该事物进行研究时，为了能更全面、准确地反映出它的特征及其发展规律，就不应仅从单个指标或单方面去评价它，而应考虑到与其有关的多方面的因素，即研究中需要引入更多的与该事物有关系的变量，来对其进行综合分析和评价。
多变量大样本资料无疑能给研究人员或决策者提供很多有价值的信息，但在分析处理多变量问题时，由于众变量之间往往存在一定的相关性，使得观测数据所反映的信息存在重叠现象。
因此为了尽量避免信息重叠和减轻工作量，人们就往往希望能找出少数几个互不相关的综合变量来尽可能地反映原来数据所含有的绝大部分信息。
而主成分分析和因子分析正是为解因子分相关。
1.2.），3. 主成分的各系数，是唯一确定的、正交的。
不可以对系数矩阵进行任何的旋转，且系数大小并不代表原变量与主成分的相关程度；而因子模型的系数矩阵是不唯一的、可以进行旋转的，且该矩阵表明了原变量和公共因子的相关程度。
4. 主成分分析，可以通过可观测的原变量X直接求得主成分Y，并具有可逆性；因子分析中的载荷矩阵是不可逆的，只能通过可观测的原变量去估计不可观测的公共因子，即公共因子得分的估计值等于因子得分系数矩阵与原观测变量标准化后的矩阵相乘的结果。
还有，主成分分析不可以像因子分析那样进行因子旋转处理。
5.综合排名。
主成分分析一般依据第一主成分的得分排名，若第一主成分不能完全代替原始变量，则需要继续选择第二个主成分、第三个等等，此时综合得分=∑（各主成分得分×各主成分所对应的方差贡献率）,主成分得分是将原始变量的标准化值，代入主成分表达式中计算得到；而因子分析的综合得分=∑（各因子得分×各因子所对应的方差贡献率）÷∑各因子的方差贡献率，因子得分是将原始变量的标准化值，代入因子得分函数中计算得到。
主成分分析与因子分析法
主成分分析与因子分析法主成分分析是一种减少数据维度的统计学方法，通过将多变量数据投影到一个较低维度的空间中，实现数据的降维。
主成分分析的基本思想是将原始数据转换为一组新的变量，这些新的变量称为主成分，通过主成分的降序排列，能够使原始数据中较大方差的信息更好地保留下来。
1.数据标准化：根据数据的特点，将数据进行标准化处理，使得各个变量具有相同的尺度。
2.计算协方差矩阵：通过计算数据的协方差矩阵，了解各个变量之间的相关性。
3.求解特征向量和特征值：通过对协方差矩阵进行特征值分解，得到特征向量和特征值。
4.选择主成分：选取前k个特征向量对应的主成分，使得它们能够解释绝大部分的方差。
通常选择的标准是特征值大于1，或者解释方差的累积比例达到一定的阈值。
5.主成分系数：计算原始变量和主成分之间的线性关系，这个关系可以用主成分的特征向量作为系数矩阵进行表示。
1.降低维度：主成分分析能够将高维数据降维，提取出最能代表原始数据的主成分。
2.去除冗余信息：通过选择主成分，可以去除原始数据中的冗余信息，提取出最有用的信息。
3.可视化：降维后的数据可以更容易地可视化和解释。
二、因子分析法（Factor Analysis）因子分析法是一种用于确定多个观测变量之间的潜在结构的统计学方法。
它假设观测变量是由一组潜在因子决定的，通过观测变量和因子之间的相关性，可以推断出潜在因子之间的关系。
因子分析法的基本步骤如下：1.确定因子数：根据研究的目的和背景，确定潜在因子的个数。
2.求解因子载荷矩阵：通过最大似然估计或主因子方法，求解因子载荷矩阵，得到每个观测变量与潜在因子之间的相关关系。
3.提取因子：根据因子载荷矩阵，提取出与观测变量相关性最高的因子，将原始数据映射到潜在因子空间中。
4.旋转因子：通过旋转因子载荷矩阵，使得因子之间更易解释和解读，常用的旋转方法有正交旋转和斜交旋转。
5.因子得分：根据观测变量的信息和因子载荷矩阵，计算每个样本在每个因子上的得分。
主成分分析与因子分析聚类分析
主成分分析与因子分析聚类分析主成分分析通过寻找原始数据中的主要变化方向来降低维度。
它通过线性变换将原始数据变换为一组不相关的主成分，其中每个主成分都是原始数据中的线性组合。
这些主成分按照方差大小排序，从而找到原始数据中的主要变化模式。
主成分分析可以帮助我们理解数据中的主要模式，并在保留较少的维度的同时保留尽可能多的信息。
因子分析是一种统计方法，用于揭示观测数据背后的潜在因子。
因子分析假设一组观测数据是由一组潜在因子和测量误差共同决定的。
通过因子分析，我们可以确定潜在因子对观测数据的影响程度，并推断这些因子的含义。
因子分析可以帮助我们揭示观测数据背后的隐藏结构，并从中提取有意义的信息。
1.数据预处理：在进行聚类分析之前，我们经常需要对输入数据进行预处理，例如归一化或标准化。
主成分分析可以帮助我们对原始数据进行降维，从而减少数据维度，简化预处理过程。
2.特征提取：主成分分析和因子分析都可以用于提取数据中的主要特征。
主成分分析通过保留方差较大的主成分，提取数据中的主要模式。
因子分析则可以帮助我们发现观测数据背后的潜在因子，并从中提取有意义的特征。
3.可视化：主成分分析和因子分析可以将高维数据转换为低维数据，并将其可视化。
可视化降维后的数据可以帮助我们理解数据的结构和模式，并辅助聚类分析的结果解释。
4.噪声过滤：主成分分析和因子分析可以通过滤除方差较小的主成分或因子来减少数据中的噪声。
这可以帮助我们提高聚类分析的准确性和稳定性。
总之，主成分分析和因子分析是常用的降维方法，可用于聚类分析的数据预处理、特征提取、可视化和噪声过滤等方面。
它们可以帮助我们理解数据的结构和模式，并提高聚类分析的效果。
主成分分析与因子分析_OK
Extraction Sums of Squared Loadings
Total % of Variance Cumulative %
3.735
62.254
62.254
1.133
18.887
81.142
• 这里的Initial Eigenvalues就是这里的六个主 轴长度，又称特征值（数据相关阵的特征 值）。头两个成分特征值累积占了总方差 的81.142%。后面的特征值的贡献越来越少。
5
成分分析
(Principal Components Analysis)
6
x
2
•• •
•• •
•
•• •
•••••• •
x1
x 2
• • • •••
•
••
•
• •
•
x 1
x2 • ••• •• ••• ••••
• 例中的数据点是六维的； 也就是说，每个观测值是 6维空间中的一个点。我 们希望把6维空间用低维
(m p)
X1 11 12
或
X
2
21
22
X
p
p1
p2
1m F1 1
2
m
F2
2
pm
Fm
p
或X AF
28
注：
因子分析与回归分析不同，因子分析中的因子 是一个比较抽象的概念，而回归因子有非常明确 的实际意义；
主成分分析分析与因子分析也有不同，主成分 分析仅仅是变量变换，而因子分析需要构造因子 模型。
主成分分析:原始变量的线性组合表示新的综合 变量，即主成分，无误差项；
因子分析：潜在的假想变量和随机影响变量的 线性组合表示原始变量，有误差项。
主成分分析和因子分析案例分析PPT课件
+姓名
主成分分析
基础概念：主要成分分析就是考虑各指标之间的相互关系，利用降维方法将 多个指标转换为少数几个互不相关的指标，从而使进一步研究变得简单的一 种统计方法。
分析步骤： （1）原始数据标准化处理 （2）计算相关数矩阵 （3）计算特征值及单位特征向量 （4）计算主成分的方差贡献率和累积方差贡献率 （5）计算主成分
试分析一个国家参与经济全球化的过程主要受哪些因素影响?
从数据来看，一共15个因 素，但有些因素是存在相 关性的，同时各因素对全 球化影响程度也不一样， 故可采用主成分分析。
确定变量及相关步骤
因子分析结果
（1）特征值和方差贡献值
从表中可看前3个主成分已经 解释了总方差的近86.7%，故 可以选择前3个主成分进行分 析。
谢谢大家
荣幸这一路，与你同行
It'S An Honor To Walk With You All The Way
演讲人：XXXXXX 时 间：XX年XX月XX日
表明因子提取方法是 主成分分析，旋转的 方法是方差极大法。
得出结论：北京受x1-x15因素的影响排在第一位。山东排在最后一位。
结束语
当你尽了自己的最大努力时，失败也是伟大的， 所以不要放弃，坚持就是正确的。
When You Do Your Best, Failure Is Great, So Don'T Give Up, Stick To The End
旋转后的因子载荷矩阵
是按照前面设定的“方差极大法”对因子载荷矩 阵旋转的结果。在旋转前的的矩阵中，因子变 量在许多变量上均有较高的载荷，从旋转后的 因子可以看出，因子1在1、3、6、7、12、13、 14上有较大载荷，反映科技投入与产出情况， 可以命名为创新水平因子：因子2在指标5、8、 15上较大载荷，反映地区经济发展及财政科技 投入水平，可以命名为创新因子；因子3在指 标9和10上有较大载荷，可以命民为高科技产 业发展因子。