主成分分析_3
主成份分析和因子分析
27
用SPSS计算的主成分得分
1、把原始变量标准化；按照主成分的计算 公式可以计算出主成分得分。 注：SAS、S-plus、R等软件可以直接给出 主成分的系数表和主成分得分。
中央财经大学统计学院
28
主成分分析案例2
100个学生的六门成绩（数学、物理、化学、 语文、历史、英语）见STUDENT.SAV。 根据数据进行主成分分析。
志向抱负 理解能力 潜能
.704
.842 .721 .672
.698
.758 .883 .777
.280
.215 .386 .416
.815
.860 .782 .754
.337
.195 .299 .348
求职渴望 度
适应力
.482
.250
.527
.416
.448
.003
.563
.558
.215
.693
一项十分著名的工作是美国的统计学家斯通 (Stone)在1947年关于国民经济的研究。他 曾利用美国1929一1938年各年的数据，得到 了17个反映国民收入与支出的变量要素，例 如雇主补贴、消费资料和生产资料、纯公共 支出、净增库存、股息、利息外贸平衡等等。 在进行主成分分析后，竟以97.4％的精度， 用三个新变量就取代了原17个变量。
简历格式 自信心 .092 洞察力 .228 诚信度 -.107 推销能力 .271 工作经验 .548
相关系 数表中 有较大 的相关 系数， 主成分 分析可 能有效。
外貌
研究能力 兴趣爱好 自信心
.431
.001 .302 1.000
.371
.077 .483 .808
数学建模各种分析方法
现代统计学1.因子分析(Faｃｔor Ａｎalysis)因子分析的基本目的就是用少数几个因子去描述许多指标或因素之间的联系，即将相关比较密切的几个变量归在同一类中，每一类变量就成为一个因子(之所以称其为因子,是因为它是不可观测的，即不是具体的变量），以较少的几个因子反映原资料的大部分信息.运用这种研究技术，我们可以方便地找出影响消费者购买、消费以及满意度的主要因素是哪些，以及它们的影响力（权重）运用这种研究技术，我们还可以为市场细分做前期分析。
2．主成分分析主成分分析主要是作为一种探索性的技术，在分析者进行多元数据分析之前,用主成分分析来分析数据,让自己对数据有一个大致的了解是非常重要的.主成分分析一般很少单独使用：a，了解数据。
(screeninｇ the daｔa)，b，和ｃｌuｓteｒ aｎaｌysｉs一起使用，c，和判别分析一起使用，比如当变量很多，个案数不多，直接使用判别分析可能无解,这时候可以使用主成份发对变量简化。
（ｒeduce dimensiｏｎality)d,在多元回归中,主成分分析可以帮助判断是否存在共线性(条件指数),还可以用来处理共线性。
主成分分析和因子分析的区别1、因子分析中是把变量表示成各因子的线性组合，而主成分分析中则是把主成分表示成个变量的线性组合。
2、主成分分析的重点在于解释个变量的总方差，而因子分析则把重点放在解释各变量之间的协方差。
３、主成分分析中不需要有假设(ａｓｓｕｍptions）,因子分析则需要一些假设。
因子分析的假设包括：各个共同因子之间不相关，特殊因子（speｃific fａct ｏr）之间也不相关，共同因子和特殊因子之间也不相关.４、主成分分析中，当给定的协方差矩阵或者相关矩阵的特征值是唯一的时候，的主成分一般是独特的；而因子分析中因子不是独特的,可以旋转得到不同的因子。
５、在因子分析中,因子个数需要分析者指定（spss根据一定的条件自动设定,只要是特征值大于1的因子进入分析),而指定的因子数量不同而结果不同。
主成分分析
主成分分析法实验报告一、实验名称：主成分分析二、实验目的：利用计算机实现主成分分析，完成综合评价。
三、实验原理：四、实验过程：（一）数据录入：将相关指标数据录入如下表（二）数据标准化：为避免不同量纲引起的大数吃小数问题，我们对相关数据进行标准化，结果如下：表1：标准化后的数据录入表表2：描述统计量表表1是标准化后的相关数据，表2给出了标准化过程中涉及到的均值、标准差等数值。
（三）分析表3：公因子方差表表3给出了该次分析从每个原始变量中提取的信息，表格下的表注表明，该次分析使用主成分分析完成的。
可以看出除百元销售收入实现利税信息损失较大外，主成分几乎包含了各个原始变量至少85%的信息。
表4：相关矩阵表4为各指标因素量化后的相关矩阵。
表5：解释的总方差表由输出结果表5可以看出，前两个主成分y1,y2的方差和占全部方差的的比例为84.7%。
我们就选取y1为第一主成分，y2为第二主成分，且这两个主成分的方差和占全部方差的84.7%，即基本上保留了原来的指标的信息，这样由原来的9个指标转化为2个新指标，起到了降维的作用。
表6：因子载荷矩阵因子载荷矩阵（表6）是主成分和变量间的因子负荷量，即相关系数，代表相关度。
并非主成分的系数；所以我们要通过该成分矩阵计算出主成分的系数，计算结果如表7：表7：主成分系数表7中，a1代表第一主成分与各变量间的因子负荷量，a2代表第二主成分与各变量间的因子负荷量；u1代表y1的系数，u2代表y2的相应系数。
由此可得到两个主成分y1、y2的线性组合。
（四）主成分得分及分类表8：主成分得分为了分析各样品在主成分所反映的经济意义方面的情况，还将标准化后的原始数据代入主成分表达式中计算出各样品的主成分得分，如表8，得到28个省的、直辖市、自治区的主成分的分。
将这28个样品在平面直角坐标系上描出来，进而得到样品分类，如下图所示：由上图可以看出，分布在第一象限的是上海、北京、天津、广西四个省区，这四个省区的经济效益在全国来说属于较好的，上海经济效益最好。
主成分与主因子
4.因子得分因子分析模型建立后，还有一个重要的作用是应用因子分析模型去评价每个样品在整个模型中的地位，即进行综合评价。
例如地区经济发展的因子分析模型建立后，我们希望知道每个地区经济发展的情况，把区域经济划分归类，哪些地区发展较快，哪些中等发达，哪些较慢等。
这时需要将公共因子用变量的线性组合来表示，也即由地区经济的各项指标值来估计它的因子得分。
设公共因子F由变量x表示的线性组合为：Fj = uj1 xj1+ uj2 xj2+…+ujpxjp j=1，2，…，m该式称为因子得分函数，由它来计算每个样品的公共因子得分。
若取m=2，则将每个样品的p个变量代入上式即可算出每个样品的因子得分F1和F2，并将其在平面上做因子得分散点图，进而对样品进行分类或对原始数据进行更深入的研究。
但因子得分函数中方程的个数m小于变量的个数p，所以并不能精确计算出因子得分，只能对因子得分进行估计。
估计因子得分的方法较多，常用的有回归估计法，Bartlett估计法，Thomson估计法。
⑴回归估计法F = X b = X (X ￠X)-1A￠ = XR-1A￠（这里R为相关阵，且R = X ￠X ）。
⑵Bartlett估计法Bartlett估计因子得分可由最小二乘法或极大似然法导出。
F = [(W-1/2A）￠ W-1/2A]-1(W-1/2A）￠ W-1/2X = (A￠W-1A)-1A￠W-1X⑶Thomson估计法在回归估计法中，实际上是忽略特殊因子的作用，取R = X ￠X，若考虑特殊因子的作用，此时R = X ￠X+W，于是有：F = XR-1A￠ = X (X ￠X+W)-1A￠这就是Thomson估计的因子得分，使用矩阵求逆算法（参考线性代数文献）可以将其转换为：F = XR-1A￠ = X (I+A￠W-1A)-1W-1A￠5. 因子分析的步骤因子分析的核心问题有两个：一是如何构造因子变量；二是如何对因子变量进行命名解释。
对主成分分析三点不足的改进
2009年第6期 科技管理研究Science and Technol ogy Manage ment Research 2009No 16收稿日期:2008-09-25,修回日期:2008-11-05基金项目:黑龙江省社会科学基金项目(05B0142);黑龙江省自然科学基金项目(G200606)文章编号:1000-7695(2009)06-0128-03对主成分分析三点不足的改进徐永智1,2,华惠川2(11吉林大学东北亚研究院,吉林长春 130012;21黑龙江科技学院经济管理学院,黑龙江哈尔滨 150027)摘要:首先通过均值化和对数中心化处理改进主成分分析的特征提取,其次通过比较最优与最劣样本的主成分数值大小,判定特征向量方向,用熵值法对主成分的综合值计算进行改进。
最后,文章用改进后的主成分方法对中国东部各省市区域创新能力进行综合评价。
关键词:主成分分析;均值化;对数中心化;熵值法中图分类号:C93111文献标识码:A1 问题的提出主成分分析在多指标综合评价中被广泛应用。
但在实际应用中,几乎每个步骤都有值得探讨或改进之处。
本文在前人文献的基础上,总结了具体存在三个问题,并在第二部分对这些问题一一做了解决,最后给出一个实例进行具体应用。
其中,本文在第一部分总结出主成分分析在特征提取、特征向量方向确定以及主成分综合值计算中需要改进的地方。
问题一是,通过将指标正态标准化会存在信息丢失问题,从而使得特征提取性下降,并且当指标间线性程度不高时,应用线性主成分方法也会造成特征提取能力下降的问题。
首先,从原始数据的协方差矩阵可以知道,协方差矩阵包含两部分信息。
一是对角线上的信息,它就是各个指标的方差,反映的是各指标的变异。
二是对角线之外的信息,即各指标间的协方差,它反映的是指标间的相互影响,由相关矩阵体现,因为当指标i 与指标j 的方差不变时,协方差就与指标间的线性相关程度成正比。
但传统的正态标准化方法使各指标的方差变成1,即协方差矩阵的对角元素均为1,这样消除了各指标在变异程度上的差异,从中提取的主成分,只包含各指标间相互影响这一部分信息,显然不能准确反映原始数据所包含的全部信息,所以必须改进这种方法。
几种分析法的优缺点
主成分分析就是将多项指标转化为少数几项综合指标,用综合指标来解释多变量的方差- 协方差结构。
综合指标即为主成分。
所得出的少数几个主成分，要尽可能多地保留原始变量的信息，且彼此不相关。
因子分析是研究如何以最少的信息丢失，将众多原始变量浓缩成少数几个因子变量，以及如何使因子变量具有较强的可解释性的一种多元统计分析方法。
聚类分析是依据实验数据本身所具有的定性或定量的特征来对大量的数据迚行分组归类以了解数据集的内在结构，并且对每一个数据集迚行描述的过程。
其主要依据是聚到同一个数据集中的样本应该彼此相似，而属于不同组的样本应该足够不相似。
三种分析方法既有区别也有联系，本文力图将三者的异同迚行比较，并举例说明三者在实际应用中的联系,以期为更好地利用这些高级统计方法为研究所用有所裨益。
二、基本思想的异同(一) 共同点主成分分析法和因子分析法都是用少数的几个变量(因子) 来综合反映原始变量(因子) 的主要信息，变量虽然较原始变量少，但所包含的信息量却占原始信息的85 %以上，所以即使用少数的几个新变量，可信度也很高，也可以有效地解释问题。
并且新的变量彼此间互不相关，消除了多重共线性。
这两种分析法得出的新变量，并不是原始变量筛选后剩余的变量。
在主成分分析中，最终确定的新变量是原始变量的线性组合，如原始变量为x1 ，x2 ，. . . ，x3 ，经过坐标变换，将原有的p个相关变量xi 作线性变换，每个主成分都是由原有p 个变量线性组合得到。
在诸多主成分Zi 中，Z1 在方差中占的比重最大，说明它综合原有变量的能力最强，越往后主成分在方差中的比重也小，综合原信息的能力越弱。
因子分析是要利用少数几个公共因子去解释较多个要观测变量中存在的复杂关系，它不是对原始变量的重新组合，而是对原始变量迚行分解，分解为公共因子与特殊因子两部分。
公共因子是由所有变量共同具有的少数几个因子；特殊因子是每个原始变量独自具有的因子。
对新产生的主成分变量及因子变量计算其得分，就可以将主成分得分或因子得分代替原始变量迚行迚一步的分析，因为主成分变量及因子变量比原始变量少了许多，所以起到了降维的作用，为我们处理数据降低了难度。
主成分分析的步骤与实施方法
主成分分析的步骤与实施方法主成分分析（Principal Component Analysis，简称PCA）是一种常用的降维数据分析方法，常用于数据预处理和特征提取。
本文将介绍主成分分析的基本步骤以及实施方法，帮助读者了解并应用于实际问题。
1. 数据预处理在进行主成分分析之前，首先需要进行数据预处理。
数据预处理包括数据清洗、归一化等操作，以确保数据的准确性和可靠性。
常见的数据预处理方法有：（1）数据清洗：排除异常值和缺失值，保证数据的完整性和一致性；（2）数据归一化：将数据转化为同一尺度，消除因为数据量纲不同而导致的误差；（3）数据标准化：将数据按照均值为0，方差为1进行线性变换，使得数据服从标准正态分布。
2. 计算协方差矩阵主成分分析的核心是通过计算协方差矩阵来确定数据之间的相关性。
协方差矩阵可以帮助我们找到数据的主要变化方向，进而找到主要成分。
协方差矩阵的计算步骤如下：（1）假设我们有m个n维数据，将其组成m×n的矩阵X；（2）计算X的协方差矩阵C，公式为：C = (X - μ)(X - μ)T / m，其中μ为X的均值向量；（3）计算协方差矩阵C的特征值和特征向量。
3. 计算主成分通过计算协方差矩阵的特征值和特征向量，我们可以得到数据的主成分。
主成分是协方差矩阵的特征向量按对应的特征值从大到小排列后所得到的矩阵。
计算主成分的步骤如下：（1）选择特征值较大的前k个特征向量，其中k为需要降维的维数；（2）将选择出的k个特征向量组成一个投影矩阵P；（3）对原始数据进行降维处理，将原始数据矩阵X与投影矩阵P相乘，得到降维后的数据矩阵Y。
4. 数据重构主成分分析完成后，我们可以通过数据重构来验证主成分的有效性。
重构后的数据尽量保持与原始数据的一致性，以确保降维后的数据仍能保持原有信息的完整性。
数据重构的步骤如下：（1）根据降维后的数据矩阵Y和投影矩阵P，计算重构矩阵X'，公式为：X' = YP' + μ，其中P'为投影矩阵的转置；（2）将重构矩阵X'与原始数据矩阵X进行对比，评估主成分提取的效果。
对主成分分析法三个问题的剖析
逐一剖析： 1． 为什么主成分系数是经标准差标准化后原始变量的协方差矩阵的特征向量 ？ 2． 特征向量正负号 如何选取？ 对进一步的研究如计算综合得分和聚类分析有何影响 ？ 3． 主成分载荷值是如何得来的 ？ 同时指 以致造成错误的结果． 出有些教材在计算主成分得分时混淆了主成分载荷和特征向量的概念 ， 关键词 主成分分析法 特征值 特征向量 主成分载荷 主成分得分
always puzzling students in the process of teaching one by one． The first one is，why the principal component coefficients is the eigenvectors of the covariance matrix of normalized original variables？ And the second one，How to select the sign of eigenvectors？ What is the impact on further studies such as the calculation of composite scores and cluster analysis？ The third one， How the principal component loading values come from？ Besides， confusion of the concept of principal component loading and eigenvectors in the process of calculating the principal component scores from some which would cause erroneous results． materials was pointed out， Key words Principal Component Analysis Eigenvalue Eigenvectors Principal component loading Principal component scores
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
T 1 n 散布 S xi x xi x 矩阵： n i 1
T max a1 Sa1
PCA目 T s . t . a 标函数： 1 a1 1
主成分分析:寻找在最小均方误差意义下最能够代 表原始数据的投影方向。
min A pd X A( A X )
谢谢大家
PCA
1、降噪，消除维度间的相关性，恢复主要维度应有能量 2、去冗余，即去掉多余维度，压缩数据中包含的信息。
主成分分析的几何解释：平移、旋转坐标轴
x2 F2
•• • • • • • • • • • • •• •• • • •• • • • •• • • • • •• • • • • • •
F1
x1
平移、旋转坐标轴的目的是使样本数据在主轴方向的离 散程度最大，且不同轴之间具有不相关性。
示例
x
y
D
2.5000 0.5000 2.2000 1.9000 3.1000 2.3000 2.0000 1.0000 1.5000 1.1000
T 2 F
subject to AT A I d
2 F
最大散度：
max AT SA s.t . AT A I d
重构误差:
X X
Sa a
a Sa
T
结论1、求重构误差最小的投影方向等价于求散度最大的投影方向 结论2、主成分分析的本质就是对角化协方差矩阵
主成分分析的物理意义
主成分分析（PCA）
提纲
引言 主成分分析计算原理
主成分分析过程物理意义
小结
引言：高维数据
……
基因数据
人脸图像数据
数字手写体数据
其他数据
降维——从3维到2维
主成分分析:寻找最能够代表原始数据分布特性的 投影方向。
n 2 1 2 T T var[z1 ] E ((z1 z1 ) ) a1 xi a1 x n i 1 T 1 n T a1 xi x xi x a1 a1T Sa1 n i 1
2.4000 0.7000 2.9000 2.2000 3.0000 2.7000 1.6000 1.1000 1.6000 0.9000
示例
x 1.8100 y 1.9100
Var (x) (x x)(x x)T / (n 1) 0.6166
Var (y) (y y)(y y)T / (n 1) 0.7166
Cov(x, y) (x x)(y y)T / (n 1) 0.6154
0.6166 Cov 0.6154 0.6154 0.7166
%matlab code D=load('pca.txt'); var_x=sum((D(:,1)-mean(D(:,1))).^2)/(length(D(:,1))-1); var_y=sum((D(:,2)-mean(D(:,2))).^2)/(length(D(:,2))-1); cov_xy=sum((D(:,2)-mean(D(:,2))).*(D(:,1)-mean(D(:,1))))/(length(D(:,2))-1); %the above three lines equal to: cov(D)
vector(-0.7352,0.6779)T
具体应用:图像压缩
d=1
d=16
d=2
d=32
d=4
d=64
d=8
d=100
原始图像
具体应用:人脸识别……
≈ c 1*
+ c 2*
+ … + cd*
+ δ(I)
小结
重 点
主成分分析方法的工作机理
难 点
主成分分析过程的物理意义
思考
• 基于信息重构的最佳表示 • 对于分类问题是否最优？是否可以提取带有 判别信息的主成分信息？
示例
[ei_vector, ei_value] = eig(coi_vector = 0.6779 0.7352
0 0.0491 ei_value 0 1.2840
vector(0.6779, 0.7352)T