第11章(1)主成分分析
主成分分析
差 在测定。如果仅考虑X1或X2中的任何一个分量，那么包含
另一分量中的信息将会损失，因此，直接舍弃某个分量 不是“降维”的有效办法。
图6.1 主成分的几何意义
如 标果 系我y1们Oy将2 ，该这坐里标y系1 是按椭逆圆时的针长方轴向方旋向转，某y2个是角椭度圆的变短成轴新方坐向。
主要内容
主成分分析的基本思想 主成分分析的基本理论 主成分分析的几何意义 主成分的性质
引言
例子
如何评价一个学生在大学期间的表现
◦ 课程考试成绩 ◦ 社会工作 ◦ 科研
为了尽可能全面地评价，我们会引入很 多变量，目的是通过这些变量将学生的 差异显示出来
最终需要提供一种方法能够简单地概括 学生的特点和相对排名
所以
p
p
i ii
i 1
i 1
p
p
或 D(Yi ) D( X i )
i 1
i 1
性质 3 主成分 Yk 与原始变量 X i 的相关系数为
(6.20） (6.21）
(Yk , Xi )
k ii
tki
并称之为因子负荷量（或因子载荷量）。
(6.22）
证明：事实上
(Yk , Xi )
Cov(Yk , Xi ) Cov(TkX, eiX)
◦ 另条一线种，是第椭 一圆 主扁 成平 分到 包了 含极 有限二，维变空成间点y1轴的上全的部一信 息，仅用这一个综合变量代替原始数据不会有 任何的信息损失，此时的主成分分析效果是非 常理想的，其原因是，第二主成分不包含任何 信息，舍弃它当然没有信息损失。
主成分分析 ppt课件
ppt课件
19
Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩 作用之外，还具有不相关的性质，这就使得在研
究复杂的问题时避免了信息重叠所带来的虚假性。
二维平面上的个点的方差大部分都归结在Fl轴上， 而F2轴上的方差很小。Fl和F2称为原始变量x1和x2 的综合变量。F简化了系统结构，抓住了主要矛盾。
ppt课件
16
如果我们将xl 轴和x2轴先平移，再同时按逆时针方向旋转角度，得到 新坐标轴Fl和F2。Fl和F2是两个新变量。
ppt课件
17
根据旋转变换的公式：
y1 y1
x1 cos x2 sin x1 sin x2 cos
y1 cos sin x1 Ux y2 sin cos x2
• •
x1
解 释
•••
ppt课件
13
平移、旋转坐标轴
x2
F1
主 成 分 分 析 的 几 何 解 释
F2 •
•••
••••• ••
••••••••••
•••••••
••••••
•
x1
ppt课件
14
平移、旋转坐标轴 x2
F1
主 成 分 分 析 的 几 何 解
F2
•
• •• •
• •
•••
•••
• •• •••••••••••••••• ••••
ppt课件
11
平移、旋转坐标轴
x2
F1
主 成
F2
•• • • •
分 分 析 的 几 何
•• • •
•• •
•
• •
•••
主成分分析法
主成分分析法一、主成分分析（principal components analysis ）也称为主分量分析，是由Holtelling 于1933年首先提出的。
主成分分析是利用降维的思想，把多指标转化为少数几个综合指标的多元统计分析方法。
二、应用背景：对同一个体进行多项观察时，必定涉及多个随机变量X1，X2，…，Xp ，它们都是相关的, 一时难以综合。
这时就需要借助主成分分析 (principal component analysis)来概括诸多信息的主要方面。
我们希望有一个或几个较好的综合指标来概括信息，而且希望综合指标互相独立地各代表某一方面的性质。
任何一个度量指标的好坏除了可靠、真实之外，还必须能充分反映个体间的变异。
如果有一项指标，不同个体的取值都大同小异，那么该指标不能用来区分不同的个体。
由这一点来看，一项指标在个体间的变异越大越好。
因此我们把“变异大”作为“好”的标准来寻求综合指标。
例1、考察对象股票业绩（这里单个股票为观察个体）。
（1）确定影响股票业绩主要因素：主营业务收入（X1），主营业务利润（X2）利润总额（X3），净利润（X4），总资产（X5），净资产（X6），净资产收益率（X7），每股权益（X8），每股收益（X9），每股公积金（X10），速动比率（X11）作为变量。
因此对单个股票来说，用11个随机变量综合刻化。
但这些因素过多，各因素区别不明显，有交叉反映。
通过主成分分析，可降为少数几个综合指标加以刻化。
（2）考察20支不同的股票。
从数学角度看，每种影响因素是随机变量（X i ），观察一支股票便得到影响该股票的11个随机变量取值；观察20支股票，便得到了20×11的原始数据阵X20×11（略）。
三、问题：作为主成分？严格的数学定义？相应的性质有哪些？主成分取多少？1、主成分的一般定义设有随机变量X1，X2，…，Xp ， 其样本均数记为1X ，2X ，…，p X，样本标准差记为S1，S2，…，Sp 。
主成分分析法
.972 .581 .497 .906 .781 .642 .805 .364 .426 .282 .540 .489 .661 .673 .513 .811 .765 .788 .827
提取方法 :主成份。 旋转法 :具有 Kaiser 标准化的正交旋
转法。 a. 旋转在 3 次迭代后收敛。
5、碎石图分析
主成分分析法
精选完整ppt课件
1
一、主成分分析法概述
二、主成分分析法的基本原理
三、主成分分析法的应用
四、主成分分析法的步骤和方法
五、主成分分析法的操作流程
六、主成分分析法的结果分析
七、应用主成分分析法的注意事项
八、与因子分析法的区别
精选完整ppt课件
2
一、主成分分析法概述
每个人都会遇到有很多变量的数据。
如果将选取的第一个线性组合即第一个综合变量
记为F1，自然希望F1尽可能多的反映原来变量的
信息。怎样反映?
精选完整ppt课件
5
最经典的方法就是用方差来表达，即var(F1)越大， 表示F1包含的信息越多。因此在所有的线性组合 中所选取的F1应该是方差最大的，故称之为第一 主成分（principal component I）。
精选完整ppt课件
7
2、基于主成分分析的新疆与全国旅游产业竞争力评价
本文采用主成分分析(PCA)方法,对新疆旅游业的竞争能力与全 国其他省、区、直辖市进行比较。对全国31个省、区、直辖市的 310个原始数据,根据PCA方法的原理和步骤进行计算机处理,可以 得到主成分因子的特征值、贡献率与累积贡献率及因子提取结果 。前3个主成分因子的累积贡献率达87.154%,根据累积贡献率大于 85%的主成分因子选取原则,选择前3个主成分因子,而且选择的3个 主成分因子相互之间不存在相关性。
主成分分析
一、主成分分析基本原理概念：主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法。
从数学角度来看，这是一种降维处理技术。
思路：一个研究对象，往往是多要素的复杂系统。
变量太多无疑会增加分析问题的难度和复杂性，利用原变量之间的相关关系，用较少的新变量代替原来较多的变量，并使这些少数变量尽可能多的保留原来较多的变量所反应的信息，这样问题就简单化了。
原理：假定有 n 个样本，每个样本共有p 个变量，构成一个n ×p 阶的数据矩阵，x11x12 x1px21 x22 x2p Xxn 1xn2xnp记原变量指标为x1，x2，,，xp ，设它们降维处理后的综合指标，即新变量为 z1，z2，z3，,，zm(m ≤p)，则z 1l11x 1 l 12x 2l1p xpz 2 l 21x1 l22x2l2p xp ............ z mlm1x 1 l m2x 2lmp xp系数lij 的确定原则：①zi 与zj （i ≠j ；i ，j=1，2，,，m ）相互无关；②z 是x 1 ，x ，,，x 的一切线性组合中方差最大者，z 是与z 不相关的x ，x ，,，1 2P2 1 1 2 xP 的所有线性组合中方差最大者；zm 是与z1，z2，,,， zm －1都不相关的x1，x ，,x P ，的所有线性组合中方差最大者。
2新变量指标z1，z2，,，zm 分别称为原变量指标x1，x2，,，xP 的第1，第2，,，第m 主成分。
从以上的分析可以看出，主成分分析的实质就是确定原来变量xj （j=1，2 ，,，p ）在诸主成分zi （i=1，2，,，m ）上的荷载lij （i=1，2，,，m ；j=1，2，,，p ）。
从数学上可以证明，它们分别是相关矩阵m个较大的特征值所对应的特征向量。
二、主成分分析的计算步骤1、计算相关系数矩阵r11 r12 r1 pr21 r22 r2 pRrp1 rp2 rpprij（i，j=1，2，,，p）为原变量xi与xj的相关系数，rij=rji，其计算公式为n(x ki x i)(x kj x j)r ijk1n n(x ki2(x kj x j)2 x i)k1k12、计算特征值与特征向量解特征方程I R0，常用雅可比法（Jacobi）求出特征值，并使其按大小顺序排列1 2 p0；p 分别求出对应于特征值i的特征向量e i(i1,2,L,p)，要求ei=1，即e ij21j1其中e ij表示向量e i的第j 个分量。
多元分析：主成分分析与因子分析
第十一章 多元分析：主成分分析与因子分析引言主成分分析和因子分析在多元分析框架内是数据结构分析技术，与第六章的多元回归、第七章的多变量协整一起是多变量分析中广泛使用的技术。
它们不同于多元回归。
回归的目标是识别外生变量与内生变量的关系，而在主成分分析和因子分析情形下，仅确定内生变量间的结构关系。
它们也不像协整，变量间不需要平稳性。
在金融、社会科学或其它领域，通常需要识别多变量结构的特征，其有两个特征是被子广泛关心的：1． 多变量结构中的波动性。
2． 变量间的相关或共线性。
在结构的整体变化中，通常是一些变量起产生主要的影响，而其它变量仅有次要的或不显著的影响。
困难的是要了解哪些变量能被确定在这个结构中和它在结构中应怎样度量。
例如，如果两个变量是完全相关的，则不需要第二个变量，它不会带来进一步的信息。
这类似多元回归的共线问题。
在一般情况下，包含哪个变量，剔除哪个变量并不是很清楚的，我们需要有能够程序化的有效方法来识别带有最可用信息的变量或变量组合。
主成分分析（PCA ）是分析多变量结构波动时有用的技术。
因子分析（F A ）在分析多变量结构变量的相关时很有用。
两者都依赖于方差/协方差矩阵，因为这个矩阵在一定范围内包含了变量间有用的全部信息。
因此在一定范围内，两者是重复的或相互补充的。
在这章，我们将方差/协方差矩阵记为C 。
尽管PCA 和F A 都利用方差/协方差矩阵，但它们不同于第四章和第九章中的均值—方差分析。
均值—方差分析度量了一组变量的总体变异性，而没有特别指明一部分变量对总变异性的贡献。
PCA 识别和排序了部分变量在总变异性中的贡献,每个部分变量称为“主成分”。
它识别了部分变量间组成的协方差的强度，每个主成分对总的变异性的贡献，并根据部分变量组的方差进行排序。
使用PCA ，数据内的总体变异性由特征值之和（它等于C矩阵主对角线上元素之和，也称为迹）度量，成分（变量的线性组合）的选择是依次序减少特征值，直到满足总变异性的一个足够大的比例。
主成分分析(主元分析,PCA)原理
PCA原理1因为经常做一些图像和信号处理的工作，要用到主元分析（Principal Components Analysis）作为工具。
写出来供自己和朋友参考。
PCA是一种统计技术，经常应用于人面部识别和图像压缩以及信号去噪等领域，是在高维数据中提取模式的一种常用技术。
要了解PCA首先要了解一些相关的数学知识，这里主要介绍协方差矩阵、特征值与特征矢量的概念。
1、协方差矩阵协方差总是在两维数据之间进行度量，如果我们具有超过两维的数据，将会有多于两个的协方差。
例如对于三维数据（x, y, z维），需要计算cov(x,y)，cov(y,z)和cov(z,x)。
获得所有维数之间协方差的方法是计算协方差矩阵。
维数据协方差矩阵的定义为（1）这个公式告诉我们，如果我们有一个n维数据，那么协方差矩阵就是一个n行n 列的方矩阵，矩阵的每一个元素是两个不同维数据之间的协方差。
对于一个3维数据（x,y,z），协方差矩阵有3行3列，它的元素值为：(2)需要注意的是：沿着主对角线，可以看到元素值是同一维数据之间的协方差，这正好是该维数据的方差。
对于其它元素，因为cov（a,b）=cov（b,a），所以协方差矩阵是关于主对角线对称的。
2、特征值和特征矢量只要矩阵大小合适，就可以进行两矩阵相乘，特征矢量就是其中的一个特例。
考虑图2.1中两个矩阵和矢量乘法。
图2.1 一个非特征矢量和一个特征矢量的例子图2.2 一个缩放的特征矢量仍然是一个特征矢量在第一个例子中，结果矢量不是原来因子矢量与整数相乘，然而在第二个例子中，结果矢量是原来因子矢量的4倍，为什么会这样呢？该矢量是一个2维空间矢量，表示从原点(0,0)指向点(3,2)的箭矢。
方矩阵因子可以看作是转换矩阵，一个矢量左乘该转换矩阵，意味着原始矢量转换为一个新矢量。
特征矢量来自于转换特性。
设想一个转换矩阵，如果用其左乘一个矢量，映射矢量是它自身，这个矢量（以及它的所有尺度缩放）就是该转换矩阵的特征矢量。
主成分分析
语言表达就是要求Cov(F1，F2)＝0，称F2为第二主成分， 依此类推可以造出第三，四，…，第p个主成分。不难 想像这些主成分之间不仅不相关，而且它们的方差依次 递减。因此在实际工作中，就挑选前几个最大主成分， 虽然这样做会损失一部分信息，但是由于它使我们抓住 了主要矛盾，并从原始数据中进一步提取了某些新的信 息，因而在某些实际问题的研究中得益比损失大，这种 既减少了变量的数目又抓住了主要矛盾的做法有利于问 题的分析和处理。
第p个特征值所对应特征向量处达到。
这里要说明两点：一个是数学模型中为什么作线性组合? 基于两种原因：①数学上容易处理；②在实践中效果很好。 另一个要说明的是每次主成分的选取使Var(Fi)最大，如果 不加限制就可使Var(Fi) 则就无意义了，而常用的 限制是要求 （2 ）主成分的几何意义 从代数学观点看主成分就是p个变量X1…，Xp的 一些特殊的线性组合，而在几何上这些线性组合正是把 X1，…，Xp构成的坐标系旋转产生的新坐标系，新坐标 轴使之通过样品变差最大的方向(或说具有最大的样品 方差 )。下面以最简单的二元正态变量来说明主成分的 9 2015/12/16 几何意义。
我们看到F1，F2是原变量 X1 和 X2 的线性组合，用矩阵表 示是
显然
且是正交矩阵，即
从上图还容易看出二维平面上的n个点的波动(可用方 差表示)大部分可以归结为在 F1 轴上的波动，而在F2轴上 的波动是较小的。如果上图的椭园是相当扁平的，那么我 们可以只考虑F1方向上的波动，忽略F2方向的波动。这样 一来，二维可以降为一维了，只取第一个综合变量 F1即可。 2015/12/16 11 而F1是椭园的长轴。
2、主成分分析的数学模型及几何解释
（1 ）、 数学模型
设有 n 个样品，每个样品观测p项指标(变量), X1, X2， …，Xp，得到原始数据资料阵： 2015/12/16 5
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
汇报什么？
假定你是一个公司的财务经理，掌握了公司的
所有数据，比如固定资产、流动资金、每一笔 借贷的数额和期限、各种税费、工资支出、原 料消耗、产值、利润、折旧、职工人数、职工 的分工和教育程度等等。 如果让你向上面介绍公司状况，你能够把这些 指标和数字都原封不动地摆出去吗？ 当然不能。 你必须要把各个方面作出高度概括，用一两个 指标简单明了地把情况说清楚。
6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
68.337 95.416 62.901 86.624 91.394 76.912 51.274 68.831 77.301 76.948 99.265 118.505 141.473 137.761 117.612 122.781
k 1 k 1 p i k
(i 1,2, , p)
k
一般取累计贡献率达85—95%的特征值 1 , 2 ,, m 所对应的第一、第二、…、第m（m≤p）个主成分。
④ 计算主成分载荷
lij p( zi , x j ) i eij (i, j 1,2,, p)
（5 ）
构成一个n×p阶的地理数据矩阵
x11 x 21 X xn 1 x12 x22 xn 2 x1 p x2 p xnp
（1）
当p较大时，在p维空间中考察问题比较麻烦。 为了克服这一困难，就需要进行降维处理，即用 较少的几个综合指标代替原来较多的变量指标， 而且使这些较少的综合指标既能尽量多地反映原 来较多变量指标所反映的信息，同时它们之间又 是彼此独立的。
系数lij的确定原则：
(2)
① zi与zj（i≠j；i，j=1，2，…，m）相互 无关；
② z1是x1，x2，…，xP的一切线性组合中方差 最大者，z2是与z1不相关的x1，x2，…，xP的 所有线性组合中方差最大者； …… zm是与z1，z2，……，zm－1都不相关的x1， x2，…xP， 的所有线性组合中方差最大者。 则新变量指标z1，z2，…，zm分别称为原变量 指标x1，x2，…，xP的第一，第二，…，第m 主成分。
平移、旋转坐标轴
x2
F1
主 成 分 分 析 的 几 何 解 释
F2
•• • • • • • • • • • • •• •• • • •• • • • •• • • • • •• • • • • • •
x1
平移、旋转坐标轴
x2
F1
主 成 分 分 析 的 几 何 解 释
F2
•
• •• • • • • •••• • • • • •• • • • •• • • • •• • • • •• •• • ••
x1
平移、旋转坐标轴
x2
F1
•
主 成 分 分 析 的 几 何 解 释
F2
• • • • • • • • • • • • •• • • • • •
• • • • • • • • • • • •• • •
x1
多维变量的情形类似，只不过是一个高维椭球，无法 直观地观察 每个变量都有一个坐标轴，所以有几个变量就有几主 轴。首先把椭球的各个主轴都找出来，再用代表大多 数数据信息的最长的几个轴作为新变量，这样，降维 过程也就完成了
② 分别求出对应于特征值 i的特征向量
ei (i 1,2,, p) ，要求 ei =1，即
2 其中 表示向量 e ij 1 j 1 p
，
eij j个分量。 的第 ei
③ 计算主成分贡献率及累计贡献率
▲贡献率:
i
k 1
p
(i 1,2, , p)
k
▲累计贡献率:
找出的这些新变量 是原来变量的线性 组合，叫做主成分
三变量主成分分析示意图
PC1=a1xi1+a2xi2+a3xi3 PC2= b1xi1+b2xi2+b3xi3
主成分变换将三维空间的样本显示
一、主成分分析的基本原理
假定有n个样本，每个样本共有p个变量，
对主成分的要求
上例可见，用总分有时可以反映原分数表
的情况，保留原有信息，有时则把信息丢 尽，不能反映原理的情况和差异。根据总 分所对应的方差可以确定其代表了多大比 例的原始数据（分数）信息。
一般来说，我们希望能用一个或少数几个
综合指标（分数）来代替原来分数表做统 计分析，而且希望新的综合指标能够尽可 能地保留原有信息，并具有最大的方差。
11.4 主成分分析实例分析
例1 根据表1给出的数据，对某农业生态经济系统做 主成分分析。体验处理过程。
表1 某农业生态经济系统各区域单元的有关数据
x 8 ：果 x 9 ：灌溉 园与林 田占耕地 地面积 面积之比 之比(％) (％) 2.231 1.455 7.474 1.892 0.303 26.262 27.066 12.489 17.534 22.932
从以上的分析可以看出，主成分分析的 实质就是确定原来变量xj（j=1，2 ，…， p） 在诸主成分zi（i=1，2，…，m）上的荷载 lij （ i=1，2，…，m； j=1，2 ，…，p）。 从数学上容易知道，从数学上可以证明， 它们分别是相关系数矩阵的m个较大的特征值 所对应的特征向量。
二、计算步骤
定义：记x1，x2，…，xP为原变量指标，z1， z2，…，zm（m≤p）为新变量指标
z1 l11 x1 l12 x 2 l1 p x p z 2 l 21 x1 l 22 x 2 l 2 p x p z m l m1 x1 l m 2 x 2 l mp x p
(以两个变量为例)
对这两个相关变量所携带的信息(在统计上信息往往是 指数据的变异)进行浓缩处理 假定只有两个变量 x1 和 x2 ，从散点图可见两个变量存 在相关关系，这意味着两个变量提供的信息有重叠 如果把两个变量用 一个变量来表示， 同时这一个新的变 量又尽可能包含原 来的两个变量的信 息，这就是降维的 过程
rij
(x
k 1 n k 1
n
ki
xi )(xkj x j )
2 2 ( x x ) kj j k 1 n
( xki xi )
（4）
（二）计算特征值与特征向量：
① 解特征方程 I R 0 ，常用雅可比法 （Jacobi）求出特征值，并使其按大小顺序排 列 1 2 , p 0 ；
主成分分析(Principal Component Analysis, 简称
PCA)是一种常用的基于变量协方差矩阵对信息进 行处理、压缩和抽提的有效方法。
为什么要根据方差确定主成分？
情形II下总分的方差为0，显然不能反映三个学生各科 成绩各有所长的实际情形，而红色标记的变量对应的 方差最大，可反映原始数据的大部分信息
（一）计算相关系数矩阵
r11 r 21 R r p1 r12 r22 rp 2 r1 p r2 p r pp
（3）
rij （ i ， j=1 ， 2 ， … ， p ）为原变量 xi 与 xj 的相关系数， rij=rji，其计算公式为：
11.1 什么是主成分分析？
我们来看一个例子：小学各科成绩的评估可
以用下面的综合成绩来体现： a1×語文＋a2×数学＋a3×自然＋a4×社会 科学 确定权重系数的过程就可以看作是主成分分 析的过程，得到的加权成绩总和就相对于新 的综合变量——主成分
推而广之，当某一问题需要同时考虑好几个
椭圆中有一个长轴和一个短轴，称为主轴。在长轴方向，数据 的变化明显较大，而短轴方向变化则较小 如果沿着长轴方向设定一个新的坐标系，则新产生的两个变量 和原始变量间存在一定的数学换算关系，同时这两个新变量之 间彼此不相关，而且长轴变量携带了大部分的数据变化信息，而
短轴变量只携带了一小 部分变化的信息(变异) 此时，只需要用长轴方 向的变量就可以代表原 来两个变量的信息 。这 样也就把原来的两个变 量降维成了一个变量 。 长短轴相差越大，降维 也就越合理(见图示)
1540.29 926.35 1501.24 897.36 911.24 103.52 968.33 957.14 824.37 1255.42 1251.03 1246.47 814.21 1124.05 805.67 1313.11
216.39 291.52 225.25 196.37 226.51 217.09 181.38 194.04 188.09 211.55 220.91 242.16 193.46 228.44 175.23 236.29
2.032 0.801 1.652 0.841 0.812 0.858 1.041 0.836 0.623 1.022 0.654 0.661 0.737 0.598 1.245 0.731
76.204 71.106 73.307 68.904 66.502 50.302 64.609 62.804 60.102 68.001 60.702 63.304 54.206 55.901 54.503 49.102
每个人都会遇到有很多变量的数据。 比如全国或各个地区的带有许多经济和社会变
量的数据；各个学校的研究、教学等各种变量 的数据等等。 这些数据的共同特点是变量很多，在如此多的 变量之中，有很多是相关的。人们希望能够找 出它们的少数“代表”来对它们进行描述。 把变量维数降低以便于描述、理解和分析的方 法 ： 主 成 分 分 析 （ principal component analysis）和因子分析（factor analysis）。 实际上主成分分析可以说是因子分析的一个特 例。本章介绍主成分分析法。