主成分分析PPT课件_1
合集下载
主成分分析原理介绍PPT课件
➢问题的提出
有n个地理样本，每个样本共有p个变量， 构成一个n×p阶的地理数据矩阵
x11 x12 x1 p
X
x
21
x22
x2
p
x
n1
xn2
x np
当p较大时，在p维空间中考察问题比较麻烦。
1. 主成分分析的基本原理
为了克服这一困难，就需要进行降维处 理，即用较少的几个综合指标来代替原来的 指标，而且使这些综合指标能尽量多地反映 原来指标所表示的信息，同时他们之间又是 彼此独立的。
z1 l11x1 l12x2 l1p xp
z2 l21x1 l22x2 l2p xp
zm lm1x1 lm2 x2 lmpxp
z1，z2，…，zm分别称为原变量指标x1，x2，…， xP的第一，第二，…，第m主成分。
➢推广到p维空间：
由此可见，主成分分析的主要任务就是确定 原变量xj（j=1，2，…，p）在诸主成分zi（i=1， 2，...，m）上的系数lij。
必须考虑许多指标，这些指标能从不同的侧面反 映所研究的对象的特征，但指标过多，会增加分 析的复杂性，原始变量能不能减少为有代表性的 少数几个新变量，用它来代表原来的指标？
1. 主成分分析的基本原理
主成分分析就是寻找用较少的新变量代替 原来较多的旧变量，而且使新变量尽可能多 地保留原来较多信息的方法。
zz1 2csoisn cso insxx1 2Ux
U是正交矩阵，即有
UU1,UUE
zl，z2除了可以对包含在xl，x2中的信息起着 浓缩作用之外，还具有不相关的性质，这就使得 在研究复杂的问题时避免了信息重叠所带来的虚 假性。二维平面上的各点的方差大部分都归结在 zl轴上，而z2轴上的方差很小。zl和z2称为原始变 量x1和x2的综合变量。
主成分分析方法PPT课件
n
yij
n
2
yij yj
yj
i1 n
,s2j i1
n1
得标准化矩阵Z:
z1T Z= z2T =
znT
z11 z12 ┅ z1m z21 z22 ┅ z2m
┇┇┇ ┇
zn1 zn2 ┅ znm
一、主成分分析的基本原理
假定有n个样本，每个样本共有m个变量， 构成一个n×m阶的数据矩阵(标准化后的 数据)
j1
③ 计算主成分贡献率及累计贡献率
▲贡献率:
i
m
k
k 1
(i 1, 2, , m)
▲累计贡献率:
i
k
k 1
m
k
k 1
(i 1, 2, , m )
一般取累计贡献率达85—95%的特征值 1,2, ,p
所对应的第一、第二、…、第p（p≤m）个主成分。
（三）确定主成分
1.主成分表达式：
F i e i 1 X 1 e i2 X 2 e i m X mi 1p
胸围x2 69.5 77.0 78.5 87.5 74.5 74.5 76.5 81.5 74.5 79.0
体重x3 38.5 55.5 50.8 65.5 49.0 45.5 51.0 59.5 43.5 53.5
Matlab程序
%cwfac.m function result=cwfac(vector); fprintf('相关系数矩阵:\n') std=corrcoef(vector) %计算相关系数矩阵 fprintf('特征向量(vec)及特征值(val)：\n') [vec,val]=eig(std) %求特征值(val)及特征向量(vec) newval=diag(val) ; [y,i]=sort(newval) ; %对特征根进行排序，y为排序结果，i为索
主成分分析 ppt课件
ppt课件
19
Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩 作用之外，还具有不相关的性质，这就使得在研
究复杂的问题时避免了信息重叠所带来的虚假性。
二维平面上的个点的方差大部分都归结在Fl轴上， 而F2轴上的方差很小。Fl和F2称为原始变量x1和x2 的综合变量。F简化了系统结构，抓住了主要矛盾。
ppt课件
16
如果我们将xl 轴和x2轴先平移，再同时按逆时针方向旋转角度，得到 新坐标轴Fl和F2。Fl和F2是两个新变量。
ppt课件
17
根据旋转变换的公式：
y1 y1
x1 cos x2 sin x1 sin x2 cos
y1 cos sin x1 Ux y2 sin cos x2
• •
x1
解 释
•••
ppt课件
13
平移、旋转坐标轴
x2
F1
主 成 分 分 析 的 几 何 解 释
F2 •
•••
••••• ••
••••••••••
•••••••
••••••
•
x1
ppt课件
14
平移、旋转坐标轴 x2
F1
主 成 分 分 析 的 几 何 解
F2
•
• •• •
• •
•••
•••
• •• •••••••••••••••• ••••
ppt课件
11
平移、旋转坐标轴
x2
F1
主 成
F2
•• • • •
分 分 析 的 几 何
•• • •
•• •
•
• •
•••
主成分分析方法-PPT课件
定义：记x1，x2，…，xP为原变量指标，z1， z2，…，zm（m≤p）为新变量指标
z1 l1 1x1 l1 2x2 l1 p x p z2 l2 1x1 l2 2x2 l2 p x p z l x l x l x m1 1 m2 2 mp p m
2.根据特征根的变化来确定
1 p i 1 p i1
i
④ 计算主成分载荷
l p ( z , x ) e ( i , j 1 , 2 , , p )（3.5.5） ij i j i ij
⑤ 各主成分的得分：
z11 z 21 Z z n1 z12 z 22 zn2 z 1m z 2m z nm
六、主成分模型中各统计量的意义
１、主成分的方差贡献率：
i
p
i1
i
这个值越大，表明第i主成分综合信息的
能力越强。 i 2、主成分的累计贡献率 i 表明取前几个主成分基本包含了全部测 量指标所具有信息的百分率。
七、主成分个数的选取
1.累积贡献率达到85%以上
ei
e i 1 , 2 , ,p )，要求 i(
p
j 1
e ij2 1 ，
③ 计算主成分贡献率及累计贡献率
▲贡献率:
i
k 1
p
(i 1 ,2, , p)
k
▲累计贡献率:
k 1 k 1 p i k
(i 1,2, , p )
k
, , 一般取累计贡献率达85—95%的特征值 1 2, m 所对应的第一、第二、…、第m（m≤p） 个主成分。
《主成分分析》幻灯片PPT
PCA的实质——简化数据
用尽可能少的变量〔主成分〕反映原始数据中尽 可能多的信息，以简化数据，突出主要矛盾。
反映原始数据特征的指标：方差-离散度 主成分：原始变量的最优加权线性组合 最优加权：
第一主成分：寻找原始数据的一个线性组合，使 之具有最大方差〔数据离散度最大的方向〕
第二主成分：寻找原始数据的一个线性组合，使 之具有次大方差，且与第一主成分无关
12.00
14.00
16.00
run100m
18.00
20.00
二、PCA的模型与算法
设:x为标准化变量, 原始数据阵 X s [x 1 ,x 2 , x p ] PCA目标：找到原始数据方差最大的线性组合
❖设：线性组合系数为p×1=[1, 2, … p]T
❖即:要找一个 使z=Xs= 1x1+ 2x2 +…+ pxp具有
What does PCA do?
Original data matrix, say n by p 正交旋转
New data matrix, say n by q, with q < p：
例：研究55个国家运发动径赛 能力，用8项径赛成绩
经PCA得到新数据阵： z55×2：选取2个主成分， 其中第一主成分表示综合
0.0
1
第一主成分-1.0包0 含的信0.0息0 量显然1.00
-21..000
售 电 量
Z2
大于第二主成分，因而忽略s 第
二主成分信息损失不大 -2.0
-2
-1
Ma Xin, North China Electric Power University
0
1
2
3
主成分分析方法优秀课件
❖ 从以上的分析可以看出，主成分分析的实质就
是确定原来变量xj（j=1，2 ，…， p）在诸主 成分zi（i=1，2，…，m）上的荷载 lij（ i=1， 2，…，m； j=1，2 ，…，p）
❖ 从几何上看,找主成分的问题,就是找出P维空间 中椭球体的主轴问题；从数学上容易知道，从
数学上可以证明，它们分别是相关矩阵的m个
=0
❖ 所以上述条件等同于
6
5Co(Yv1,Y2) y1jy2j 0 j1
❖ 因此，如果原坐标旋转后的Y1轴是我们要 求的使Var(Y1)最大的直线的话，则必然有 Var(Y2)最小，且 Co(Y1v,Y2)0。这说明6个 样方点对新坐标的离差矩阵应为
YT Y 5 C V(Y o (1 a Y ,1 Y )2 v )rC V(Y o (a 1 Y ,2 Y )2 v )r 0 1
力的工具。主成分分析是把原来多个变量划为少数几个综 合指标的一种统计分析方法。从数学角度来看，这是一种 降维处理技术
§1 主成分分析方法的基本原理
假定有n个地理样本，每个样本共有p个 变量，构成一个n×p阶的地理数据矩阵
x11 x12 x1 p
X
x21
x22
x2
p
xn1
xn 2
xnp
6
样方
1
物种X1 1
物种X2 5
2 3 4 5 6 总和 2 0 2 -4 -1 0 2 1 0 -4 -4 0
种X2
X2
12
10
8
6
4
2
0
0
1
2
3
4
5
6
7
种X1
6 5 4 3 2 1 0 -5 -4 -3 -2 -1-1 0 1 2 3 4 5 6 -2 -3 -4 -5
主成分分析PPT课件
a a j1 0
a a j1 0
称 Y j aj X 为原始变量 X 的第 j 个主成分。
14
按 前面 的 步骤 依 次类 推， 可 得到
p
个主成分y1 ,
y2 ,
,
y
，
p
它
们
两
两
不 相关 ， 且 方差 依 次减少 。
15
定理3.2.1 设 的 p 个顺序特征值为
1 p 0， 1 2 p ，
***********
**
*
*
X1
方差
10
假设原始的
p 个变量为： X1, X 2 ,
,
X
，记：
p
X1
X
X2
X p
D( X ) ( ij ) p p
令：新变量 Y aX
11
第一主成分
求 p 维常数向量 a1 ,使得
Da1X max DaX max a a
aa 1
aa 1
其中
j(
j
1,2,
,
p)是对应于
的标准
j
正交特征向量，则 I , X 的第 j 个
主成分Yj 表达式的系数向量a j j ,
即Y j
j X ,且D(Yj )
。
j
16
主成分的几何意义
X2
Y2
Y1
*
*
***
*
* * *
*
** *
* *
* *
*
* ************* **
*
X1
***
X2
21
22
X p p1 p2
1k Y1 X1
主成分分析PPT课件
u2
M
a1
p
up
p
iauiuia i1
p
i (aui )2 i1
1
p
(au
i 1
i
)2
p
1 auiuia i 1
1aUUa 1aa 1
当且仅当a1 =u1时，即 F1 u11X1 u p1X p 时， 有最大的方差1。因为Var(F1)=U’1xU1=1。
这种由讨论多个指标降为少数几个综合指 标的过程在数学上就叫做降维。主成分分析通 常的做法是，寻求原指标的线性组合Fi。
F1 u11X1 u21X 2 u p1X p F2 u12 X1 u22 X 2 u p2 X p
Fp u1p X1 u2 p X 2 u pp X p
p1 p2
1p
2
p
2 p
由于Σx为非负定的对称阵，则有利用线性代数的 知识可得，必存在正交阵U，使得
1
0
UΣXU
0
p
其中1， 2，…， p为Σx的特征根，不妨假设 1 2 … p 。而U恰好是由特征根相对应的特 征向量所组成的正交阵。
F1
F2
F3
i
i
t
F1
1
F2
0
1
F3
0
0
1
i 0.995 -0.041 0.057
l
Δi -0.056 0.948 -0.124 -0.102 l
t -0.369 -0.282 -0.836 -0.414 -0.112 1
主成分分析简介课件
取值在0.5 ~ 1之间
4、如未收敛则回到步骤3
注：其中 k和 k 是两个待调整的参数；
函数g(y)的选择见参考文献[2]P68
逐次提取独立成分
—投影追踪方法
度量非正态性（非高斯性）：
可以认为，两个独立变量之和形成的分布比两 个原始变量中的任意一个都更接近于正态分布
由于Z是Y的线性组合，只要找到一个度 量非正态性的量，使达到最大，就可以 使Y中各分量独立性最大
所找到的矩阵起到将 Qz (M ) 对角化的作 用
基于四阶累积量的JADE法
步骤： 1、取一组矩阵 M i ， 由定义分别求 Qz (M i ) （矩阵的简单取法：取N*N个矩阵，分别
只有一个元素为1，或取一组对称/反对 称的基矩阵，引自[2]P53） 通过优化求解U，使各 Qz (M i ) 联合 对角化（使 (M i ) 中非对角元素的平方 和最小）
此法的矩阵集合可取为 Z [K ijkliikk ijkl (Z )]2
分解结果：
Aˆ W U , Bˆ Aˆ 1 U W , Y BX U WX
非线性PCA的自适应算法
以均方误差最小作为收敛判据， 非线性PCA引入非线性因素等效于考虑高
阶矩 算法具体步骤为： 1、对观测值求均值，用递归法求白化阵
—投影追踪方法
5、归一化： ui (k 1) ui (k 1) 2
ui (k 1)
如果 u p 未收敛，回到步骤3；
令p加1，当p<=m时，回到步骤3。
参考文献
[1] A.Hyvarinen等著，周宗潭等译，独 立成分分析，北京：电子工业出版社， 2007年
[2]杨福生、洪波著，独立分量分析的原 理与应用，北京：清华大学出版社， 2006年
4、如未收敛则回到步骤3
注：其中 k和 k 是两个待调整的参数；
函数g(y)的选择见参考文献[2]P68
逐次提取独立成分
—投影追踪方法
度量非正态性（非高斯性）：
可以认为，两个独立变量之和形成的分布比两 个原始变量中的任意一个都更接近于正态分布
由于Z是Y的线性组合，只要找到一个度 量非正态性的量，使达到最大，就可以 使Y中各分量独立性最大
所找到的矩阵起到将 Qz (M ) 对角化的作 用
基于四阶累积量的JADE法
步骤： 1、取一组矩阵 M i ， 由定义分别求 Qz (M i ) （矩阵的简单取法：取N*N个矩阵，分别
只有一个元素为1，或取一组对称/反对 称的基矩阵，引自[2]P53） 通过优化求解U，使各 Qz (M i ) 联合 对角化（使 (M i ) 中非对角元素的平方 和最小）
此法的矩阵集合可取为 Z [K ijkliikk ijkl (Z )]2
分解结果：
Aˆ W U , Bˆ Aˆ 1 U W , Y BX U WX
非线性PCA的自适应算法
以均方误差最小作为收敛判据， 非线性PCA引入非线性因素等效于考虑高
阶矩 算法具体步骤为： 1、对观测值求均值，用递归法求白化阵
—投影追踪方法
5、归一化： ui (k 1) ui (k 1) 2
ui (k 1)
如果 u p 未收敛，回到步骤3；
令p加1，当p<=m时，回到步骤3。
参考文献
[1] A.Hyvarinen等著，周宗潭等译，独 立成分分析，北京：电子工业出版社， 2007年
[2]杨福生、洪波著，独立分量分析的原 理与应用，北京：清华大学出版社， 2006年
主成分分析PPT
1 n
x n i1 xi
S2 1 n n1i1
xi x 2
样本X和样本Y的协方差：
C o v X ,Y E X E X Y E Y n 1 1 i n 1 x i x y i y
由上面的公式，我们可以得到以下结论
(1) 方差的计算公式是针对一维特征，即针对同一特 征不同样本的取值来进行计算得到；而协方差则必 须要求至少满足二维特征；方差是协方差的特殊情 况。
主成分分析
组长：郭圣锐 小组成员：罗琳 张玉峰 石小丰
背景
在许多领域的研究与应用中，通常需要 对含有多个变量的数据进行观测，收集 大量数据后进行分析寻找规律。多变量 大数据集无疑会为研究和应用提供丰富 的信息，但是也在一定程度上增加了数 据采集的工作量。更重要的是在很多情 形下，许多变量之间可能存在相关性， 从而增加了问题分析的复杂性。如果分 别对每个指标进行分析，分析往往是孤 立的，不能完全利用数据中的信息，因 此盲目减少指标会损失很多有用的信息，
思考：我们如何得到这些包含最大差异 性的主成分方向呢？
答案：事实上，通过计算数据矩阵的协 方差矩阵，然后得到协方差矩阵的特征 值特征向量，选择特征值最大(即方差 最大)的k个特征所对应的特征向量组成 的矩阵。这样就可以将数据矩阵转换到 新的空间当中，实现数据特征的降维。
协方差和散度矩阵
样本均值： 样本方差：
图中， B点表示样例， A点表示在u 上的投影，u 是直
线的斜率也是直线的方向向量，而且是单位向量。蓝色 点是在 u 上的投影点，离原点的距离是 x , u
从总体相关系数矩阵出发求解主成分
记
样本的主成分
实例操作
试计算这8个指标的主成分及对13个工业部门进行排序。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2021/3/10
22
目录 上页 下页 返回 结束
§1 主成分分析的基本思想与理论 §1.1 主成分分析的基本思想 §1.2 主成分分析的基本理论
2021/3/10
33
目录 上页 下页 返回 结束
§1.1 主成分分析的基本思想
在对某一事物进行实证研究中，为了更全面、准确地 反映出事物的特征及其发展规律，人们往往要考虑与其有关 系的多个指标，这些指标在多元统计中也称为变量。这样就 产生了如下问题：一方面人们为了避免遗漏重要的信息而考 虑尽可能多的指标，而另一方面随着考虑指标的增多增加了 问题的复杂性，同时由于各指标均是对同一事物的反映，不 可避免地造成信息的大量重叠，这种信息的重叠有时甚至会 抹杀事物的真正特征与内在规律。基于上述问题，人们就希 望在定量研究中涉及的变量较少，而得到的信息量又较多。 主成分分析正是研究如何通过原来变量的少数几个线性组合 来解释原来变量绝大多数信息的一种多元统计方法。
Y1 u11X1 u12X2 u1p Xp Y2 u21X1 u22X2 u2p Xp Yp up1X1 up2X2 uppXp
பைடு நூலகம்
(5.1)
2021/3/10
77
目录 上页 下页 返回 结束
§1.2 主成分分析的基本理论
由于可以任意地对原始变量进行上述线性变换， 由不同的线性变换得到的综合变量 的统Y计特性也 不尽相同。因此为了取得较好的效果，我们总是希 望 Yi 的ui方'X差尽可能大且各 之间Y i 互相独立，由 于
主成分分析
•§1 主成分分析的基本思想与理论 •§2 主成分分析的几何意义 •§3 总体主成分及其性质 •§4 样本主成分的导出 •§5 有关问题的讨论 •§6 主成分分析步骤及框图 •§7 主成分分析的上机实现
2021/3/10
11
主成分分析
主成分分析（principal components analysis）也称主分量 分析，是由霍特林（Hotelling）于1933年首先提出的。主成 分分析是利用降维的思想，在损失很少信息的前提下把多个 指标转化为几个综合指标的多元统计方法。通常把转化生成 的综合指标称之为主成分，其中每个主成分都是原始变量的 线性组合，且各个主成分之间互不相关，这就使得主成分比 原始变量具有某些更优越的性能。这样在研究复杂问题时就 可以只考虑少数几个主成分而不至于损失太多信息，从而更 容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时 使问题得到简化，提高分析效率。本章主要介绍主成分分析 的基本理论和方法、主成分分析的计算步骤及主成分分析的 上机实现。
vaYir) (vauri'X ()= ui 'ui
而对任给的常数 c，有
vacru(i'X)cui'uicc 2 ui'ui
2021/3/10
88
目录 上页 下页 返回 结束
§1.2 主成分分析的基本理论
因此对 u i不加限制时，可使 var(Yi )任意增大，问题将变得没 有意义。我们将线性变换约束在下面的原则之下：
2021/3/10
1100
目录 上页 下页 返回 结束
§2 主成分分析的几何意义
由第一节的介绍我们知道，在处理涉及多个指标问题的时 候，为了提高分析的效率，可以不直接对 p个指标构成的 p维 随机向量X(X1,X2, ,Xp)进' 行分析，而是先对向量 X进行线
性变换，形成少数几个新的综合变量 Y1,Y2,,YP，使得各综合
2021/3/10
99
目录 上页 下页 返回 结束
§1.2 主成分分析的基本理论
基于以上三条原则决定的综合变量 Y1,Y2,,YP分别 称为原始变量的第一、第二、…、第 p个主成分。 其中，各综合变量在总方差中占的比重依次递减， 在实际研究工作中，通常只挑选前几个方差最大的 主成分，从而达到简化系统结构，抓住问题实质的 目的。
2021/3/10
66
目录 上页 下页 返回 结束
§1.2 主成分分析的基本理论
设对某一事物的研究涉及个 p指标，分别用 X1,X2, ,XP表 示，这个 p指标构成的 p维随机向量为 X(X1,X2, ,Xp)。' 设随
机向量 X的均值为 μ，协方差矩阵为 Σ。
对 X进行线性变换，可以形成新的综合变量，用 Y表示， 也就是说，新的综合变量可以由原来的变量线性表示，即满 足下式：
1．ui'ui 1，即：ui21ui22ui2p1 (i1,2,...p.)。 2．Yi与Y j相互无关(i j; i, j1,2,...p.)。 3.Y 1是 X1,X2,,XP的一切满足原则1的线性组合中方差最
大者；Y 2 是与 Y 1 不相关的 X1,X2,,XP所有线性组合中方差最 大者；…, Y p 是与 Y1,Y2,,YP1都不相关的 X1,X2,,XP的所有 线性组合中方差最大者。
1.每一个主成分都是各原始变量的线性组合；
2.主成分的数目大大少于原始变量的数目
2021/3/10
55
目录 上页 下页 返回 结束
§1.1 主成分分析的基本思想
3.主成分保留了原始变量绝大多数信息
4.各主成分之间互不相关
通过主成分分析，可以从事物之间错综复杂的 关系中找出一些主要成分，从而能有效利用大量 统计数据进行定量分析，揭示变量之间的内在关 系，得到对事物特征及其发展规律的一些深层次 的启发，把研究工作引向深入。
2021/3/10
44
目录 上页 下页 返回 结束
§1.1 主成分分析的基本思想
既然研究某一问题涉及的众多变量之间有一定的相关性， 就必然存在着起支配作用的共同因素，根据这一点，通过 对原始变量相关矩阵或协方差矩阵内部结构关系的研究， 利用原始变量的线性组合形成几个综合指标（主成分）， 在保留原始变量主要信息的前提下起到降维与简化问题的 作用，使得在研究复杂问题时更容易抓住主要矛盾。一般 地说，利用主成分分析得到的主成分与原始变量之间有如 下基本关系：
变量之间相互独立且能解释原始变量尽可能多的信息，这样， 在以损失很少部分信息为代价的前提下，达到简化数据结构， 提高分析效率的目的。这一节，我们着重讨论主成分分析的几 何意义，为了方便，我们仅在二维空间中讨论主成分的几何意 义，所得结论可以很容易地扩展到多维的情况。