数学建模方法-主成分分析和MATLAB应用
主成分分析及其MATLAB实现
比 数为Ｐ ， ＝＾ ， ． 例系 ／ ｅ ／ Ａ
２ 样 本 主成 分 介绍
上面讨论的是全面的总体的主成分 ， 但在现实 问题中 ， 大多数 ∑（ 或 ） 是不知道的 ， 需要通过所
给 的样本来 估 计． 令 ‘＝ （ ｌ ， ，妇 ｒｉ＝ １２ ・ ，． ｉ … ） ， ， ，，・ ， ・１
＝ ， ｔ ’＝ １， … ， ２， ｐ，
第ｉ 个主要成分 的贡献 比率 ： ； ｍ个主要 生 前
。
￣ “ ／
∑Ａ ，
成分的累加计贡献 比率 ： ； 与 的相关
其中 ＝Ｅ 墨） ＝ ＶｒＸ） 这时 （ ， ａ（ ｉ．
’
＝
（ ， ， ， ） … ‘
造企 业为研 究对 象 ， 经 济效 益 出发 选取 ８个指 标 ， 用主 成 分 分析 法对 选取 指标 进 行 分析 ， 从 利 利 用 Ｍａａ ｄｂ软件 对 １ ４家机 械制 造 企业 的 经 济效益 进 行 了计 算和 排 名 ， 黑龙 江省 今后 实现 企 业 为 间经 济发展协 调提 供参 考依 据 ． 关 键词 ： 主 成分 分析 ； 润指标 ； Ｔ Ａ 利 ＭＡ Ｌ Ｂ
表１ １ ４家企 业的 利润指 标 的统 计数 据
样本均值 向量为 ：
＝
（７９９１．５ ． ０ ．４ １０４１． １ ．５ ４ ６６ ． ２．７ ０ ９０９ １０８５ ３１．６ ４ ６４１５２１．８ ）
１ ８ ３ ３ ６ ． ５ ４ ． ５ ４ ． １ ５ ． ０ ７ ． ７ ８ ６ ２ １ １ ６ ０ ６ ． ３ ０ ３ ７ ５ ７７ １２ ５ ７ ９６ １６ ２ ．０ ０ ．２
中图分 类号 ： ０ １ ２２ 文 献标 识码 ： Ａ
并且
主成分分析（PCA）算法介绍及matlab实现案例
主成分分析（PCA）算法介绍及matlab实现案例主成分分析经常被⽤做模型分类时特征的降维，本篇⾸先介绍PCA的步骤，并根据步骤撰写对应的MATLAB代码，最后指明使⽤PCA的步骤。
我们在做分类时，希望提取的特征能够最⼤化将数据分开，如果数据很紧密，模型就⽐较难将其分开，如果数据⽐较离散，那么就⽐较容易分开，换句话说，数据越离散，越容易分开。
那怎么让数据离散呢？离散⼜⽤什么指标衡量呢？统计学的知识告诉我们，数据越离散，⽅差越⼤。
因此，PCA的问题就变为：寻找⼀个坐标轴，使得数据在该坐标轴上⾯离散度最⾼。
也就是寻找⼀个基使得所有数据在这个基上⾯的投影值的⽅差最⼤。
那具体怎么做呢？科学家们已经帮我们做好了，如下步骤：设有m个样本，每个样本有n个特征，组成m⾏n列的矩阵1）将每⼀列特征进⾏均值化处理，特征归⼀化，也称为数据中⼼平移到坐标原点2）求取协⽅差矩阵3）求取协⽅差矩阵的特征值和特征向量4）将特征向量按对应特征值⼤⼩从上到下按⾏排列成矩阵，取前K列组成系数矩阵matlab代码function [coffMatrix,lowData,eigValSort,explained,meanValue] = myPCA(data)%data为row⾏col列矩阵，row为样本数量，col为特征列，每⼀列代表⼀个特征[row , col] = size(data);% 求出每⼀列的均值meanValue = mean(data);% 将每⼀列进⾏均值化处理，特征归⼀化,数据中⼼平移到坐标原点normData = data - repmat(meanValue,[row,1]);%求取协⽅差矩阵covMat = cov(normData);%求取特征值和特征向量[eigVect,eigVal] = eig(covMat);% 将特征向量按对应特征值⼤⼩从上到下按⾏排列成矩阵[sortMat, sortIX] = sort(eigVal,'descend');[B,IX] = sort(sortMat(1,:),'descend');coffMatrix = eigVect(:,IX);% 排序后的特征向量就是新的坐标系lowData = normData * coffMatrix;% 分量得分explained = 100*B/sum(B);%特征值eigValSort = B;%%% [U,S,V] = svd(data);end我们在实际应⽤PCA的时候需要注意保留以下⼏个值。
主成分分析及matlab程序
举例：
某人要做一件上衣要测量很多尺寸，如身长、 袖长、胸围、腰围、肩宽、肩厚等十几项指标， 但某服装厂要生产一批新型服装绝不可能把尺寸 的型号分得过多 ，而是从多种指标中综合成几 个少数的综合指标，做为分类的型号，利用主成 分分析将十几项指标综合成3项指标，一项是反 映长度的指标，一项是反映胖瘦的指标，一项是 反映特体的指标。
2195.7 1408 422.61 4797 1011.8 119.0
5381.72 2699 1639.8 8250 656.5 114.0
1606.15 1314 382.59 5105 556.0 118.4
364.17 1814 198.35 5340 232.1 113.5
3534.00 1261 822.54 4645 902.3 118.5
111.6 1396.35
116.4 554.97
111.3 64.33
117.0 1431.81
117.2 324.72
118.1 716.65
114.9
5.57
117.0 600.98
116.5 468.79
116.3 105.80
115.3 114.40
116.7 428.76
1.将原始数据标准化。 2.建立指标之间的相关系数阵R如下:
正交化特征向量（通常用Jacobi法求特征向量）：
a11
a12
1
=
a21
,
2
=
a22
,
a
p1
a
p
2
a1p
,
p
=
a2
p
,
a
主成分分析方法及matlab运用解释
主成分分析方法在许多实际问题中,多个变量之间就是具有一定的相关关系的。
因此,我们就会很自然地想到,能否在各个变量之间相关关系研究的基础上,用较少的新变量代替原来较多的变量,而且使这些较少的新变量尽可能多地保留原来较多的变量所反映的信息？事实上,这种想法就是可以实现的,这里介绍的主成分分析方法就就是综合处理这种问题的一种强有力的方法。
一、主成分分析的基本原理主成分分析就是把原来多个变量化为少数几个综合指标的一种统计分析方法,从数学角度来瞧,这就是一种降维处理技术。
假定有n 个地理样本,每个样本共有p 个变量描述,这样就构成了一个n×p 阶的地理数据矩阵:111212122212p p n n np x x x x x x X x x x ⎧⎪⎪=⎨⎪⎪⎩L L L L L LL (1)如何从这么多变量的数据中抓住地理事物的内在规律性呢？要解决这一问题,自然要在p 维空间中加以考察,这就是比较麻烦的。
为了克服这一困难,就需要进行降维处理,即用较少的几个综合指标来代替原来较多的变量指标,而且使这些较少的综合指标既能尽量多地反映原来较多指标所反映的信息,同时它们之间又就是彼此独立的。
那么,这些综合指标(即新变量)应如何选取呢？显然,其最简单的形式就就是取原来变量指标的线性组合,适当调整组合系数,使新的变量指标之间相互独立且代表性最好。
如果记原来的变量指标为x 1,x 2,…,x p ,它们的综合指标——新变量指标为z 1,z 2,…,zm(m≤p)。
则11111221221122221122,,.........................................,p p p p m m m mp p z l x l x l x z l x l x l x z l x l x l x =+++⎧⎪=+++⎪⎨⎪⎪=+++⎩L L L (2)在(2)式中,系数l ij 由下列原则来决定:(1)z i 与z j (i≠j ;i,j=1,2,…,m)相互无关;(2)z 1就是x 1,x 2,…,x p 的一切线性组合中方差最大者;z 2就是与z 1不相关的x 1,x 2,…,x p 的所有线性组合中方差最大者;……;z m 就是与z 1,z 2,……z m-1都不相关的x 1,x 2,…,x p 的所有线性组合中方差最大者。
主成分分析报告matlab程序
主成分分析报告matlab程序主成分分析报告 Matlab 程序在数据分析和处理的领域中，主成分分析（Principal Component Analysis，PCA）是一种常用且强大的工具。
它能够将多个相关变量转换为一组较少的不相关变量，即主成分，同时尽可能多地保留原始数据的信息。
在 Matlab 中，我们可以通过编写程序来实现主成分分析，这为我们的数据处理和理解提供了极大的便利。
主成分分析的基本思想是找到数据中的主要方向或模式。
这些主要方向是通过对数据的协方差矩阵进行特征值分解得到的。
最大的特征值对应的特征向量就是第一主成分的方向，第二大的特征值对应的特征向量就是第二主成分的方向，以此类推。
在 Matlab 中，我们首先需要导入数据。
假设我们的数据存储在一个名为｀data` 的矩阵中，每一行代表一个观测值，每一列代表一个变量。
｀｀｀matlabdata ＝ load(＇your_data_filetxt'）；％替换为您的数据文件路径｀｀｀接下来，我们需要对数据进行中心化处理，即每个变量减去其均值。
｀｀｀matlabcentered_data ＝ data repmat(mean(data)， size(data, 1)， 1)；｀｀｀然后，计算协方差矩阵。
｀｀｀matlabcov_matrix ＝ cov(centered_data)；｀｀｀接下来进行特征值分解。
｀｀｀matlabV, D ＝ eig(cov_matrix)；｀｀｀｀V` 是特征向量矩阵，｀D` 是对角矩阵，其对角元素是特征值。
我们对特征值进行从大到小的排序，并相应地对特征向量进行重新排列。
｀｀｀matlablambda, index ＝ sort(diag(D)，＇descend'）；sorted_V ＝ V(：， index)；｀｀｀此时，｀sorted_V` 的每一列就是一个主成分的方向。
为了计算每个观测值在主成分上的得分，我们可以使用以下代码：｀｀｀matlabprincipal_components ＝ centered_data sorted_V;｀｀｀我们还可以计算每个主成分解释的方差比例。
主成分分析PCA(含有详细推导过程以和案例分析matlab版)
主成分分析法(PCA)在实际问题中.我们经常会遇到研究多个变量的问题.而且在多数情况下.多个变量之间常常存在一定的相关性。
由于变量个数较多再加上变量之间的相关性.势必增加了分析问题的复杂性。
如何从多个变量中综合为少数几个代表性变量.既能够代表原始变量的绝大多数信息.又互不相关.并且在新的综合变量基础上.可以进一步的统计分析.这时就需要进行主成分分析。
I. 主成分分析法(PCA)模型（一）主成分分析的基本思想主成分分析是采取一种数学降维的方法.找出几个综合变量来代替原来众多的变量.使这些综合变量能尽可能地代表原来变量的信息量.而且彼此之间互不相关。
这种将把多个变量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。
主成分分析所要做的就是设法将原来众多具有一定相关性的变量.重新组合为一组新的相互无关的综合变量来代替原来变量。
通常.数学上的处理方法就是将原来的变量做线性组合.作为新的综合变量.但是这种组合如果不加以限制.则可以有很多.应该如何选择呢？如果将选取的第一个线性组合即第一个综合变量记为1F .自然希望它尽可能多地反映原来变量的信息.这里“信息”用方差来测量.即希望)(1F Var 越大.表示1F 包含的信息越多。
因此在所有的线性组合中所选取的1F 应该是方差最大的.故称1F 为第一主成分。
如果第一主成分不足以代表原来p 个变量的信息.再考虑选取2F 即第二个线性组合.为了有效地反映原来信息.1F 已有的信息就不需要再出现在2F 中.用数学语言表达就是要求0),(21 F F Cov .称2F 为第二主成分.依此类推可以构造出第三、四……第p 个主成分。
（二）主成分分析的数学模型 对于一个样本资料.观测p 个变量p x x x ,,21.n 个样品的数据资料阵为：⎪⎪⎪⎪⎪⎭⎫⎝⎛=np n n p p x x x x x x x x x X 212222111211()p x x x ,,21=其中：p j x x x x nj j j j ,2,1,21=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=主成分分析就是将p 个观测变量综合成为p 个新的变量（综合变量）.即⎪⎪⎩⎪⎪⎨⎧+++=+++=+++=ppp p p p pp p p x a x a x a F x a x a x a F x a x a x a F 22112222121212121111 简写为：p jp j j j x x x F ααα+++= 2211p j ,,2,1 =要求模型满足以下条件：①j i F F ,互不相关（j i ≠.p j i ,,2,1, =） ②1F 的方差大于2F 的方差大于3F 的方差.依次类推 ③.,2,1122221p k a a a kp k k ==+++于是.称1F 为第一主成分.2F 为第二主成分.依此类推.有第p 个主成分。
Matlab主成分分析：详解+实例
主成分分析
总结:
主 原始变量 目标
成
X1, , Xm
主成分
Z1, ,Zp
分
线性组合
分
Z1, , Zp 互不相关
析 的
信息不重合 按‘重要性’排序
求解主 成分
思
Z1, , Zp
想 Var(Z1) Var(Z2 ) Var(Zp )
r
i r 2(z j , xi )，
j1
这里r(z j , xi )表示zj 与 xi 的相关系数。
主成分分析
1 2 0
例1 设 x [ x1, x2 , x3 ]T 且 R 2 5 0
0 0 0
则可算得1 5.8284，2 0.1716，如果我们仅取第
一个主成分，由于其累积贡献率已经达到97.14%， 似乎很理想了，但如果进一步计算主成分对原变量的
c1 x1+ c2 x2+… +cp xp
我们希望选择适当的权重能更好地区分学生的 成绩. 每个学生都对应一个这样的综合成绩, 记 为s1, s2,…, sn , n为学生人数. 如果这些值很分散, 表明区分好, 即是说, 需要寻找这样的加权, 能使 s1, s2,…, sn 尽可能的分散, 下面来看的统计定义.
x5:交通和通讯,
x6:娱乐教育文化服务,
x7:居住,
x8:杂项商品和服务.
对居民消费数据做主成分分析.
聚类分析
聚类分析
聚类分析
计算的Matlab程序如下:
clc,clear load czjm1999.txt
%把原始数据保存在纯文本文件czjm1999.txt中
主成分分析yuMatLAB应用
§10.利用Matlab 编程实现主成分分析1.概述Matlab 语言是当今国际上科学界 (尤其是自动控制领域) 最具影响力、也是最有活力的软件。
它起源于矩阵运算，并已经发展成一种高度集成的计算机语言。
它提供了强大的科学运算、灵活的程序设计流程、高质量的图形可视化与界面设计、与其他程序和语言的便捷接口的功能。
Matlab 语言在各国高校与研究单位起着重大的作用。
主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。
1.1主成分分析计算步骤① 计算相关系数矩阵⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=pp p p p p r r r r r r r r r R 212222111211 （1） 在（3.5.3）式中，r ij （i ，j=1，2，…，p ）为原变量的xi 与xj 之间的相关系数，其计算公式为∑∑∑===----=nknk j kj i ki nkj kj i ki ij x x x x x x x x r 11221)()())(( （2）因为R 是实对称矩阵（即r ij =r ji ），所以只需计算上三角元素或下三角元素即可。
② 计算特征值与特征向量首先解特征方程0=-R I λ，通常用雅可比法（Jacobi ）求出特征值),,2,1(p i i =λ，并使其按大小顺序排列，即0,21≥≥≥≥pλλλ ；然后分别求出对应于特征值i λ的特征向量),,2,1(p i e i =。
这里要求i e =1，即112=∑=pj ij e ，其中ij e 表示向量i e 的第j 个分量。
③ 计算主成分贡献率及累计贡献率 主成分i z 的贡献率为),,2,1(1p i pk ki=∑=λλ累计贡献率为),,2,1(11p i pk kik k=∑∑==λλ一般取累计贡献率达85—95%的特征值m λλλ,,,21 所对应的第一、第二，…，第m （m ≤p ）个主成分。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 0.55341 0.51434 0.51538 0.4688 8 0.73562 0.71214
1
0.98793 0.9776 0.97409 0.68282 0.7 8019
1
0.98071 0.9798 0 .69735 0.77306
1
0.99235 0.6266 3 0.78718
X j e1 jY1 e2 jY2 e pjYp , Cov(Yi , X j ) ieij .
由此可得 Yi 与 Xj 的相关系数为
Yi ,X j
Cov(Yi , X j ) Var(Yi ) Var( X j )
ieij i jj
i jj
eij
24.423 36.283
36.283 56.046
49.146 75.404
3.67 47 38.718 5.0022 59.723
71.672 29.029 49.278 49.146 75.404 103.02 6.82 15 74.523
8.602 4.7846 3.629 3.6747 5.0022 6.8215 1.137 6 .7217
i* 的正
交单位特征向量。
第 i 个主成分的贡献率： i* ； p
m
i*
前 m 个主成分的累计贡献率： i1 ； p
Yi*
与
X
* i
的相关系数为
Yi*
,
X
* j
* i
ei*j
。
二、样本主成分 前面讨论的是总体主成分，但在实际问题中，一般 （或 ）是未知的，需要通
过样本来估计。设
xi ( xi1, xi 2 , ..., xip )T , i 1, 2, ..., n.
为取自
X ( X1, X 2 , ..., X p )T
的一个容量为 n 的简单随机样本，则样本协方差矩阵及样本相关矩阵分别为
S
(sij ) p p
1 n1
n
( xk
k 1
x )( xk
x)T
,
R
(rij ) p p
sij sii s jj
,
（9）
其中
x ( x1, x2 , ..., x p )T ,
xj
1 n
n i 1
x ij
,
j
1, 2, ...,
p,
sij
1 n1
n
( xki
k 1
xi
)( xkj
xj
)
,i,
j
1, 2, ...,
ei*p
Xp p pp
,
i 1, 2, ..., p.
（7）
p
p
p
Var(Yi* )
i*
Var
(
X
* i
)
p,
i 1
i 1
i 1
（8）
其中
1*
2*
* p
0
为
的特征值， ei* (ei*1, ei*2 , ..., ei*p )T 为相应于特征值
8.6 02 4.785 3.629 3.675 5.002 6.821 1.137
101.620
44.02 3
39.410
38.718
59.723
74.523
6.722
102.707
168.33 60.357 45.758 41.216 57.906 71.672 8.60 2 101.62
（4）
1.4 标准化变量的主成分
在实际问题中，不同的变量往往有不同的量纲，由于不同的量纲会引起各变量取值 的分散程度差异较大，这时总体方差则主要受方差较大的变量的控制。为了消除由于量 纲的不同可能带来的影响，常采用变量标准化的方法，即令
X
* i
Xi i ii
,i
1, 2, ..., p
样本协方差矩阵为：
168.333
S
60.357 37.207
45.757 16.825 24.843
41.215 15.505 24.335 24.423
57.906 23.535 36.478 36.283 56.046
71.672 29.029 49.278 49.146 75.404 103.018
由此得主成分的总方差为
p
p
p
Var(Yi ) i tr(P TP ) tr(PP T ) tr() Var( X i ) ,
i 1
i 1
i 1
即主成分分析是把 p 个原始变量 X1，X2，…，Xp 的总方差
p
Var( X i )
i 1
分解成 p 个互不相关变量 Y1，Y2，…，Yp 的方差之和，即
p
Var(Yi )
i 1
而 Var(Yk ) k 。
第 k 个主成分的贡献率： i ； p i i 1
m
i
前 m 个主成分累计贡献率： i1 p
，它表明前 m 个主成分 Y1，Y2，…，Ym 综合提供 X1，
i
i 1
X2，…，Xp 中信息的能力。 1.3.2 主成分 Yi 与变量 Xj 的相关系数 由于 Y=PTX，故 X=PY，从而
主成分分析 类型：一种处理高维数据的方法。 降维思想：在实际问题的研究中，往往会涉及众多有关的变量。但是，变量太多不但会 增加计算的复杂性，而且也会给合理地分析问题和解释问题带来困难。一般说来，虽然 每个变量都提供了一定的信息，但其重要性有所不同，而在很多情况下，变量间有一定 的相关性，从而使得这些变量所提供的信息在一定程度上有所重叠。因而人们希望对这 些变量加以“改造”，用为数极少的互补相关的新变量来反映原变量所提供的绝大部分 信息，通过对新变量的分析达到解决问题的目的。
12.5 7.8 13.4 19.1 8.0 9.7 0.6 13.9 9.1
16.4 9.9 10.9 19.8 9.8 4.2 0.7 9.4 11.3
16.7 10.2 9.9 19.0 8.9 4.2 0.7 8.3 9.5
22.8 12.6 10.9 29.7 11.9 4.6 0.8 9.8 12.2
,
（5）
其中 i E( Xi ) , ii Var( Xi ) . 这时
的协方差矩阵便是
X*
(
X
* 1
,
X
* 2
,
...,
X
* p
)T
X ( X1, X 2 , ..., X p )T
的相关矩阵 (ij ) p p ，其中
ij
E
(
X
* i
X
* j
)
Cov( X i , X ii jj
别为
1 2 p 0
及
e1 , e2 , ..., e p ,
则 X 的第 i 个主成分为
Yi eiT X ei1X 1 ei 2X 2 eip X p , i 1, 2, ..., p ,
此时
Var
(Yi
Cov(Yi
) ,Yk
eiT ei ) eiT
一、总体主成分 1.1 定义
设 X1，X2，…，Xp 为某实际问题所涉及的 p 个随机变量。记 X=(X1，X2，…,Xp)T，其协方差矩阵为
( ij ) p p E[( X E( X ))( X E( X )) T] ,
它是一个 p 阶非负定矩阵。设
Y1 l1T X l11 X1 l12 X 2 l1 pX p Y2 l2T X l21 X1 l22 X 2 l2 pX p
p.
分别以 S 和 R 作为 和 的估计，然后按总体主成分分析的方法作样本主成分分
析。
三、 例 题
某市为了全面分析机械类个企业的经济效益，选择了 8 个不同的利润指标，14 企业
关于这 8 个指标的统计数据如下表所示，试进行主成分分析。
表 1 14 家企业的利润指标的统计数据
变 净产值 固定资产 总产值 销售收入 产品成 物耗利 人均利 流动资
101.62 44.023 39.41 38.718 59.723 74.523 6.721 7 102.71
由于 S 中主对角线元素差异较大，因此我们样本相关矩阵 R 出发进行主成分分析。 样本相关矩阵 R 为：
1
R
0.76266 0.70758 0.64281 0.59617 0.54426 0.62178 0.77285
Yp
l
T p
X
l p1X 1
lp2X2
l pp X p
（1）
则有
第 i 个主成分： 一般地，在约束条件
Var(Yi )
Var
(l
T i
X
)
l
T i
li
,
i
1, 2, ...,
p,
Cov(Yi ,Y j )
Cov(l
T i
X
,
l
T j