主成分分析方法及matlab运用解释
主成分分析（PCA）算法介绍及matlab实现案例
主成分分析（PCA）算法介绍及matlab实现案例主成分分析经常被⽤做模型分类时特征的降维，本篇⾸先介绍PCA的步骤，并根据步骤撰写对应的MATLAB代码，最后指明使⽤PCA的步骤。
我们在做分类时，希望提取的特征能够最⼤化将数据分开，如果数据很紧密，模型就⽐较难将其分开，如果数据⽐较离散，那么就⽐较容易分开，换句话说，数据越离散，越容易分开。
那怎么让数据离散呢？离散⼜⽤什么指标衡量呢？统计学的知识告诉我们，数据越离散，⽅差越⼤。
因此，PCA的问题就变为：寻找⼀个坐标轴，使得数据在该坐标轴上⾯离散度最⾼。
也就是寻找⼀个基使得所有数据在这个基上⾯的投影值的⽅差最⼤。
那具体怎么做呢？科学家们已经帮我们做好了，如下步骤：设有m个样本，每个样本有n个特征，组成m⾏n列的矩阵1）将每⼀列特征进⾏均值化处理，特征归⼀化，也称为数据中⼼平移到坐标原点2）求取协⽅差矩阵3）求取协⽅差矩阵的特征值和特征向量4）将特征向量按对应特征值⼤⼩从上到下按⾏排列成矩阵，取前K列组成系数矩阵matlab代码function [coffMatrix,lowData,eigValSort,explained,meanValue] = myPCA(data)%data为row⾏col列矩阵，row为样本数量，col为特征列，每⼀列代表⼀个特征[row , col] = size(data);% 求出每⼀列的均值meanValue = mean(data);% 将每⼀列进⾏均值化处理，特征归⼀化,数据中⼼平移到坐标原点normData = data - repmat(meanValue,[row,1]);%求取协⽅差矩阵covMat = cov(normData);%求取特征值和特征向量[eigVect,eigVal] = eig(covMat);% 将特征向量按对应特征值⼤⼩从上到下按⾏排列成矩阵[sortMat, sortIX] = sort(eigVal,'descend');[B,IX] = sort(sortMat(1,:),'descend');coffMatrix = eigVect(:,IX);% 排序后的特征向量就是新的坐标系lowData = normData * coffMatrix;% 分量得分explained = 100*B/sum(B);%特征值eigValSort = B;%%% [U,S,V] = svd(data);end我们在实际应⽤PCA的时候需要注意保留以下⼏个值。
主成分分析及matlab程序
举例：
某人要做一件上衣要测量很多尺寸，如身长、 袖长、胸围、腰围、肩宽、肩厚等十几项指标， 但某服装厂要生产一批新型服装绝不可能把尺寸 的型号分得过多 ，而是从多种指标中综合成几 个少数的综合指标，做为分类的型号，利用主成 分分析将十几项指标综合成3项指标，一项是反 映长度的指标，一项是反映胖瘦的指标，一项是 反映特体的指标。
2195.7 1408 422.61 4797 1011.8 119.0
5381.72 2699 1639.8 8250 656.5 114.0
1606.15 1314 382.59 5105 556.0 118.4
364.17 1814 198.35 5340 232.1 113.5
3534.00 1261 822.54 4645 902.3 118.5
111.6 1396.35
116.4 554.97
111.3 64.33
117.0 1431.81
117.2 324.72
118.1 716.65
114.9
5.57
117.0 600.98
116.5 468.79
116.3 105.80
115.3 114.40
116.7 428.76
1.将原始数据标准化。 2.建立指标之间的相关系数阵R如下:
正交化特征向量（通常用Jacobi法求特征向量）：
a11
a12
1
=
a21
,
2
=
a22
,
a
p1
a
p
2
a1p
,
p
=
a2
p
,
a
主成分分析方法及matlab运用解释
主成分分析方法在许多实际问题中,多个变量之间就是具有一定的相关关系的。
因此,我们就会很自然地想到,能否在各个变量之间相关关系研究的基础上,用较少的新变量代替原来较多的变量,而且使这些较少的新变量尽可能多地保留原来较多的变量所反映的信息？事实上,这种想法就是可以实现的,这里介绍的主成分分析方法就就是综合处理这种问题的一种强有力的方法。
一、主成分分析的基本原理主成分分析就是把原来多个变量化为少数几个综合指标的一种统计分析方法,从数学角度来瞧,这就是一种降维处理技术。
假定有n 个地理样本,每个样本共有p 个变量描述,这样就构成了一个n×p 阶的地理数据矩阵:111212122212p p n n np x x x x x x X x x x ⎧⎪⎪=⎨⎪⎪⎩L L L L L LL (1)如何从这么多变量的数据中抓住地理事物的内在规律性呢？要解决这一问题,自然要在p 维空间中加以考察,这就是比较麻烦的。
为了克服这一困难,就需要进行降维处理,即用较少的几个综合指标来代替原来较多的变量指标,而且使这些较少的综合指标既能尽量多地反映原来较多指标所反映的信息,同时它们之间又就是彼此独立的。
那么,这些综合指标(即新变量)应如何选取呢？显然,其最简单的形式就就是取原来变量指标的线性组合,适当调整组合系数,使新的变量指标之间相互独立且代表性最好。
如果记原来的变量指标为x 1,x 2,…,x p ,它们的综合指标——新变量指标为z 1,z 2,…,zm(m≤p)。
则11111221221122221122,,.........................................,p p p p m m m mp p z l x l x l x z l x l x l x z l x l x l x =+++⎧⎪=+++⎪⎨⎪⎪=+++⎩L L L (2)在(2)式中,系数l ij 由下列原则来决定:(1)z i 与z j (i≠j ;i,j=1,2,…,m)相互无关;(2)z 1就是x 1,x 2,…,x p 的一切线性组合中方差最大者;z 2就是与z 1不相关的x 1,x 2,…,x p 的所有线性组合中方差最大者;……;z m 就是与z 1,z 2,……z m-1都不相关的x 1,x 2,…,x p 的所有线性组合中方差最大者。
主成分分析和MATLAB应用
主成分分析类型：一种处理高维数据的方法。
降维思想：在实际问题的研究中，往往会涉及众多有关的变量。
但是，变量太多不但会增加计算的复杂性，而且也会给合理地分析问题和解释问题带来困难。
一般说来，虽然每个变量都提供了一定的信息，但其重要性有所不同，而在很多情况下，变量间有一定的相关性，从而使得这些变量所提供的信息在一定程度上有所重叠。
因而人们希望对这些变量加以“改造”，用为数极少的互补相关的新变量来反映原变量所提供的绝大部分信息，通过对新变量的分析达到解决问题的目的。
一、总体主成分1.1 定义设 X 1，X 2，…，X p 为某实际问题所涉及的 p 个随机变量。
记 X=(X 1，X 2，…,Xp)T ，其协方差矩阵为()[(())(())],T ij p p E X E X X E X σ⨯∑==--它是一个 p 阶非负定矩阵。
设1111112212221122221122Tp p Tp pT pp p p pp p Y l X l X l X l X Y l X l X l X l X Y l X l X l X l X⎧==+++⎪==+++⎪⎨⎪⎪==+++⎩（1） 则有()(),1,2,...,,(,)(,),1,2,...,.T T i i i i TT T i j ijij Var Y Var l X l l i p Cov Y Y Cov l X l X l l j p ==∑===∑= （2）第 i 个主成分： 一般地，在约束条件1T i i l l =及(,)0,1,2,..., 1.T i k i k Cov Y Y l l k i =∑==-下，求 l i 使 Var(Y i )达到最大，由此 l i 所确定的T i i Y l X =称为 X 1，X 2，…，X p 的第 i 个主成分。
1.2 总体主成分的计算设 ∑是12(,,...,)T p X X X X =的协方差矩阵，∑的特征值及相应的正交单位化特征向量分别为120p λλλ≥≥≥≥及12,,...,,p e e e则 X 的第 i 个主成分为1122,1,2,...,,T i i i i ip p Y e X e X e X e X i p ==+++= （3）此时(),1,2,...,,(,)0,.Ti i i i Ti k i k Var Y e e i p Cov Y Y e e i k λ⎧=∑==⎪⎨=∑=≠⎪⎩ 记 12(,,...,)T p Y Y Y Y = 为主成分向量，则 Y=P T X ，其中12(,,...,)p P e e e =，且12()()(,,...,),T T p Cov Y Cov P X P P Diag λλλ==∑=Λ=定义第 i 个主成分的贡献率：1ipii λλ=∑；前m 个主成分累计贡献率：11mii pii λλ==∑∑，它表明前 m 个主成分Y 1，Y 2，…，Y m 综合提供 X 1，X 2，…，X p 中信息的能力。
主成分分析matlab程序
利用Matlab编程实现主成分分析.程序结构及函数作用在软件Matlab中实现主成分分析可以采取两种方式实现：一是通过编程来实现；二是直接调用Matlab种自带程序实现。
下面主要主要介绍利用Matlab的矩阵计算功能编程实现主成分分析。
1程序结构2函数作用Cwstd.m——用总和标准化法标准化矩阵Cwfac.m——计算相关系数矩阵；计算特征值和特征向量；对主成分进行排序；计算各特征值贡献率；挑选主成分（累计贡献率大于85%），输出主成分个数；计算主成分载荷Cwscore.m——计算各主成分得分、综合得分并排序Cwprint.m——读入数据文件；调用以上三个函数并输出结果3.源程序3.1 cwstd.m总和标准化法标准化矩阵%cwstd.m,用总和标准化法标准化矩阵function std=cwstd(vector)cwsum=sum(vector,1); %对列求和[a,b]=size(vector); %矩阵大小,a为行数,b为列数for i=1:afor j=1:bstd(i,j)= vector(i,j)/cwsum(j);endend3.2 cwfac.m计算相关系数矩阵%cwfac.mfunction result=cwfac(vector);fprintf('相关系数矩阵:\n')std=CORRCOEF(vector) %计算相关系数矩阵fprintf('特征向量(vec)及特征值(val)：\n')[vec,val]=eig(std) %求特征值(val)及特征向量(vec)newval=diag(val) ;[y,i]=sort(newval) ; %对特征根进行排序，y为排序结果，i为索引fprintf('特征根排序：\n')for z=1:length(y)newy(z)=y(length(y)+1-z);endfprintf('%g\n',newy)rate=y/sum(y);fprintf('\n贡献率：\n')newrate=newy/sum(newy)sumrate=0;newi=[];for k=length(y):-1:1sumrate=sumrate+rate(k);newi(length(y)+1-k)=i(k);if sumrate>0.85 break;endend %记下累积贡献率大85%的特征值的序号放入newi中fprintf('主成分数：%g\n\n',length(newi));fprintf('主成分载荷：\n')for p=1:length(newi)for q=1:length(y)result(q,p)=sqrt(newval(newi(p)))*vec(q,newi(p));endend %计算载荷disp(result)3.3 cwscore.m%cwscore.m,计算得分function score=cwscore(vector1,vector2);sco=vector1*vector2;csum=sum(sco,2);[newcsum,i]=sort(-1*csum);[newi,j]=sort(i);fprintf('计算得分：\n')score=[sco,csum,j]%得分矩阵：sco为各主成分得分；csum为综合得分；j为排序结果3.4 cwprint.m%cwprint.mfunction print=cwprint(filename,a,b);%filename为文本文件文件名，a为矩阵行数(样本数)，b为矩阵列数(变量指标数)fid=fopen(filename,'r')vector=fscanf(fid,'%g',[a b]);fprintf('标准化结果如下：\n')v1=cwstd(vector)result=cwfac(v1);cwscore(v1,result);4.程序测试例题4.1原始数据中国大陆35个大城市某年的10项社会经济统计指标数据见下表。
主成分分析报告matlab程序
主成分分析报告matlab程序主成分分析报告 Matlab 程序在数据分析和处理的领域中，主成分分析（Principal Component Analysis，PCA）是一种常用且强大的工具。
它能够将多个相关变量转换为一组较少的不相关变量，即主成分，同时尽可能多地保留原始数据的信息。
在 Matlab 中，我们可以通过编写程序来实现主成分分析，这为我们的数据处理和理解提供了极大的便利。
主成分分析的基本思想是找到数据中的主要方向或模式。
这些主要方向是通过对数据的协方差矩阵进行特征值分解得到的。
最大的特征值对应的特征向量就是第一主成分的方向，第二大的特征值对应的特征向量就是第二主成分的方向，以此类推。
在 Matlab 中，我们首先需要导入数据。
假设我们的数据存储在一个名为｀data` 的矩阵中，每一行代表一个观测值，每一列代表一个变量。
｀｀｀matlabdata ＝ load(＇your_data_filetxt'）；％替换为您的数据文件路径｀｀｀接下来，我们需要对数据进行中心化处理，即每个变量减去其均值。
｀｀｀matlabcentered_data ＝ data repmat(mean(data)， size(data, 1)， 1)；｀｀｀然后，计算协方差矩阵。
｀｀｀matlabcov_matrix ＝ cov(centered_data)；｀｀｀接下来进行特征值分解。
｀｀｀matlabV, D ＝ eig(cov_matrix)；｀｀｀｀V` 是特征向量矩阵，｀D` 是对角矩阵，其对角元素是特征值。
我们对特征值进行从大到小的排序，并相应地对特征向量进行重新排列。
｀｀｀matlablambda, index ＝ sort(diag(D)，＇descend'）；sorted_V ＝ V(：， index)；｀｀｀此时，｀sorted_V` 的每一列就是一个主成分的方向。
为了计算每个观测值在主成分上的得分，我们可以使用以下代码：｀｀｀matlabprincipal_components ＝ centered_data sorted_V;｀｀｀我们还可以计算每个主成分解释的方差比例。
主成分分析PCA(含有详细推导过程以和案例分析matlab版)
主成分分析法(PCA)在实际问题中.我们经常会遇到研究多个变量的问题.而且在多数情况下.多个变量之间常常存在一定的相关性。
由于变量个数较多再加上变量之间的相关性.势必增加了分析问题的复杂性。
如何从多个变量中综合为少数几个代表性变量.既能够代表原始变量的绝大多数信息.又互不相关.并且在新的综合变量基础上.可以进一步的统计分析.这时就需要进行主成分分析。
I. 主成分分析法(PCA)模型（一）主成分分析的基本思想主成分分析是采取一种数学降维的方法.找出几个综合变量来代替原来众多的变量.使这些综合变量能尽可能地代表原来变量的信息量.而且彼此之间互不相关。
这种将把多个变量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。
主成分分析所要做的就是设法将原来众多具有一定相关性的变量.重新组合为一组新的相互无关的综合变量来代替原来变量。
通常.数学上的处理方法就是将原来的变量做线性组合.作为新的综合变量.但是这种组合如果不加以限制.则可以有很多.应该如何选择呢？如果将选取的第一个线性组合即第一个综合变量记为1F .自然希望它尽可能多地反映原来变量的信息.这里“信息”用方差来测量.即希望)(1F Var 越大.表示1F 包含的信息越多。
因此在所有的线性组合中所选取的1F 应该是方差最大的.故称1F 为第一主成分。
如果第一主成分不足以代表原来p 个变量的信息.再考虑选取2F 即第二个线性组合.为了有效地反映原来信息.1F 已有的信息就不需要再出现在2F 中.用数学语言表达就是要求0),(21 F F Cov .称2F 为第二主成分.依此类推可以构造出第三、四……第p 个主成分。
（二）主成分分析的数学模型 对于一个样本资料.观测p 个变量p x x x ,,21.n 个样品的数据资料阵为：⎪⎪⎪⎪⎪⎭⎫⎝⎛=np n n p p x x x x x x x x x X 212222111211()p x x x ,,21=其中：p j x x x x nj j j j ,2,1,21=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=主成分分析就是将p 个观测变量综合成为p 个新的变量（综合变量）.即⎪⎪⎩⎪⎪⎨⎧+++=+++=+++=ppp p p p pp p p x a x a x a F x a x a x a F x a x a x a F 22112222121212121111 简写为：p jp j j j x x x F ααα+++= 2211p j ,,2,1 =要求模型满足以下条件：①j i F F ,互不相关（j i ≠.p j i ,,2,1, =） ②1F 的方差大于2F 的方差大于3F 的方差.依次类推 ③.,2,1122221p k a a a kp k k ==+++于是.称1F 为第一主成分.2F 为第二主成分.依此类推.有第p 个主成分。
Matlab中的多变量数据分析方法介绍
Matlab中的多变量数据分析方法介绍引言：数据分析是现代科学和工程领域中的重要组成部分。
在大数据时代，我们经常需要处理和分析的是多个变量之间的复杂关系。
Matlab作为一个功能强大的数值计算环境，提供了许多用于多变量数据分析的工具和函数。
本文将介绍一些常用的Matlab多变量数据分析方法，并结合实际案例进行说明。
一、主成分分析（Principal Component Analysis）主成分分析是一种经典的多变量数据分析方法，它可以将高维数据集映射到一个更低维的空间中，同时保持数据的主要特征。
在Matlab中，可以使用pca函数来进行主成分分析。
下面我们以一组山地气象数据为例，进行主成分分析：```matlabload data.mat[coeff,score,latent,tsquared] = pca(data);```上述代码中，`data`是一个包含多个变量的矩阵，`coeff`表示主成分分析后的系数矩阵，`score`表示投影后的数据集，`latent`是每个主成分的方差贡献率，`tsquared`表示样本点的Hotelling T^2统计量。
二、聚类分析（Cluster Analysis）聚类分析是一种将样本分组为具有相似特征的群组的方法。
在Matlab中，可以使用`clusterdata`函数进行聚类分析。
下面我们以一个鸢尾花的数据集为例，对花的属性进行聚类分析：```matlabload fisheririsclust = clusterdata(meas, 'linkage', 'ward', 'maxclust', 3);```上述代码中，`meas`是一个包含多个花的属性的矩阵，`clust`表示每个样本所属的聚类簇。
三、因子分析（Factor Analysis）因子分析是一种用于发现潜在因子并研究它们之间关系的统计方法。
在Matlab 中，可以使用`factoran`函数进行因子分析。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
主成分分析方法
在许多实际问题中,多个变量之间就是具有一定的相关关系的。
因此,我们就会很自然地想到,能否在各个变量之间相关关系研究的基础上,用较少的新变量代替原来较多的变量,而且使这些较少的新变量尽可能多地保留原来较多的变量所反映的信息？事实上,这种想法就是可以实现的,这里介绍的主成分分析方法就就是综合处理这种问题的一种强有力的方法。
一、主成分分析的基本原理
主成分分析就是把原来多个变量化为少数几个综合指标的一种统计分析方法,从数学角度来瞧,这就是一种降维处理技术。
假定有n 个地理样本,每个样本共有p 个变量描述,这样就构成了一个n×p 阶的地理数据矩阵:
111212122212p p n n np x x x x x x X x x x ⎧⎪⎪=⎨⎪⎪⎩L L L L L L
L (1)
如何从这么多变量的数据中抓住地理事物的内在规律性呢？要解决这一问题,自然要在p 维空间中加以考察,这就是比较麻烦的。
为了克服这一困难,就需要进行降维处理,即用较少的几个综合指标来代替原来较多的变量指标,而且使这些较少的综合指标既能尽量多地反映原来较多指标所反映的信息,同时它们之间又就是彼此独立的。
那么,这些综合指标(即新变量)应如何选取呢？显然,其最简单的形式就就是取原来变量指标的线性组合,适当调整组合系数,使新的变量指标之间相互独立且代表性最好。
如果记原来的变量指标为x 1,x 2,…,x p ,它们的综合指标——新变量指标为z 1,z 2,…,zm(m≤p)。
则
11111221221122221122,,.........................................
,p p p p m m m mp p z l x l x l x z l x l x l x z l x l x l x =+++⎧⎪=+++⎪⎨⎪⎪=+++⎩L L L (2)
在(2)式中,系数l ij 由下列原则来决定:
(1)z i 与z j (i≠j ;i,j=1,2,…,m)相互无关;
(2)z 1就是x 1,x 2,…,x p 的一切线性组合中方差最大者;z 2就是与z 1不相关的x 1,x 2,…,x p 的所有线性组合中方差最大者;……;z m 就是与z 1,z 2,……z m-1都不相关的x 1,x 2,…,x p 的所有线性组合中方差最大者。
这样决定的新变量指标z 1,z 2,…,zm 分别称为原变量指标x 1,x 2,…,x p 的第一,第二,…,第m 主成分。
其中,z 1在总方差中占的比例最大,z 2,z 3,…,z m 的方差依次递减。
在实际问题的分析中,常挑选前几个最大的主成分,这样既减少了变量的数目,又抓住了主要矛盾,简化了变量之间的关系。
从以上分析可以瞧出,找主成分就就是确定原来变量x j (j=1,2,…,p)在诸主成分z i (i=1,2,…,m)上的载荷l ij (i=1,2,…,m;j=1,2,…,p),从数学上容易知道,它们分别就是x 1,x 2,…,x p 的相关矩阵的m 个较大的特征值所对应的特征向量。
二、主成分分析的计算步骤
通过上述主成分分析的基本原理的介绍,我们可以把主成分分析计算步骤归纳如
下:
（1) 计算相关系数矩阵
111212122212p p p p pp r r r r r r R r r r ⎧⎪⎪=⎨⎪⎪⎩L L L
L L L L
(3) 在公式(3)中,r ij (i,j=1,2,…,p)为原来变量x i 与x j 的相关系数,其计算公式为
因为R 就是实对称矩阵(即r ij =r ji ),所以只需计算其上三角元素或下三角元素即可。
(2)计算特征值与特征向量
首先解特征方程｜λI -R ｜=0求出特征值λi (i=1,2,…,p),并使其按大小顺序排列,即λ1≥λ2≥…,≥λp ≥0;然后分别求出对应于特征值λi 的特征向量e i (i=1,2,…,p)。
（2) 计算主成分贡献率及累计贡献率
主成分i z 贡献率:1/(1,2,,)p i k k r i p γ==∑L ,累计贡献率:11/p m k
k k k γγ==∑∑。
一般取累计贡献率达85-95％的特征值λ1,λ2,…,λm 所对应的第一,第二,……,第m(m≤p)个主成分。
（3) 计算主成分载荷
(,)(,1,2,,)
k i k ki p z x e i k p γ==L (5)
由此可以进一步计算主成分得分: 1112121
22212m m n n nm z z z z z z Z z z z ⎧⎪⎪=⎨⎪⎪⎩L L L
L L L L (6)
matlab:princomp 解释
主成分分析函数:
[coeff,score,letent]=princomp(x);
供献率:每一维数据对于区分全部数据的供献,供献率最大的显然就是主成分,第二大的就是次主成分、、、、、、
[coef,score,latent,t2] = princomp(x);
x:为要输入的n维原始数据。
带入这个matlab自带函数,将会生成新的n维加工后的数据(即score)。
此数据与之前的n维原始数据一一对应。
score:生成的n维加工后的数据存在score里。
它就是对原始数据进行的解析,进而在新的坐标系下获得的数据。
她将这n维数据按供献率由大到小分列。
(即在改变坐标系的景象下,又对n维数据排序)
latent:就是一维列向量,每一个数据就是对应score里响应维的供献率,因为数占领n维所以列向量有n个数据。
由大到小分列(因为score也就是按供献率由大到小分列)。
coef:就是系数矩阵。
经由过程cofe可以知道x就是如何转换成score的。
但这个转换不就是单纯的转换,必须使用下列计算方法,即
score(:,i)=coef*(x(:,i)-mean(x(:,i))),这样才能得到。
用您的原矩阵x*coeff(:,1:n)才就是您要的的新数据,其中的n就是您想降到多少维。
而n的取值取决于对特征值的累计贡献率的计算。