主成分分析方法及maab运用解释
主成分分析法及其应用
主成分分析法及其应用一、本文概述主成分分析法（Principal Component Analysis，简称PCA）是一种广泛应用于数据降维和特征提取的统计方法。
它通过正交变换将原始数据集中的多个变量转换为少数几个互不相关的主成分，这些主成分能够最大程度地保留原始数据集中的信息。
本文旨在全面介绍主成分分析法的基本原理、实现步骤以及在各个领域中的应用案例。
我们将详细阐述主成分分析法的数学基础和算法流程，包括协方差矩阵、特征值、特征向量等关键概念的计算方法。
然后，我们将通过实例演示如何使用主成分分析法进行数据降维和特征提取，以及如何通过可视化工具展示降维后的数据效果。
我们将探讨主成分分析法在机器学习、图像处理、生物信息学、社会科学等多个领域中的实际应用，展示其在数据分析和处理中的重要价值和潜力。
二、主成分分析法的基本原理主成分分析法（Principal Component Analysis，简称PCA）是一种在多个变量中找出主要影响因素，并通过降维技术把多个变量转化为少数几个互不相关的综合变量的统计方法。
这种方法在保持数据信息损失最小的原则下，通过正交变换将原始数据转化为一个新的坐标系统，使得在这个新的坐标系统中，任何数据的最大方差都投影在第一主成分上，第二大的方差都投影在第二主成分上，以此类推。
变量降维：在多数情况下，原始数据集中可能存在多个变量，这些变量之间可能存在相关性。
主成分分析通过构造新的变量（即主成分），这些新变量是原始变量的线性组合，并且新变量之间互不相关，从而将原始的高维数据空间降维到低维空间，实现数据的简化。
方差最大化：主成分分析的另一个重要原理是方差最大化。
这意味着，第一个主成分将捕获数据中的最大方差，第二个主成分捕获第二大方差，以此类推。
通过这种方式，主成分分析能够识别出数据中的主要变化方向和模式。
数据解释性：主成分分析生成的主成分是对原始数据的线性变换，因此，每个主成分都可以被解释为原始变量的某种组合。
主成分分析（PCA）算法介绍及matlab实现案例
主成分分析（PCA）算法介绍及matlab实现案例主成分分析经常被⽤做模型分类时特征的降维，本篇⾸先介绍PCA的步骤，并根据步骤撰写对应的MATLAB代码，最后指明使⽤PCA的步骤。
我们在做分类时，希望提取的特征能够最⼤化将数据分开，如果数据很紧密，模型就⽐较难将其分开，如果数据⽐较离散，那么就⽐较容易分开，换句话说，数据越离散，越容易分开。
那怎么让数据离散呢？离散⼜⽤什么指标衡量呢？统计学的知识告诉我们，数据越离散，⽅差越⼤。
因此，PCA的问题就变为：寻找⼀个坐标轴，使得数据在该坐标轴上⾯离散度最⾼。
也就是寻找⼀个基使得所有数据在这个基上⾯的投影值的⽅差最⼤。
那具体怎么做呢？科学家们已经帮我们做好了，如下步骤：设有m个样本，每个样本有n个特征，组成m⾏n列的矩阵1）将每⼀列特征进⾏均值化处理，特征归⼀化，也称为数据中⼼平移到坐标原点2）求取协⽅差矩阵3）求取协⽅差矩阵的特征值和特征向量4）将特征向量按对应特征值⼤⼩从上到下按⾏排列成矩阵，取前K列组成系数矩阵matlab代码function [coffMatrix,lowData,eigValSort,explained,meanValue] = myPCA(data)%data为row⾏col列矩阵，row为样本数量，col为特征列，每⼀列代表⼀个特征[row , col] = size(data);% 求出每⼀列的均值meanValue = mean(data);% 将每⼀列进⾏均值化处理，特征归⼀化,数据中⼼平移到坐标原点normData = data - repmat(meanValue,[row,1]);%求取协⽅差矩阵covMat = cov(normData);%求取特征值和特征向量[eigVect,eigVal] = eig(covMat);% 将特征向量按对应特征值⼤⼩从上到下按⾏排列成矩阵[sortMat, sortIX] = sort(eigVal,'descend');[B,IX] = sort(sortMat(1,:),'descend');coffMatrix = eigVect(:,IX);% 排序后的特征向量就是新的坐标系lowData = normData * coffMatrix;% 分量得分explained = 100*B/sum(B);%特征值eigValSort = B;%%% [U,S,V] = svd(data);end我们在实际应⽤PCA的时候需要注意保留以下⼏个值。
主成分分析及matlab实现
包含的信息量次之为29.34％，它的主要代表变量为X3(地理 结构)、X6(资源配置)、X9 (可持续性)，其权重系数分别为 0.5299、0.5273、0.4589，第三新因子 Z3包含的信息量为 11.97％，代表总量为 X9(可持续性)、 X5(物质还原)，权重 系数分别为0.5933、0.5664。这些代表变量反映了各自对该 新因子作用的大小，它们是生态环境系统中最重要的影响因 素。
主成分分析
➢主成分分析的基本原理 ➢主成分分析的计算步骤 ➢主成分分析方法应用实例
问题的提出：
在实际问题研究中，多变量问题是经常 会遇到的。变量太多，无疑会增加分析问题 的难度与复杂性，而且在许多实际问题中， 多个变量之间是具有一定的相关关系的。
因此，人们会很自然地想到，能否在相 关分析的基础上，用较少的新变量代替原来 较多的旧变量，而且使这些较少的新变量尽 可能多地保留原来变量所反映的信息？
F2 0.107995X1 0.258512X 2 0.287536X3 0.400931X 4 0.40431X 5 0.498801X6 0.48868X7 0.167392X8
第三主成分：
在第一主成分的表达式中第一、二、三项指标的系数 较大，这三个指标起主要作用，我们可以把第一王成分看 成是由国内生产总值、固定资产投资和居民消费水平所该 划的反映经济发展状况的综合指标；
i
p
k
k 1
✓累计贡献率
(i 1,2, , p)
i
k
k 1
p
k
k 1
(i 1,2, , p)
一般取累计贡献率达85%~95%的特征值 1, 2 , , m 所对应的第1、第2、…、第m（m≤p）个主成分。
三、 实例演示
主成分分析和MATLAB应用
主成分分析类型：一种处理高维数据的方法。
降维思想：在实际问题的研究中，往往会涉及众多有关的变量。
但是，变量太多不但会增加计算的复杂性，而且也会给合理地分析问题和解释问题带来困难。
一般说来，虽然每个变量都提供了一定的信息，但其重要性有所不同，而在很多情况下，变量间有一定的相关性，从而使得这些变量所提供的信息在一定程度上有所重叠。
因而人们希望对这些变量加以“改造”，用为数极少的互补相关的新变量来反映原变量所提供的绝大部分信息，通过对新变量的分析达到解决问题的目的。
一、总体主成分1.1 定义设 X 1，X 2，…，X p 为某实际问题所涉及的 p 个随机变量。
记 X=(X 1，X 2，…,Xp)T ，其协方差矩阵为()[(())(())],T ij p p E X E X X E X σ⨯∑==--它是一个 p 阶非负定矩阵。
设1111112212221122221122Tp p Tp pT pp p p pp p Y l X l X l X l X Y l X l X l X l X Y l X l X l X l X⎧==+++⎪==+++⎪⎨⎪⎪==+++⎩（1） 则有()(),1,2,...,,(,)(,),1,2,...,.T T i i i i TT T i j ijij Var Y Var l X l l i p Cov Y Y Cov l X l X l l j p ==∑===∑= （2）第 i 个主成分： 一般地，在约束条件1T i i l l =及(,)0,1,2,..., 1.T i k i k Cov Y Y l l k i =∑==-下，求 l i 使 Var(Y i )达到最大，由此 l i 所确定的T i i Y l X =称为 X 1，X 2，…，X p 的第 i 个主成分。
1.2 总体主成分的计算设 ∑是12(,,...,)T p X X X X =的协方差矩阵，∑的特征值及相应的正交单位化特征向量分别为120p λλλ≥≥≥≥及12,,...,,p e e e则 X 的第 i 个主成分为1122,1,2,...,,T i i i i ip p Y e X e X e X e X i p ==+++= （3）此时(),1,2,...,,(,)0,.Ti i i i Ti k i k Var Y e e i p Cov Y Y e e i k λ⎧=∑==⎪⎨=∑=≠⎪⎩ 记 12(,,...,)T p Y Y Y Y = 为主成分向量，则 Y=P T X ，其中12(,,...,)p P e e e =，且12()()(,,...,),T T p Cov Y Cov P X P P Diag λλλ==∑=Λ=定义第 i 个主成分的贡献率：1ipii λλ=∑；前m 个主成分累计贡献率：11mii pii λλ==∑∑，它表明前 m 个主成分Y 1，Y 2，…，Y m 综合提供 X 1，X 2，…，X p 中信息的能力。
主成分分析法原理及应用
主成分分析法原理及应用主成分分析的基本思想是将高维数据转化为一个新的低维坐标系，新的坐标系由特征向量构成。
特征向量是通过对数据矩阵进行特征值分解得到的，每一个特征向量都代表数据的一个主成分，同时也代表了原始数据在该主成分上的投影。
通过选择前N个主成分，可以将原始数据的维度从D维降低到N维。
1.对原始数据进行标准化处理，即将每个维度上的数据减去其均值并除以标准差；2.构建数据的协方差矩阵；3.对协方差矩阵进行特征值分解，得到特征向量和特征值；4.将特征值按降序排列，选择前N个特征向量作为主成分。
1.数据降维：主成分分析可以将高维数据降低到低维空间中，从而减少数据的维度。
这对于处理高维数据而言非常重要，可以减少计算复杂度，并且有助于解决维度灾难问题。
2.特征提取：主成分分析可以通过选择前N个主成分来提取最具代表性的特征。
这对于处理大规模数据集、挖掘数据的基本模式和结构非常有用。
3.数据可视化：主成分分析可以将多维数据映射到二维或三维的空间中。
这样做可以简化数据的可视化和分析过程，帮助人们更好地理解数据的结构和关系。
4.噪声过滤：主成分分析可以通过去除数据的主成分中的低方差部分来剔除数据中的噪声。
这对于提高数据质量和预测性能非常有帮助。
5.数据预处理：主成分分析可以用于数据的预处理，比如去除冗余特征、去除缺失值等。
通过去除无关和缺失的特征，可以提高后续分析的准确性和效率。
总之，主成分分析是一种非常实用的数据分析技术。
它可以帮助人们更好地理解数据的结构和关系，并从中提取有用的信息。
在实际应用中，人们可以根据具体的需求和问题选择适当的主成分数目，以获得最佳的结果。
matlab主成分分析
matlab主成分分析主成分分析（PrincipalComponentAnalysis,PCA）是一种用来降低复杂数据集的维度的常用统计工具。
它的主要目的是把一组可能相关的变量（比如一组测量的实验数据）降维到一个更低维的表示中，从而找出数据中有意义的规律。
主成分分析可以从大量变量中选择出主导变量，可以用来剔除噪声，消除数据间的相关性，提取隐藏变量，简化数据集，以及建立统计模型。
Matlab一种常用的计算机科学编程语言，拥有强大的数学和图形处理功能，能够解决各种复杂的计算问题。
Matlab内置函数和第三方工具箱可以被用来实现主成分分析。
Matlab 中原生的主成分分析实现可以分为两步：一是数据准备，二是主成分分析。
数据准备是主成分分析过程中非常重要的一步，可以使用Matlab 中的函数实现。
主要包括提取变量、清洗数据和数据标准化三个部分。
提取变量可以通过从原始数据中选择需要的变量来实现，即将原始数据拟合到需要的维度中；清洗数据是指将原始数据中含有错误或者不可信的数据剔除；数据标准化则是指将原始数据的连续型变量转换成统一的数值范围，以便于分析。
主成分分析是从输入数据中学习到一组新的变量，这些变量能够说明输入数据中大部分的变量变化。
Matlab中主成分分析可以通过调用标准统计工具箱（Statistics and Machine Learning Toolbox）中的pca函数来实现，该函数能够从原始数据中抽取有意义的变量。
通过pca函数，可以在输入数据中学习到有意义的变量，并得到它们的系数和贡献率，以此说明主成分分析后数据的变化程度。
主成分分析的应用非常广泛，涉及到很多不同的领域。
如在统计学中用以进行常规数据分析，在计算机视觉中用来进行图像分析，在生物学中用于基因表达等。
Matlab供了强大的数学和图形处理能力，能够满足上述应用领域的需求，使用者可以通过原生函数和第三方工具箱快捷的实现主成分分析。
当然，主成分分析也有一些缺点，如把复杂的变量降维可能会损失一些原始数据的信息，也存在隐藏的偏差，因而也会影响分析的准确性。
主成分分析法的应用matlab
第二個主成分 z2 = vT x 的推演類似上面的過程, 但多一個條件: 與第一個主成分不 相關, 即 5
E (z1 z2 ) = E (z1 )E (z2 ) 這個條件進一步為 vT ΣX v1 = 0 或是 vT v1 = 0
(11)
同樣利用 Lagrangian multiplier 的方式 (此時有兩個限制條件), 找到最佳的組合係 數 v, 求最大的變異數 var(z2 ) 。 求解過程留待讀者親自演算, 其解為:
1.3
從 Uncorrelated Variables 的角度
假設新變數 z1 , z2 , · · · , zp 間彼此 「不相關」(uncorrelated), 則其共變異矩陣為對角 化矩陣, 即 ΣZ = E (zzT ) = AE (xxT )AT = AΣX AT =
u u
(6)
(7)
組合係數 u 必須有所限制, 否則任意放大將使最大值趨近無限大而失去意義。 一般假 設 uT u = 1 , 問題變為限制式最佳化問題 max uT ΣX u (8)
u,uT u=1
利用 Lagrangian multiplier 的方式去除限制式, 上述問題進一步成為 max uT ΣX u − λ(uT u − 1)
1.2
理論基礎
假設將原始變數 x1 , x2 , · · · , xp 做線性組合, 轉換為一組新的變數 z1 , z2 , · · · , zp ,
z1 = a11 x1 + a12 x2 + · · · + a1p xp z2 = a21 x1 + a22 x2 + · · · + a2p xp . . . . = . . zp = ap1 x1 + ap2 x2 + · · · + app xp 2
主成分分析讲义
主成分分析方法在经济问题的研究中，我们常常会遇到影响此问题的很多变量，这些变量多且又有一定的相关性，因此我们希望从中综合出一些主要的指标，这些指标所包含的信息量又很多。
这些特点，使我们在研究复杂的问题时，容易抓住主要矛盾。
那么怎样找综合指标？主成分分析是将原来众多具有一定相关性的指标重新组合成一组新的相互无关的综合指标来代替原来指标的统计方法,也是数学上处理降维的一种方法. 一. 主成分分析法简介主成分分析是将多个变量通过线性变换以选出较少个数重要变量的一种多元统计分析方法，又称主分量分析。
在实际问题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。
但是，在用统计分析方法研究这个多变量的课题时，变量个数太多就会增加课题的复杂性。
人们自然希望变量个数较少而得到的信息较多。
在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠。
主成分分析是对于原先提出的所有变量，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映问题的信息方面尽可能保持原有的信息。
信息的大小通常用离差平方和或方差来衡量。
主成分分析的基础思想是将数据原来的p 个指标作线性组合,作为新的综合指标(P F F F ,,,21 )。
其中1F 是“信息最多”的指标，即原指标所有线性组合中使)var(1F 最大的组合对应的指标，称为第一主成分；2F 为除1F 外信息最多的指标，即0),cov(21 F F 且)var(2F 最大，称为第二主成分；依次类推。
易知P F F F ,,,21 互不相关且方差递减。
实际处理中一般只选取前几个最大的主成分（总贡献率达到85%），达到了降维的目的。
主成分分析是一种进行信息压缩的方法。
通过这种方法，可以将原来相关的若干变量，变换成不相关的变量。
二.求主成分方法步骤： （1）对样本数据的标准化设有n个样品，P个指标，得到的原始资料矩阵为了实现样本数据的标准化，应求样本数据的平均和方差。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
主成分分析方法
在许多实际问题中，多个变量之间是具有一定的相关关系的。
因此，我们就会很自然地想到，能否在各个变量之间相关关系研究的基础上，用较少的新变量代替原来较多的变量，而且使这些较少的新变量尽可能多地保留原来较多的变量所反映的信息？事实上，这种想法是可以实现的，这里介绍的主成分分析方法就是综合处理这种问题的一种强有力的方法。
一、主成分分析的基本原理
主成分分析是把原来多个变量化为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。
假定有n 个地理样本，每个样本共有p 个变量描述，这样就构成了一个n×p 阶的地理数据矩阵：
111212122212p p n n np x x x x x x X x x x ⎧⎪⎪=⎨⎪⎪⎩L L L L L L
L （1）
如何从这么多变量的数据中抓住地理事物的内在规律性呢？要解决这一问题，自然要在p 维空间中加以考察，这是比较麻烦的。
为了克服这一困难，就需要进行降维处理，即用较少的几个综合指标来代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多指标所反映的信息，同时它们之间又是彼此独立的。
那么，这些综合指标（即新变量)应如何选取呢？显然，其最简单的形式就是取原来变量指标的线性组合，适当调整组合系数，使新的变量指标之间相互独立且代表性最好。
如果记原来的变量指标为x 1，x 2，…，x p ，它们的综合指标——新变量指标为z 1，z 2，…，zm （m≤p)。
则
11111221221122221122,,.........................................
,p p p p m m m mp p z l x l x l x z l x l x l x z l x l x l x =+++⎧⎪=+++⎪⎨⎪⎪=+++⎩L L L （2）
在（2)式中，系数l ij 由下列原则来决定：
（1)z i 与z j （i≠j ；i ，j=1，2，…，m)相互无关；
（2)z 1是x 1，x 2，…，x p 的一切线性组合中方差最大者；z 2是与z 1不相关的x 1，x 2，…，x p 的所有线性组合中方差最大者；……；z m 是与z 1，z 2，……z m-1都不相关的x 1，x 2，…，x p 的所有线性组合中方差最大者。
这样决定的新变量指标z 1，z 2，…，zm 分别称为原变量指标x 1，x 2，…，x p 的第一，第二，…，第m 主成分。
其中，z 1在总方差中占的比例最大，z 2，z 3，…，z m 的方差依次递减。
在实际问题的分析中，常挑选前几个最大的主成分，这样既减少了变量的数目，又抓住了主要矛盾，简化了变量之间的关系。
从以上分析可以看出，找主成分就是确定原来变量x j （j=1，2，…，p)在诸主成分z i （i=1，2，…，m)上的载荷l ij （i=1，2，…，m ；j=1，2，…，p)，从数学上容易知道，它们分别是x 1，x 2，…，x p 的相关矩阵的m 个较大的特征值所对应的特征向量。
二、主成分分析的计算步骤
通过上述主成分分析的基本原理的介绍，我们可以把主成分分析计算步骤归纳如下：
（1) 计算相关系数矩阵
111212122212p p p p pp r r r r r r R r r r ⎧⎪⎪=⎨⎪⎪⎩L L L
L L L L
（3） 在公式（3)中，r ij （i ，j=1，2，…，p)为原来变量x i 与x j 的相关系数，其计算公式为 因为R 是实对称矩阵（即r ij =r ji )，所以只需计算其上三角元素或下三角元素即可。
（2)计算特征值与特征向量
首先解特征方程｜λI -R ｜=0求出特征值λi （i=1，2，…，p)，并使其按大小顺序排列，即λ1≥λ2≥…，≥λp ≥0；然后分别求出对应于特征值λi 的特征向量e i （i=1，2，…，p)。
（2) 计算主成分贡献率及累计贡献率
主成分i z 贡献率：1/(1,2,,)p i k k r i p γ==∑L ，累计贡献率：11/p m k
k k k γγ==∑∑。
一般取累计贡献率达85-95％的特征值λ1，λ2，…，λm 所对应的第一，第二，……，第m （m≤p)个主成分。
（3) 计算主成分载荷
(,)(,1,2,,)
k i ki p z x i k p ==L （5）
由此可以进一步计算主成分得分： 1112121
22212m m n n nm z z z z z z Z z z z ⎧⎪⎪=⎨⎪⎪⎩L L L
L L L L （6）
matlab:princomp 解释
主成分分析函数：
[coeff,score,letent]=princomp(x);
供献率：每一维数据对于区分全部数据的供献，供献率最大的显然是主成分，第二大的是次主成分......
[coef ，score ，latent ，t2]?=?princomp （x ）;
x ：为要输入的n 维原始数据。
带入这个matlab 自带函数，将会生成新的n 维加工后的数据（即score ）。
此数据与之前的n 维原始数据一一对应。
score：生成的n维加工后的数据存在score里。
它是对原始数据进行的解析，进而在新的坐标系下获得的数据。
他将这n维数据按供献率由大到小分列。
（即在改变坐标系的景象下，又对n维数据排序）
latent：是一维列向量，每一个数据是对应score里响应维的供献率，因为数占领n维所以列向量有n个数据。
由大到小分列（因为score也是按供献率由大到小分列）。
coef：是系数矩阵。
经由过程cofe可以知道x是如何转换成score的。
但这个转换不是单纯的转换，必须使用下列计算方法，即score（：，i）=coef*（x（：，i）-mean（x （：，i））），这样才能得到。
用你的原矩阵x*coeff(:,1:n)才是你要的的新数据，其中的n是你想降到多少维。
而n的取值取决于对特征值的累计贡献率的计算。