主成分分析法的原理应用及计算步骤
主成分分析法及其应用

主成分分析法及其应用一、本文概述主成分分析法(Principal Component Analysis,简称PCA)是一种广泛应用于数据降维和特征提取的统计方法。
它通过正交变换将原始数据集中的多个变量转换为少数几个互不相关的主成分,这些主成分能够最大程度地保留原始数据集中的信息。
本文旨在全面介绍主成分分析法的基本原理、实现步骤以及在各个领域中的应用案例。
我们将详细阐述主成分分析法的数学基础和算法流程,包括协方差矩阵、特征值、特征向量等关键概念的计算方法。
然后,我们将通过实例演示如何使用主成分分析法进行数据降维和特征提取,以及如何通过可视化工具展示降维后的数据效果。
我们将探讨主成分分析法在机器学习、图像处理、生物信息学、社会科学等多个领域中的实际应用,展示其在数据分析和处理中的重要价值和潜力。
二、主成分分析法的基本原理主成分分析法(Principal Component Analysis,简称PCA)是一种在多个变量中找出主要影响因素,并通过降维技术把多个变量转化为少数几个互不相关的综合变量的统计方法。
这种方法在保持数据信息损失最小的原则下,通过正交变换将原始数据转化为一个新的坐标系统,使得在这个新的坐标系统中,任何数据的最大方差都投影在第一主成分上,第二大的方差都投影在第二主成分上,以此类推。
变量降维:在多数情况下,原始数据集中可能存在多个变量,这些变量之间可能存在相关性。
主成分分析通过构造新的变量(即主成分),这些新变量是原始变量的线性组合,并且新变量之间互不相关,从而将原始的高维数据空间降维到低维空间,实现数据的简化。
方差最大化:主成分分析的另一个重要原理是方差最大化。
这意味着,第一个主成分将捕获数据中的最大方差,第二个主成分捕获第二大方差,以此类推。
通过这种方式,主成分分析能够识别出数据中的主要变化方向和模式。
数据解释性:主成分分析生成的主成分是对原始数据的线性变换,因此,每个主成分都可以被解释为原始变量的某种组合。
主成分分析的原理与方法

主成分分析的原理与方法主成分分析(Principal Component Analysis, PCA)是一种常用的降维技术,用于数据的降维和特征提取。
它通过线性变换将原始数据映射到新的特征空间,使映射后的数据在新的特征空间中具有最大的方差。
一、主成分分析的原理主成分分析的核心思想是将高维数据映射到低维空间,同时保留最重要的信息。
具体而言,将原始数据映射到新的特征空间后,希望得到的新特征具有以下特性:1. 最大化方差:在新的特征空间中,希望找到使数据方差最大化的方向。
这样做的目的是将数据的主要变化方向保留下来,有利于更好地区分不同的样本。
2. 无相关性:希望得到的新特征之间是相互独立的,即它们之间没有任何相关性。
这样可以减少数据中的冗余信息,提取出更具代表性的特征。
二、主成分分析的方法主成分分析通常分为以下几个步骤:1. 标准化数据:由于主成分分析是基于数据的协方差矩阵进行计算的,所以首先需要将数据进行标准化处理,使各个维度的数据具有相同的尺度。
2. 计算协方差矩阵:通过计算标准化后的数据的协方差矩阵,可以得到各个维度之间的相关性。
3. 计算特征值和特征向量:对协方差矩阵进行特征值分解,可以得到特征值和对应的特征向量,其中特征值表示对应特征向量方向上的方差。
4. 选择主成分:根据特征值的大小,选择方差解释最大的前k个特征向量作为主成分。
5. 数据映射:将原始数据映射到选择的主成分上,得到降维后的数据。
三、主成分分析的应用主成分分析在数据分析和特征工程中有广泛的应用,可以用于数据降维、数据可视化和去除数据冗余等方面。
1. 数据降维:主成分分析可以将高维数据映射到低维空间,减少数据的维度,降低计算复杂度,并且保留了大部分的数据信息。
2. 数据可视化:通过将数据映射到二维或三维空间,可以将高维数据可视化,更好地观察数据的分布和结构。
3. 特征提取:主成分分析可以提取出数据中最具代表性的特征,对于后续的模型建立和训练有重要的意义。
主成分分析方法

主成分分析方法主成分分析(Principal Component Analysis,PCA)是一种常用的数据降维技术,它可以将高维数据转化为低维数据,同时保留数据的主要特征。
主成分分析方法在数据挖掘、模式识别、图像处理等领域被广泛应用,本文将介绍主成分分析的基本原理、算法步骤和应用场景。
1. 基本原理。
主成分分析的基本原理是通过线性变换将原始的特征空间转换为新的特征空间,新的特征空间是由原始特征的线性组合构成的,这些线性组合被称为主成分。
主成分分析的目标是找到能够最大程度保留原始数据信息的主成分,从而实现数据的降维。
2. 算法步骤。
主成分分析的算法步骤如下:(1)标准化数据,对原始数据进行标准化处理,使得每个特征的均值为0,方差为1。
(2)计算协方差矩阵,根据标准化后的数据计算特征之间的协方差矩阵。
(3)计算特征值和特征向量,对协方差矩阵进行特征值分解,得到特征值和对应的特征向量。
(4)选择主成分,按照特征值的大小,选择最大的k个特征值对应的特征向量作为主成分。
(5)数据转换,利用选定的主成分进行数据转换,将原始数据映射到新的低维空间中。
3. 应用场景。
主成分分析方法在实际应用中具有广泛的场景,例如:(1)数据可视化,通过主成分分析可以将高维数据转化为二维或三维数据,便于数据的可视化展示和分析。
(2)特征提取,在图像处理和模式识别领域,主成分分析可以用于提取图像的主要特征,从而实现图像的压缩和识别。
(3)数据预处理,在机器学习和数据挖掘任务中,主成分分析可以用于数据的降维处理,减少特征的数量和复杂度,提高模型的训练效率和预测准确度。
总结。
主成分分析是一种重要的数据分析方法,它通过线性变换将高维数据映射到低维空间,从而实现数据的降维和特征提取。
在实际应用中,主成分分析具有广泛的应用场景,能够帮助人们更好地理解和分析数据。
希望本文的介绍能够帮助读者更好地理解主成分分析方法,并在实际工作中加以应用。
主成分分析法的原理应用及计算步骤57270

一、概述在处理信息时,当两个变量之间有一定相关关系时,可以解释为这两个变量反映此课题的信息有一定的重叠,例如,高校科研状况评价中的立项课题数与项目经费、经费支出等之间会存在较高的相关性;学生综合评价研究中的专业基础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。
而变量之间信息的高度重叠与高度相关会给统计方法的应用带来许多障碍。
为了解决这些问题,最简单与最直接的解决方案就是削减变量的个数,但这必然又会导致信息丢失与信息不完整等问题的产生。
为此,人们希望探索一种更为有效的解决方法,它既能大大减少参与数据建模的变量个数,同时也不会造成信息的大量丢失。
主成分分析正式这样一种能够有效降低变量维数,并已得到广泛应用的分析方法。
主成分分析以最少的信息丢失为前提,将众多的原有变量综合成较少几个综合指标,通常综合指标(主成分)有以下几个特点:↓主成分个数远远少于原有变量的个数原有变量综合成少数几个因子之后,因子将可以替代原有变量参与数据建模,这将大大减少分析过程中的计算工作量。
↓主成分能够反映原有变量的绝大部分信息因子并不就是原有变量的简单取舍,而就是原有变量重组后的结果,因此不会造成原有变量信息的大量丢失,并能够代表原有变量的绝大部分信息。
↓主成分之间应该互不相关通过主成分分析得出的新的综合指标(主成分)之间互不相关,因子参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问题。
↓主成分具有命名解释性总之,主成分分析法就是研究如何以最少的信息丢失将众多原有变量浓缩成少数几个因子,如何使因子具有一定的命名解释性的多元统计分析方法。
二、基本原理主成分分析就是数学上对数据降维的一种方法。
其基本思想就是设法将原来众多的具有一定相关性的指标X1,X2,…,XP(比如p 个指标),重新组合成一组较少个数的互不相关的综合指标Fm 来代替原来指标。
那么综合指标应该如何去提取,使其既能最大程度的反映原变量Xp 所代表的信息,又能保证新指标之间保持相互无关(信息不重叠)。
主成分分析的应用

主成分分析的应用主成分分析(Principal Component Analysis,PCA)是一种常见的数据分析方法,在统计学、机器学习、数据挖掘等领域得到广泛应用。
本文将从PCA的基本思想、数学原理、应用案例等方面进行介绍。
一、PCA的基本思想PCA是一种将原始数据集线性变换为新的坐标系的技术,使得新坐标系上的数据方差最大,也称为“变换后数据最大可分”。
简单来说,就是将高维数据降维。
例如,一个包含n个样本的数据集,每个样本有m个特征,即有m维度,可以通过PCA将其转化为k(k<m)个维度。
二、PCA的数学原理PCA的核心在于求解数据的主成分。
主成分是原始数据在新坐标系上的投影,它们方向是数据在新坐标系上方差最大的方向。
具体来说,可以通过以下步骤求解主成分:1. 原始数据减去均值,使所有特征的均值为0。
2. 求出原始数据的协方差矩阵。
3. 对协方差矩阵进行特征值分解,找到相应的特征向量。
4. 将特征向量按照对应特征值大小排序,取出前k个特征向量作为新的坐标系。
5. 将原始数据投影到新坐标系上,即得到降维后的数据。
三、PCA的应用案例1. 面部识别面部识别是一种以人脸图像为输入,对人的身份进行判断的技术。
在面部识别中,常常需要提取出人脸图像的主要特征,以便建立准确的分类器。
PCA可以对面部图像进行降维,提取主成分作为特征,并使用这些特征训练分类器。
例如,PCA被广泛应用于欧洲计算机视觉和模式识别会议(ECCV)上举办的面部识别比赛中,获得了优异的效果。
2. 聚类分析聚类分析是一种将数据集分成不同组的技术,每个组内数据相似度较高,组间相似度较低。
使用PCA对数据进行降维可以减少数据集的维度,降低计算复杂度,更好地展示数据的分布特征。
例如,可以将PCA应用于基于熵值的蚁群算法中,将原始数据集降维到二维或三维,以便于后续聚类分析处理。
3. 声音信号处理在声音信号处理中,信号往往具有高维度,需要进行降维才方便进一步处理。
主成分分析法的原理应用及计算步骤

主成分分析法的原理应用及计算步骤1.计算协方差矩阵:首先,我们需要将原始数据进行标准化处理,即使每个特征都有零均值和单位方差。
假设我们有m个n维样本,数据集为X,标准化后的数据集为Z。
那么,计算协方差矩阵的公式如下:Cov(Z) = (1/m) * Z^T * Z其中,Z^T为Z的转置。
2.计算特征向量:通过对协方差矩阵进行特征值分解,可以得到特征值和特征向量。
特征值表示了新坐标系中每个特征的重要性程度,特征向量则表示了数据在新坐标系中的方向。
将协方差矩阵记为C,特征值记为λ1, λ2, ..., λn,特征向量记为v1, v2, ..., vn,那么特征值分解的公式如下:C*v=λ*v计算得到的特征向量按特征值的大小进行排序,从大到小排列。
3.选择主成分:从特征向量中选择与前k个最大特征值对应的特征向量作为主成分,即新坐标系的基向量。
这些主成分可以解释原始数据中大部分的方差。
我们可以通过设定一个阈值或者看特征值与总特征值之和的比例来确定保留的主成分个数。
4.映射数据:对于一个n维的原始数据样本x,通过将其投影到前k个主成分上,可以得到一个k维的新样本,使得新样本的方差最大化。
新样本的计算公式如下:y=W*x其中,y为新样本,W为特征向量矩阵,x为原始数据样本。
PCA的应用:1.数据降维:PCA可以通过主成分的选择,将高维数据降低到低维空间中,减少数据的复杂性和冗余性,提高计算效率。
2.特征提取:PCA可以通过寻找数据中的最相关的特征,提取出主要的信息,从而减小噪声的影响。
3.数据可视化:通过将数据映射到二维或三维空间中,PCA可以帮助我们更好地理解和解释数据。
总结:主成分分析是一种常用的数据降维方法,它通过投影数据到一个新的坐标系中,使得投影后的数据具有最大的方差。
通过计算协方差矩阵和特征向量,我们可以得到主成分,并将原始数据映射到新的坐标系中。
PCA 在数据降维、特征提取和数据可视化等方面有着广泛的应用。
PCA(主成分分析)的原理与应用

PCA(主成分分析)的原理与应用简介主成分分析(PCA)是一种常用的多变量数据降维技术,用于发现数据中的主要模式与关系。
通过PCA,可以将高维数据转换为低维表示,从而减少计算复杂度、去除冗余信息、提取关键特征等。
本文将介绍PCA的基本原理和常见的应用场景。
1. PCA的基本原理PCA的基本思想是通过线性变换将原始数据投影到新的坐标系中,新的坐标系由一组互相正交的基向量构成。
这些基向量被称为主成分,每个主成分都是原始数据的一个线性组合。
通过保留最重要的主成分,可以实现数据降维。
1.1 数据标准化在应用PCA之前,通常需要对原始数据进行标准化处理。
标准化可以使不同特征的数据具有相同的尺度,避免某些特征对PCA结果的影响过大。
常见的标准化方法有均值方差标准化和最大最小值标准化。
1.2 协方差矩阵与特征值分解PCA的核心是通过计算协方差矩阵来确定主成分。
协方差矩阵反映了不同维度之间的相关性。
通过对协方差矩阵进行特征值分解,可以得到特征值和特征向量。
特征值表示了数据在对应特征向量方向上的方差,特征向量则表示了变换后的坐标系中各维度的方向。
1.3 选择主成分在进行特征值分解后,主成分的选择是根据特征值的大小进行的。
通常保留较大的特征值对应的特征向量作为主成分,因为这些特征值表示了数据的主要变化模式。
1.4 重构数据通过选取主成分,可以将原始数据投影到新的坐标系中。
重构数据可以通过将原始数据乘以选取的主成分对应的特征向量来实现。
2. PCA的应用场景PCA有广泛的应用场景,以下列举一些常见的应用领域。
2.1 降维与特征选择在高维数据中,存在大量冗余和噪音信息。
通过使用PCA,可以将高维数据降低到较低的维度,并保留重要的特征,从而提高数据的表示效果和计算效率。
2.2 数据压缩与图像处理PCA在数据压缩和图像处理中也有广泛的应用。
通过PCA,可以用较少的数据表示信息量较大的图像,从而实现图像的压缩和存储。
同时,还可以对图像进行去噪、增强和特征提取等操作。
主成分分析法

四、主成份分析法旳环节
1)数据归一化处理:数据原则化(Z) 2)Βιβλιοθήκη 算有关系数矩阵R: 3)计算特征值;
特征值越大阐明主要程度越大。
4)计算主成份贡献率及方差旳合计贡献率; 5)计算主成份载荷与特征向量:
主成份旳负荷值大小反应了主成份因子对可测变量旳影响程 度;载荷值越大阐明此变量对主成份旳解释越多,及贡献越大。
• 因子分析 优点:第一它不是对原有变量旳取舍,而是根据原始变 量旳信息进行重新组合,找出影响变量旳共同因子,化简 数据;第二,它经过旋转使得因子变量更具有可解释性, 命名清楚性高。 缺陷 :在计算因子得分时,采用旳是最小二乘法,此法 有时可能会失效。
总之,主成份分析是因子分析旳一种特例。
谢 谢 观 看!
旋转后旳主成份因子载荷矩阵
景区满意度旋转前后成份矩阵图对比
5、碎石图分析
选用主成份旳个数,急转处是拟定主成份旳个数处。
景区满意度碎石图
八、与因子分析法旳区别
1、基本概念
➢ 主成份分析就是将多项指标转化为少数几项综合 指标,用综合指标来解释多变量旳方差- 协方差构 造。综合指标即为主成份。所得出旳少数几种主 成份,要尽量多地保存原始变量旳信息,且彼此 不有关。
注意:进行主成份旳变量之间必须要有有关性, 经过分析后变量之间独立。
二、主成份分析法基本原理
主成份分析就是设法将原来众多具有一定有关性 旳变量(如p个变量),重新组合成一组新旳相互无 关旳综合变量来替代原来变量。怎么处理?
一般数学上旳处理就是将原来p个变量作线性组合 作为新旳综合变量。怎样选择?
假如将选用旳第一种线性组合即第一种综合变量 记为F1,自然希望F1尽量多旳反应原来变量旳信 息。怎样反应?
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
一、概述在处理信息时,当两个变量之间有一定相关关系时,可以解释为这两个变量反映此课题的信息有一定的重叠,例如,高校科研状况评价中的立项课题数与项目经费、经费支出等之间会存在较高的相关性;学生综合评价研究中的专业基础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。
而变量之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。
为了解决这些问题,最简单和最直接的解决方案是削减变量的个数,但这必然又会导致信息丢失和信息不完整等问题的产生。
为此,人们希望探索一种更为有效的解决方法,它既能大大减少参与数据建模的变量个数,同时也不会造成信息的大量丢失。
主成分分析正式这样一种能够有效降低变量维数,并已得到广泛应用的分析方法。
主成分分析以最少的信息丢失为前提,将众多的原有变量综合成较少几个综合指标,通常综合指标(主成分)有以下几个特点:主成分个数远远少于原有变量的个数原有变量综合成少数几个因子之后,因子将可以替代原有变量参与数据建模,这将大大减少分析过程中的计算工作量。
主成分能够反映原有变量的绝大部分信息因子并不是原有变量的简单取舍,而是原有变量重组后的结果,因此不会造成原有变量信息的大量丢失,并能够代表原有变量的绝大部分信息。
主成分之间应该互不相关通过主成分分析得出的新的综合指标(主成分)之间互不相关,因子参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问题。
主成分具有命名解释性总之,主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成少数几个因子,如何使因子具有一定的命名解释性的多元统计分析方法。
二、基本原理主成分分析是数学上对数据降维的一种方法。
其基本思想是设法将原来众多的具有一定相关性的指标X1,X2,…,XP(比如p个指标),重新组合成一组较少个数的互不相关的综合指标Fm来代替原来指标。
那么综合指标应该如何去提取,使其既能最大程度的反映原变量Xp所代表的信息,又能保证新指标之间保持相互无关(信息不重叠)。
设F1表示原变量的第一个线性组合所形成的主成分指标,即,由数学知识可知,每一个主成分所提取的信息量可用其方差来度量,其方差Var(F1)越大,表示F1包含的信息越多。
常常希望第一主成分F1所含的信息量最大,因此在所有的线性组合中选取的F1应该是X1,X2,…,XP 的所有线性组合中方差最大的,故称F1为第一主成分。
如果第一主成分不足以代表原来p 个指标的信息,再考虑选取第二个主成分指标F2,为有效地反映原信息,F1已有的信息就不需要再出现在F2中,即F2与F1要保持独立、不相关,用数学语言表达就是其协方差Cov(F1, F2)=0,所以F2是与F1不相关的X1,X2,…,XP 的所有线性组合中方差最大的,故称F2为第二主成分,依此类推构造出的F1、F2、……、Fm 为原变量指标X1、X2……XP 第一、第二、……、第m 个主成分。
11111221221122221122...............p p p p m m m mp pF a X a X a X F a X a X a X F a X a X a X =+++⎧⎪=+++⎪⎨⎪⎪=+++⎩ 根据以上分析得知:(1) Fi 与Fj 互不相关,即Cov(Fi ,Fj) = 0,并有Var(Fi)=ai’Σai ,其中Σ为X 的协方差阵(2)F1是X1,X2,…,Xp 的一切线性组合(系数满足上述要求)中方差最大的,……,即Fm 是与F1,F2,……,Fm -1都不相关的X1,X2,…,XP 的所有线性组合中方差最大者。
F1,F2,…,Fm(m≤p)为构造的新变量指标,即原变量指标的第一、第二、……、第m个主成分。
由以上分析可见,主成分分析法的主要任务有两点:(1)确定各主成分Fi(i=1,2,…,m)关于原变量Xj(j=1,2 ,…, p)的表达式,即系数( i=1,2,…,m; j=1,2 ,…,p)。
从数学上可以证明,原变量协方差矩阵的特征根是主成分的方差,所以前m个较大特征根就代表前m个较大的主成分方差值;原变量协方差矩阵前m个较大的特征值(这样选取才能保证主成分的方差依次最大)所对应的特征向量就是相应主成分Fi表达式的系数,为了加以限制,系数启用的是对应的单位化的特征向量,即有= 1。
(2)计算主成分载荷,主成分载荷是反映主成分Fi与原变量Xj之间的相互关联程度:三、主成分分析法的计算步骤主成分分析的具体步骤如下:(1)计算协方差矩阵计算样品数据的协方差矩阵:Σ=(sij)pp,其中i,j=1,2,…,p(2)求出Σ的特征值及相应的正交化单位特征向量Σ的前m 个较大的特征值12…m>0,就是前m 个主成分对应的方差,对应的单位特征向量就是主成分Fi 的关于原变量的系数,则原变量的第i 个主成分Fi 为:Fi =X主成分的方差(信息)贡献率用来反映信息量的大小,为:1/mi i i i αλλ==∑(3)选择主成分最终要选择几个主成分,即F1,F2,……,Fm 中m 的确定是通过方差(信息)累计贡献率G(m)来确定11()/pm i k i k G m λλ===∑∑当累积贡献率大于85%时,就认为能足够反映原来变量的信息了,对应的m 就是抽取的前m 个主成分。
(4)计算主成分载荷主成分载荷是反映主成分Fi 与原变量Xj 之间的相互关联程度,原来变量Xj (j=1,2 ,…, p )在诸主成分Fi (i=1,2,…,m )上的荷载 lij ( i=1,2,…,m ; j=1,2 ,…,p )。
:(,)(1,2,,;1,2,,)i j ij l Z X i m j p ===在SPSS 软件中主成分分析后的分析结果中,“成分矩阵”反应的就是主成分载荷矩阵。
(5)计算主成分得分计算样品在m 个主成分上的得分:i = 1,2,…,m实际应用时,指标的量纲往往不同,所以在主成分计算之前应先消除量纲的影响。
消除数据的量纲有很多方法,常用方法是将原始数据标准化,即做如下数据变换:*1,2,...,;1,2,...,ij jij j x x x i n j p s -===其中:,根据数学公式知道,①任何随机变量对其作标准化变换后,其协方差与其相关系数是一回事,即标准化后的变量协方差矩阵就是其相关系数矩阵。
②另一方面,根据协方差的公式可以推得标准化后的协方差就是原变量的相关系数,亦即,标准化后的变量的协方差矩阵就是原变量的相关系数矩阵。
也就是说,在标准化前后变量的相关系数矩阵不变化。
根据以上论述,为消除量纲的影响,将变量标准化后再计算其协方差矩阵,就是直接计算原变量的相关系数矩阵,所以主成分分析的实际常用计算步骤是:☆计算相关系数矩阵☆求出相关系数矩阵的特征值及相应的正交化单位特征向量☆选择主成分☆计算主成分得分总结:原指标相关系数矩阵相应的特征值i为主成分方差的贡献,方差的贡献率为,越大,说明相应的主成分反映综合信息的能力越强,可根据i的大小来提取主成分。
每一个主成分的组合系数(原变量在该主成分上的载荷)就是相应特征值i所对应的单位特征向量。
主成分分析法的计算步骤1、原始指标数据的采集p 维随机向量x = (x1,X2,...,Xp)T)n 个样品xi = (xi1,xi2,...,xip)T ,i=1,2,…,n,n>p,构造样本阵,对样本阵元进行如下标准化变换:其中,得标准化阵Z。
2、对标准化阵Z 求矩阵其中, 。
3、解样本相关矩阵R 的特征方程得p 个特征根,确定主成分按确定m 值,使信息的利用率达85%以上,对每个λj,j=1,2,...,m, 解方程组Rb = λjb得单位特征向量。
4、将标准化后的指标变量转换为主成分U1称为第一主成分,U2 称为第二主成分,…,Up 称为第p 主成分。
5 、对m 个主成分进行综合评价对m 个主成分进行加权求和,即得最终评价值,权数为每个主成分的方差贡献率。
一、主成分分析基本原理概念:主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法。
从数学角度来看,这是一种降维处理技术。
思路:一个研究对象,往往是多要素的复杂系统。
变量太多无疑会增加分析问题的难度和复杂性,利用原变量之间的相关关系,用较少的新变量代替原来较多的变量,并使这些少数变量尽可能多的保留原来较多的变量所反应的信息,这样问题就简单化了。
原理:假定有n 个样本,每个样本共有p 个变量,构成一个n×p 阶的数据矩阵,记原变量指标为x1,x2,…,xp ,设它们降维处理后的综合指标,即新变量为 z1,z2,z3,… ,zm(m≤p),则系数lij 的确定原则:①zi 与zj (i≠j;i ,j=1,2,…,m )相互无关;⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=np n n p p x x x x x x x x x X 212222111211⎪⎪⎩⎪⎪⎨⎧+++=+++=+++=p mp m m m p p p p x l x l x l z x l x l x l z x l x l x l z 22112222121212121111............②z1是x1,x2,…,xP 的一切线性组合中方差最大者,z2是与z1不相关的x1,x2,…,xP 的所有线性组合中方差最大者; zm 是与z1,z2,……,zm -1都不相关的x1,x2,…xP , 的所有线性组合中方差最大者。
新变量指标z1,z2,…,zm 分别称为原变量指标x1,x2,…,xP 的第1,第2,…,第m 主成分。
从以上的分析可以看出,主成分分析的实质就是确定原来变量xj (j=1,2 ,…, p )在诸主成分zi (i=1,2,…,m )上的荷载 lij ( i=1,2,…,m ; j=1,2 ,…,p )。
从数学上可以证明,它们分别是相关矩阵m 个较大的特征值所对应的特征向量。
二、主成分分析的计算步骤1、计算相关系数矩阵rij (i ,j=1,2,…,p )为原变量xi 与xj 的相关系数, rij=rji ,其计算公式为⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=pp p p p p r r r r r r r r r R 2122221112112、计算特征值与特征向量解特征方程 ,常用雅可比法(Jacobi )求出特征值,并使其按大小顺序排列 ;分别求出对应于特征值 的特征向量,要求 =1,即其中 表示向量 的第j 个分量。
3、计算主成分贡献率及累计贡献率贡献率: 累计贡献率:一般取累计贡献率达85%-95%的特征值,所对应的第1、第2、…、第m (m≤p)个主成分。
4、计算主成分载荷 ),,2,1(1p i p k kiL =∑=λλ),,2,1(11p i p k kik kL =∑∑==λλ),,2,1,(),(p j i e x z p l ij i j i ij L ===λ5、各主成分得分三、主成分分析法在SPSS 中的操作1、指标数据选取、收集与录入(表1)2、Analyze →Data Reduction →Factor Analysis,弹出Factor Analysis 对话框:⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=nm n n m m z z z z z z z z z Z 2122221112113、把指标数据选入Variables 框,Descriptives: Correlation Matrix 框组中选中Coefficients,然后点击Continue, 返回Factor Analysis 对话框,单击OK。