数学建模案例分析—主成分分析的应用--概率统计方法建模
大学生数学建模——主成分分析方法页PPT文档
从以上的分析可以看出，主成分分析的
实质就是确定原来变量xj（j=1，2 ，…， p） 在诸主成分zi（i=1，2，…，m）上的荷载 lij （ i=1，2，…，m； j=1，2 ，…，p）。
从数学上容易知道，从数学上可以证明，
它们分别是的相关矩阵的m个较大的特征值所 对应的特征向量。
二、计算步骤
1540.29 926.35 1501.24 897.36 911.24 103.52 968.33 957.14 824.37 1255.42 1251.03 1246.47 814.21 1124.05 805.67 1313.11
216.39 291.52 225.25 196.37 226.51 217.09 181.38 194.04 188.09 211.55 220.91 242.16 193.46 228.44 175.23 236.29
65.601 1181.54 270.12 18.266 0.162 7.474 12.489
33.205 1436.12 354.26 17.486 11.805 1.892 17.534
16.607 1405.09 586.59 40.683 14.401 0.303 22.932
6 68.337 7 95.416 8 62.901 9 86.624 10 91.394 11 76.912 12 51.274 13 68.831 14 77.301 15 76.948 16 99.265 17 118.505 18 141.473 19 137.761 20 117.612 21 122.781
人) 295.34
x 6：经济 作物占农 作物面积 比例(％)
26.724
x 7：耕地 占土地面 积比率
主成分分析(数学建模)
上面的四张图中， 上面的四张图中，哪一种有更高的 精度？原始变量的信息损失最少？ 精度？原始变量的信息损失最少？
旋转变换的目的是为了使得n个样品点在 Fl轴方向上的离 散程度最大，即Fl的方差最大。 变量Fl代表了原始数据的绝大 部分信息，在研 究某经济问题时，即使不考虑变量F2也无损大 局。经过上述旋转变换原始数据的大部分信息 集中到Fl轴上，对数据中包含的信息起到了浓 缩作用。
F 1
x1
平移、旋转坐标轴 主 成 分 分 析 的 几 何 解 释
•• •• •• ••• •• • •• •
x2 F2
••• • •• •• • •• •• • • •• • •
F 1
x1
平移、旋转坐标轴 x2 F 1 主 F2 成 • • •• •• • • • 分 • • 分 • •• •• • • • • • • • ••• • • • •• 析 • •••• • • •• • • • • • 的 • • • • •• • ••• • • • 几 • • •• • x1 • 何 • • • • •• • • • • •• • • 解 • • • • • • • • • • •• • 释
F1 F1 F2 F3 i Δi i t 1 0 0
F2
F3
i
i
t
1 0 -0.041 1 0.057 -0.124 l -0.102 -0.414 l -0.112 1
0.995
-0.056 -0.369
பைடு நூலகம்
0.948
-0.282
-0.836
二、主成分分析的意义 主成分分析是把各变量之间互相关联的复杂 关系进行简化的分析方法。 在社会经济的研究中，为了全面系统的分析 和研究问题，必须考虑许多经济指标，这些指标 能从不同的侧面反映我们所研究的对象的特征， 但在某种程度上存在信息的重叠，具有一定的相 关性。
数学建模方法-主成分分析和MATLAB应用
1 0.55341 0.51434 0.51538 0.4688 8 0.73562 0.71214
1
0.98793 0.9776 0.97409 0.68282 0.7 8019
1
0.98071 0.9798 0 .69735 0.77306
1
0.99235 0.6266 3 0.78718
X j e1 jY1 e2 jY2 e pjYp , Cov(Yi , X j ) ieij .
由此可得 Yi 与 Xj 的相关系数为
Yi ,X j
Cov(Yi , X j ) Var(Yi ) Var( X j )
ieij i jj
i jj
eij
24.423 36.283
36.283 56.046
49.146 75.404
3.67 47 38.718 5.0022 59.723
71.672 29.029 49.278 49.146 75.404 103.02 6.82 15 74.523
8.602 4.7846 3.629 3.6747 5.0022 6.8215 1.137 6 .7217
i* 的正
交单位特征向量。
第 i 个主成分的贡献率： i* ； p
m
i*
前 m 个主成分的累计贡献率： i1 ； p
Yi*
与
X
* i
的相关系数为
Yi*
,
X
* j
* i
ei*j
。
二、样本主成分 前面讨论的是总体主成分，但在实际问题中，一般 （或 ）是未知的，需要通
过样本来估计。设
xi ( xi1, xi 2 , ..., xip )T , i 1, 2, ..., n.
主成分分析(数学建模)
主成分分析
每个人都会遇到有很多变量的数据。
比如全国或各个地区的带有许多经济和社会变 量的数据；各个学校的研究、教学等各种变量 的数据等等。
这些数据的共同特点是变量很多，在如此多的 变量之中，有很多是相关的。人们希望能够找 出它们的少数“代表”来对它们进行描述。
本章就介绍两种把变量维数降低以便于描述、 理 解 和 分 析 的 方 法 ： 主 成 分 分 析 （ principal component analysis ） 和 因 子 分 析 （ factor analysis）。实际上主成分分析可以说是因子 分析的一个特例。在引进主成分分析之前，先 看下面的例子。
• 这里的Initial Eigenvalues就是这里的六个
主轴长度，又称特征值（数据相关阵的特
征值）。头两个成分特征值累积占了总方 差的81.142%。后面的特征值的贡献越来越 少。
• 特征值的贡献还可以从SPSS的所谓碎石图看出
Scree Plot
4
3
2
1
0
1
2
3
4
5
6
Component Number
现:
1.analyze-description statisticdescription-save standardized as variables
2.analyze-data reduction-factor 3.指定参与分析的变量 4.运行factor 过程
• 对于我们的数据，SPSS输出为
成绩数据（student.sav）
100个学生的数学、物理、化学、语文、历 史、英语的成绩如下表（部分）。
从本例可能提出的问题
目前的问题是，能不能把这个数据的6 个变量用一两个综合变量来表示呢？ 这一两个综合变量包含有多少原来的信 息呢？ 能不能利用找到的综合变量来对学生排 序呢？这一类数据所涉及的问题可以推 广到对企业，对学校进行分析、排序、 判别和分类等问题。
主成分分析在数学建模中的应用
第一讲 主成分分析在数学建模中的应用1.学习目的1、理解主成分分析的基本思想;2、会用SAS 软件编写相关程序,对相关数据进行主成分分析;3、会用SAS 软件编程结合主成分分析方法解决实际问题。
2.学习要求1、理解主成分分析的基本原理,掌握主成分分析的基本步骤;2、会用SAS 软件编写相关程序,对相关数据进行分析处理与假设检验;3、撰写不少于3000字的小论文;4、 精读一篇优秀论文。
3. 理论基础 3. 1基本思想在实际问题的研究中,往往会涉及众多的变量。
但就是,变量太多不但会增加计算的复杂性,而且也给合理地分析问题与解释问题带来困难。
一般来说,虽然每个变量提供了一定的信息,但其重要性有所不同,而在很多情况下,变量间有一定的相关性,从而使得这些变量所提供的信息在一定程度上有所重叠。
因而人们希望对这些变量加以“改造”,用为数较少的互不相关的新变量来反映原来变量所提供的绝大部分信息,通过对新变量的分析达到解决问题的目的。
主成分分析就就是在这种降维的思想下产生的处理高维数据的方法。
3、2 基本原理(1)、总体的主成分定义1、设'12(,,)X X X =p …,X 为P 维随机向量,称'i i Z a X =为X 的第i 主成分(i=1,2,…P),如果:(1) '1(1,2,);i i a a i ==…,p(2) 当i>1时,'0(1,2,);i ja aj ==∑…i-1(3) '''1,0(1,)()max ()j i a a a a j Var Z Var a X ====∑…i-1定理1、设'12(,,)X X X =p …,X 就是P 维随机向量,且()D X =∑,∑的特征值为120p λλλ≥≥≥≥…,12,,p a a a …,为相应的单位正交特征向量,则X 的第i 主成分为'i i Z a X = (1,2,).i =…,p定义2、我们称1/pk ii λλ=∑为主成分k Z 的贡献率;又称11/pm k ik i λλ==∑∑为主成分1,,()m Z Z m p <…的累计贡献率。
主成分分析法案例
主成分分析法案例主成分分析法（Principal Component Analysis, PCA）是一种常用的多变量统计分析方法，它可以帮助我们发现数据中的主要特征和结构，从而简化数据集并减少信息丢失。
在本文中，我们将通过一个实际案例来介绍主成分分析法的应用。
案例背景。
假设我们有一个包含多个变量的数据集，我们希望通过主成分分析法来找出其中的主要特征，并将数据进行降维，以便更好地理解和解释数据。
数据准备。
首先，我们需要对数据进行预处理，包括数据清洗、缺失值处理、标准化等操作。
在这个案例中，我们假设数据已经经过了预处理，并且符合主成分分析的基本要求。
主成分分析。
接下来，我们将利用主成分分析法来分析数据。
主成分分析的基本思想是通过线性变换将原始变量转化为一组线性无关的新变量，这些新变量被称为主成分，它们能够最大程度地保留原始数据的信息。
在进行主成分分析之前，我们需要计算数据的协方差矩阵，并对其进行特征值分解。
通过特征值分解，我们可以得到数据的主成分和对应的特征值，从而找出数据中的主要特征。
案例分析。
假设我们得到了数据的前三个主成分，我们可以通过观察主成分的载荷（loadings）来理解数据中的结构。
载荷可以帮助我们理解每个主成分与原始变量之间的关系，从而解释数据的特点和规律。
通过主成分分析，我们可以发现数据中的主要特征和结构，从而更好地理解数据。
同时，我们还可以利用主成分分析的结果进行数据的降维，从而简化数据集并减少信息丢失。
结论。
通过以上案例分析，我们可以看到主成分分析法在多变量数据分析中的重要作用。
通过主成分分析，我们可以发现数据中的主要特征和结构，从而简化数据集并减少信息丢失。
同时，主成分分析还可以帮助我们更好地理解和解释数据，为后续的分析和应用提供有力支持。
总结。
在本文中，我们通过一个实际案例介绍了主成分分析法的基本原理和应用。
主成分分析是一种常用的多变量统计分析方法，它可以帮助我们发现数据中的主要特征和结构，从而简化数据集并减少信息丢失。
数学建模实用教程(主成分分析)
解决的问题之二：几何分析
多维数据的一种图形表示方法。 我们知道当维数大于3时便不能画出几何图
形经过主成分分析后，我们可以选取前两个主 成分或其中某两个主成分，这样既可以就这两 个主成分性质加以分析，还可以根据主成分画 出n个样品在二维平面上的分布况，由图形可 直观地看出各样品在主成分中的地位，进而还 可以对样本进行分类处理 。
且 （ C o v(Y k,Y i)C o v(T kX ,T iX )0 i k ），使得 D(Yk)TkΣTk 达到最大的 Yk TkX 。
.
第一主成分求法
利用拉格朗日乘数法构造目标函数为：
1(T1, ) T1ΣT1 (T1T1 1) 对目标函数1(T1, ) 求导数有：
T1＝T1
1
T1
.
解决的问题之一：降维
主成份分析正是针对这类问题而产生的，是解决这 类题的理想工具。
主成分分析也称主分量分析（principal components analysis,PCA）是由美国的科 学家哈罗德·霍特林（Harold Hotelling）于1933 年首先提出的。人们希望通过克服相关性、 重叠性，用较少的变量来代替原来较多的变 量，而这种代替可以反映原来多个变量的大 部分信息，这实际上是一种“降维”的思想。
含在另一分量中的信息将会损失，因此，直接 舍弃某个分量不是“确定主成分”的有效办法。
.
确定第一主成分方法
事实上，散点的分布总有可能沿着某一个方向 略显扩张，这个方向就把它看作椭圆的长轴方 向。
.
Y1
Y2
Y2
.
主成分的数学模型：
如果我们将该坐标系按逆时针方向旋转某个角度 变成新坐
标系 y1Oy2 ，这里 y1 是椭圆的长轴方向，y2 是椭圆的短轴方向。
数学建模案例分析—主成分分析的应用--概率统计方法建模
§8 主成分分析的应用主成分分析的基本思想是通过构造原变量的适当的线性组合，以产生一系列互不相关的新变量，从中选出少数几个新变量并使它们尽可能多地包含原变量的信息（降维），从而使得用这几个新变量替代原变量分析问题成为可能。
即在尽可能少丢失信息的前提下从所研究的m 个变量中求出几个新变量，它们能综合原有变量的信息，相互之间又尽可能不含重复信息，用这几个新变量进行统计分析（例如回归分析、判别分析、聚类分析等等）仍能达到我们的目的。
设有n 个样品，m 个变量（指标）的数据矩阵(1)11121(2)21222()12m m n mn n n nm x x x x x x x x X x x x x ⨯⎛⎫⎛⎫⎪ ⎪ ⎪⎪== ⎪⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭寻找k 个新变量12,,,()k y y y k m ≤ ，使得 1、1122,(1,2,,)l l l lm m y a x a x a x l k =+++= 2、12,,k y y y 彼此不相关这便是主成分分析。
主成分的系数向量12(,,,)l l l lm a a a a = 的分量lj a 刻划出第j 个变量关于第l 个主成分的重要性。
可以证明，若12(,,,)T m x x x x = 为m 维随机向量，它的协方差矩阵V 的m 个特征值为120m λλλ≥≥≥≥ ，相应的标准正交化的特征向量为12,,,m u u u ，则12(,,,)T m x x x x = 的第i 主成分为(1,2,,)T i i y u x i m == 。
称1/mi jj λλ=∑为主成分(1,2,,)Ti i y u x i m == 的贡献率，11/k mj jj j λλ==∑∑为主成分12,,k y y y 的累计贡献率，它表达了前k 个主成分中包含原变量12,,,m x x x 的信息量大小，通常取k 使累计贡献率在85%以上即可。
当然这不是一个绝对不变的标准，可以根据实际效果作取舍，例如当后面几个主成分的贡献率较接近时，只选取其中一个就不公平了，若都选入又达不到简化变量的目的，那时常常将它们一同割舍。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
§8 主成分分析的应用
主成分分析的基本思想是通过构造原变量的适当的线性组合，以产生一系列互不相关的新变量，从中选出少数几个新变量并使它们尽可能多地包含原变量的信息（降维），从而使得用这几个新变量替代原变量分析问题成为可能。
即在尽可能少丢失信息的前提下从所研究的m 个变量中求出几个新变量，它们能综合原有变量的信息，相互之间又尽可能不含重复信息，用这几个新变量进行统计分析（例如回归分析、判别分析、聚类分析等等）仍能达到我们的目的。
设有n 个样品，m 个变量（指标）的数据矩阵
(1)1112
1(2)21222()12m m n m
n n n nm x x x x x x x x X x x x x ⨯⎛⎫
⎛⎫
⎪ ⎪ ⎪
⎪== ⎪
⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭
寻找k 个新变量12,,,()k y y y k m ≤ ，使得 1、1122,(1,2,,)l l l lm m y a x a x a x l k =+++= 2、12,,k y y y 彼此不相关
这便是主成分分析。
主成分的系数向量12(,,,)l l l lm a a a a = 的分量lj a 刻划出第j 个变量关于第l 个主成分的重要性。
可以证明，若12(,,,)T m x x x x = 为m 维随机向量，它的协方差矩阵V 的m 个特征值为
120m λλλ≥≥≥≥ ，相应的标准正交化的特征向量为12,,,m u u u ，则
12(,,,)T m x x x x = 的第i 主成分为(1,2,,)T i i y u x i m == 。
称1
/
m
i j
j λλ
=∑为主成分(1,2,,)T
i i y u x i m == 的贡献率，
1
1
/k m
j j
j j λλ
==∑∑为主成分
12,,k y y y 的累计贡献率，它表达了前k 个主成分中包含原变量12,,,m x x x 的信息量大
小，通常取k 使累计贡献率在85%以上即可。
当然这不是一个绝对不变的标准，可以根据实
际效果作取舍，例如当后面几个主成分的贡献率较接近时，只选取其中一个就不公平了，若都选入又达不到简化变量的目的，那时常常将它们一同割舍。
计算步骤如下：
1、由已知的原始数据矩阵n m X ⨯计算样本均值向量12ˆ(,,,)T
m x x x x μ== ； 其中1
1(1,2,,)n
i ij j x x i m n ===∑
2、计算样本协方差矩阵1
ˆ()()ˆ1
ij ij V
s n σ==- 其中1
()()(,1,2,,)n
ij li
i lj j l s x
x x x i j m ==
--=∑
3
、把原始数据标准化，即ij x x x
-= ()n m
ij X x ⨯= 。
形成样本相关矩阵ˆT R X X = ； 4、求ˆR 的特征根120m λλλ≥≥≥≥ 及相应的标准正交化的特征向量12,,,m
u u u ，可得主成分为(1,2,,)T i i y u x i m == 。
关于主成分的实际意义，要结合具体问题和相关的专业知识才能给出合理的解释。
例1 下表是10名初中男学生的身高（1x ），胸围（2x ），体重（3x ）的数据，试进行主成分分析。
由表中数据计算得到
ˆ(161.2,77.3,51.2)T x μ== 46.5717.0930.981ˆ21.1132.58ˆ155.53V S n ⎛⎫
⎪==
⎪- ⎪⎝⎭
解出ˆV
的三个特征值和相应的三个标准正交化的特征向量为
12399.00,22.79, 1.41λλλ===
1(0.56,0.42,0.71)T u =, 2(0.83,0.33,0.45)T
u =--, 3(0.05,0.84,0.
54)T
u =- 由于三个主成分的贡献率分别为
99.022.79 1.41
80.36%,18.50%, 1.14%123.20123.20123.20
===
当保留前两个主成分时，累计贡献率已达98.86%，因此第三个主成分可以舍去。
得到的前
两个样本主成分的表达式为
11230.560.420.71y x x x =++ 21230.830.330.45y x x x =--
现在我们来解释这两个主成分的意义，从1y 的表达式可以看出，1y 是身高、胸围、体重三个变量的加权和，当一个学生的1y 数值较大时，可以推断其或较高或较胖或又高又胖，故1y 是反映学生身材魁梧与否的综合指标。
2y 的表达式中系数的符号为一正（1x ）两负（2x ，3x ）
，当一个学生的2y 数值较大时，表明其1x 大，而2x ，3x 小，即为瘦高个，故2y 是反映学生体形特征的综合指标。
需要指出的是，虽然利用主成分本身可对所涉及的变量之间的关系在一定程度上作分析，但这往往并不意味着分析问题的结束。
主成分分析本身往往并不是最终目的，而只是达到某种目的的一种手段。
很多情况下，主成分分析只是作为对原问题进行统计分析的中间步骤，目的是利用主成分变量代替原变量作进一步的统计分析，达到减少变量个数的效果。
例如，利用主成分变量作回归分析、判别分析、聚类分析等等。
下面再举一个利用主成分进行样品排序的例子。
例2 电子工业部所属的15个工厂某年份的经济效益数据如下表。
其中
1x —资金利税率（%） 2x —固定资产利税率（%） 3x —流动资金利税率（%） 4x —全员利税率（%） 5x —成本利税率（%） 6x —流动资金周转天数
按照上述步骤，可以计算出样本相关矩阵为
10.978
10.9950.9541ˆ0.880
0.8950.86210.0080.7240.8420.64310.7590.8050.720
0.730
0.4081
R ⎛⎫
⎪ ⎪ ⎪=
⎪ ⎪ ⎪ ⎪ ⎪-----⎝
⎭
ˆR
的特征根及相应的标准正交化的特征向量分别为
11234560.4410.4370.4360.410.3590.358y x x x x x x =++++-
此主成分主要反映前四个经济指标的效果，因为其系数之值比较接近，它们几乎以一样的重要性综合说明了各厂的经济效益。
第二个主成分为
6543212678.0677.0184.0175.0092.0083.0x x x x x x y ++-+-=
此主成分主要反映后两个经济指标的效果。
由于前两个主成分的累计贡献率已达94.5%，因此可以选取1y ，2y 来评价这些工厂的综合经济效益。
用下式作为每个样品的“综合数值”，按其大小给样品排序。
1122k k Z y f y f y f =+++ 其中1
/
m
i i j
j f λλ
==∑。
这里120.8370.108Z y y =+。
结果每个样品的Z 值列于表中最右边一列，按Z 值大小排序结果列于右边第二列。